Траектория'26 в Ярославле Конференция о бизнесе для бизнеса, 26 ноября — берём курс на рост Регистрация
Обсудить проект

Нейросеть на своём сервере: данные не уходят наружу

Разворачиваем языковую модель в контуре компании — на вашем сервере или в арендованном, но вашем. Документы, переписка и данные клиентов не уходят к внешнему поставщику. Подходит там, где отдавать содержание наружу нельзя по закону, по договору с заказчиком или по внутренним правилам.

Обсудить задачу
Сроки
от 15 рабочих дней
Кому подходит
Компаниям, которым нельзя отдавать содержание во внешние сервисы: персональные данные, NDA с заказчиками, госконтракты, медицина, юридическая практика

У любого внешнего ИИ-сервиса есть свойство, которое обычно обнаруживают поздно: всё, что вы ему отправили, покинуло вашу компанию. Для черновика письма это неважно. Для договора с заказчиком, медицинской карты или базы клиентов — важно настолько, что многим компаниям пользоваться такими сервисами просто нельзя.

Что значит «на своём сервере»

Модель работает на вашем железе: на сервере в офисе, в стойке в дата-центре или на арендованной машине, к которой доступ есть только у вас. Запрос сотрудника и документ, который он прислал, не уходят за периметр: ни в чужой журнал запросов, ни в обучающую выборку поставщика.

Чем приходится платить

Честно про ограничения. Модель, помещающаяся на одну видеокарту, слабее крупных облачных: она хуже рассуждает в сложных задачах и держит меньше контекста. Расплата за приватность — именно в качестве, и делать вид, что это не так, бессмысленно.

Но требования рабочих задач обычно ниже, чем ожидают. Найти пункт в договоре, ответить по регламенту, разобрать входящее письмо, собрать черновик коммерческого предложения — с этим открытые модели справляются. Проверять это нужно на ваших задачах, до покупки железа.

Поиск по своим документам

Главная ценность локальной модели не в том, что она отвечает на общие вопросы — для этого есть интернет. Она отвечает по вашим документам: регламентам, договорам, инструкциям, переписке. Индекс по этим документам тоже лежит на вашем железе, поэтому содержание не уходит никуда даже на этапе поиска.

Что остаётся после проекта

Система, которую можно обслуживать без нас: обвязка отделена от модели, модель меняется на новую без переделки остального, в инструкции описано, как обновлять и что делать при сбое. Открытые модели выходят часто, и привязываться к одной конкретной не стоит.

Когда это лишнее

Если у компании нет данных, которые нельзя отдавать наружу, локальная модель — это дороже и хуже, чем облачная. В таком случае мы так и говорим и предлагаем начать с обычного внедрения, а к своему серверу вернуться, если появится причина.

Что входит в услугу

  • Разбор задач: что должна делать модель и какого качества для этого хватит
  • Подбор модели под задачу и под железо, которое есть или которое нужно купить
  • Расчёт конфигурации: видеопамять, диск, запас на рост, сравнение с арендой
  • Развёртывание, настройка доступа изнутри сети, закрытие снаружи
  • Поиск по документам компании без отправки их во внешние сервисы
  • Связка с рабочими системами: портал, почта, папки с документами
  • Инструкция по обслуживанию: обновление моделей, что делать при сбое

Как проходит работа

  1. Определяем задачи Что именно модель будет делать: отвечать по документам, разбирать письма, готовить черновики, помогать разработчикам. От этого зависит размер модели, а от него — цена железа.
  2. Считаем железо Подбираем конфигурацию под задачу. Часто хватает одной видеокарты, иногда нужен отдельный сервер. Считаем и покупку, и аренду, и сравниваем с тем, во что обошлось бы облако.
  3. Разворачиваем Ставим модель и обвязку, настраиваем доступ изнутри сети, закрываем снаружи, разделяем права.
  4. Подключаем данные Настраиваем поиск по документам компании. Содержание не покидает контур: модель и индекс находятся на вашем железе.
  5. Проверяем на живых задачах Сравниваем ответы с тем, что дают крупные облачные модели, и честно смотрим, хватает ли качества для ваших задач.
  6. Передаём с инструкцией Как обновлять модель, что делать при сбое, по каким признакам понять, что пора переходить на другую.

Что вы получаете

  • Содержание документов и переписки не покидает контур компании
  • Нет платы за каждый запрос: стоимость железа известна заранее и не зависит от нагрузки
  • Поиск по своим документам работает, не отправляя их в чужой сервис
  • Модель можно сменить, не перестраивая всё вокруг неё

Частые вопросы

Своя модель слабее облачной?

Да, и это надо принять до начала проекта. Модель, которая помещается на одну видеокарту, уступает крупным облачным в сложных рассуждениях и в работе с длинным контекстом. Но у большинства рабочих задач — ответить по регламенту, разобрать письмо, составить черновик, найти пункт в договоре — требования к модели ниже, чем кажется. Мы проверяем это на ваших задачах до покупки железа, а не после.

Сколько стоит железо?

Нижняя граница для рабочих задач — одна видеокарта с достаточным объёмом видеопамяти, это сопоставимо со стоимостью нескольких рабочих мест. Верхняя зависит от числа одновременных пользователей и размера модели. Аренду считаем наравне с покупкой: при небольшой нагрузке она часто выгоднее, а при постоянной — наоборот.

Это требование 152-ФЗ?

Закон не запрещает пользоваться внешними сервисами, но обязывает знать, куда уходят персональные данные, и оформлять это как поручение на обработку. Со многими зарубежными сервисами выполнить требования трудно или невозможно. Когда модель стоит внутри контура, вопрос снимается целиком: данные никуда не передаются, и поручать обработку некому.

Что будет, когда модель устареет?

Открытые модели выходят часто, и замена — обычная операция, если система собрана правильно. Мы отделяем модель от обвязки: поиск по документам, интеграции и права остаются на месте, меняется только модель. Поэтому при переходе на новую версию переделывать проект заново не придётся.

Почему Оверплан

Платиновый

Партнёр Битрикс24 — высший статус партнёрской программы, ТОП-2 в Ярославской области. По 1С-Битрикс — сертифицированный партнёр, ТОП-3 в области.

Топ-3 и Топ-29

По продажам облачного Битрикс24 в ЦФО и в общем рейтинге партнёров по России — по итогам 2025 года.

С 2021 года

Более 300 выполненных проектов. Свой штат разработчиков и аналитиков: растим специалистов от стажировки до руководителей направлений.

20+ приложений

Собственные решения в Битрикс24.Маркет: роботы, вычисляемые поля, проверка контрагентов. Мы не только настраиваем систему, но и расширяем её.

Сначала аудит

Начинаем с предпроектного исследования: смотрим процессы и данные, показываем состав работ, сроки и стоимость до начала разработки.

Остаёмся рядом

После запуска сопровождаем: следим за ошибками обмена, обучаем сотрудников, дорабатываем по мере роста бизнеса.

Нейросеть на своём сервере: данные не уходят наружу: обсудим вашу задачу?

Начнём с предпроектного исследования: посмотрим процессы и данные, покажем состав работ, сроки и стоимость до начала разработки.

Обсудить задачу Другие услуги