Нейросеть на своём сервере: данные не уходят наружу
Разворачиваем языковую модель в контуре компании — на вашем сервере или в арендованном, но вашем. Документы, переписка и данные клиентов не уходят к внешнему поставщику. Подходит там, где отдавать содержание наружу нельзя по закону, по договору с заказчиком или по внутренним правилам.
- Сроки
- от 15 рабочих дней
- Кому подходит
- Компаниям, которым нельзя отдавать содержание во внешние сервисы: персональные данные, NDA с заказчиками, госконтракты, медицина, юридическая практика
У любого внешнего ИИ-сервиса есть свойство, которое обычно обнаруживают поздно: всё, что вы ему отправили, покинуло вашу компанию. Для черновика письма это неважно. Для договора с заказчиком, медицинской карты или базы клиентов — важно настолько, что многим компаниям пользоваться такими сервисами просто нельзя.
Что значит «на своём сервере»
Модель работает на вашем железе: на сервере в офисе, в стойке в дата-центре или на арендованной машине, к которой доступ есть только у вас. Запрос сотрудника и документ, который он прислал, не уходят за периметр: ни в чужой журнал запросов, ни в обучающую выборку поставщика.
Чем приходится платить
Честно про ограничения. Модель, помещающаяся на одну видеокарту, слабее крупных облачных: она хуже рассуждает в сложных задачах и держит меньше контекста. Расплата за приватность — именно в качестве, и делать вид, что это не так, бессмысленно.
Но требования рабочих задач обычно ниже, чем ожидают. Найти пункт в договоре, ответить по регламенту, разобрать входящее письмо, собрать черновик коммерческого предложения — с этим открытые модели справляются. Проверять это нужно на ваших задачах, до покупки железа.
Поиск по своим документам
Главная ценность локальной модели не в том, что она отвечает на общие вопросы — для этого есть интернет. Она отвечает по вашим документам: регламентам, договорам, инструкциям, переписке. Индекс по этим документам тоже лежит на вашем железе, поэтому содержание не уходит никуда даже на этапе поиска.
Что остаётся после проекта
Система, которую можно обслуживать без нас: обвязка отделена от модели, модель меняется на новую без переделки остального, в инструкции описано, как обновлять и что делать при сбое. Открытые модели выходят часто, и привязываться к одной конкретной не стоит.
Когда это лишнее
Если у компании нет данных, которые нельзя отдавать наружу, локальная модель — это дороже и хуже, чем облачная. В таком случае мы так и говорим и предлагаем начать с обычного внедрения, а к своему серверу вернуться, если появится причина.
Что входит в услугу
- Разбор задач: что должна делать модель и какого качества для этого хватит
- Подбор модели под задачу и под железо, которое есть или которое нужно купить
- Расчёт конфигурации: видеопамять, диск, запас на рост, сравнение с арендой
- Развёртывание, настройка доступа изнутри сети, закрытие снаружи
- Поиск по документам компании без отправки их во внешние сервисы
- Связка с рабочими системами: портал, почта, папки с документами
- Инструкция по обслуживанию: обновление моделей, что делать при сбое
Как проходит работа
- Определяем задачи Что именно модель будет делать: отвечать по документам, разбирать письма, готовить черновики, помогать разработчикам. От этого зависит размер модели, а от него — цена железа.
- Считаем железо Подбираем конфигурацию под задачу. Часто хватает одной видеокарты, иногда нужен отдельный сервер. Считаем и покупку, и аренду, и сравниваем с тем, во что обошлось бы облако.
- Разворачиваем Ставим модель и обвязку, настраиваем доступ изнутри сети, закрываем снаружи, разделяем права.
- Подключаем данные Настраиваем поиск по документам компании. Содержание не покидает контур: модель и индекс находятся на вашем железе.
- Проверяем на живых задачах Сравниваем ответы с тем, что дают крупные облачные модели, и честно смотрим, хватает ли качества для ваших задач.
- Передаём с инструкцией Как обновлять модель, что делать при сбое, по каким признакам понять, что пора переходить на другую.
Что вы получаете
- Содержание документов и переписки не покидает контур компании
- Нет платы за каждый запрос: стоимость железа известна заранее и не зависит от нагрузки
- Поиск по своим документам работает, не отправляя их в чужой сервис
- Модель можно сменить, не перестраивая всё вокруг неё
Частые вопросы
Своя модель слабее облачной?
Да, и это надо принять до начала проекта. Модель, которая помещается на одну видеокарту, уступает крупным облачным в сложных рассуждениях и в работе с длинным контекстом. Но у большинства рабочих задач — ответить по регламенту, разобрать письмо, составить черновик, найти пункт в договоре — требования к модели ниже, чем кажется. Мы проверяем это на ваших задачах до покупки железа, а не после.
Сколько стоит железо?
Нижняя граница для рабочих задач — одна видеокарта с достаточным объёмом видеопамяти, это сопоставимо со стоимостью нескольких рабочих мест. Верхняя зависит от числа одновременных пользователей и размера модели. Аренду считаем наравне с покупкой: при небольшой нагрузке она часто выгоднее, а при постоянной — наоборот.
Это требование 152-ФЗ?
Закон не запрещает пользоваться внешними сервисами, но обязывает знать, куда уходят персональные данные, и оформлять это как поручение на обработку. Со многими зарубежными сервисами выполнить требования трудно или невозможно. Когда модель стоит внутри контура, вопрос снимается целиком: данные никуда не передаются, и поручать обработку некому.
Что будет, когда модель устареет?
Открытые модели выходят часто, и замена — обычная операция, если система собрана правильно. Мы отделяем модель от обвязки: поиск по документам, интеграции и права остаются на месте, меняется только модель. Поэтому при переходе на новую версию переделывать проект заново не придётся.
Почему Оверплан
Партнёр Битрикс24 — высший статус партнёрской программы, ТОП-2 в Ярославской области. По 1С-Битрикс — сертифицированный партнёр, ТОП-3 в области.
По продажам облачного Битрикс24 в ЦФО и в общем рейтинге партнёров по России — по итогам 2025 года.
Более 300 выполненных проектов. Свой штат разработчиков и аналитиков: растим специалистов от стажировки до руководителей направлений.
Собственные решения в Битрикс24.Маркет: роботы, вычисляемые поля, проверка контрагентов. Мы не только настраиваем систему, но и расширяем её.
Начинаем с предпроектного исследования: смотрим процессы и данные, показываем состав работ, сроки и стоимость до начала разработки.
После запуска сопровождаем: следим за ошибками обмена, обучаем сотрудников, дорабатываем по мере роста бизнеса.
Нейросеть на своём сервере: данные не уходят наружу: обсудим вашу задачу?
Начнём с предпроектного исследования: посмотрим процессы и данные, покажем состав работ, сроки и стоимость до начала разработки.