Локальная нейросеть в компании: какой нужен компьютер и что на нём работает

Запрос «локальная нейросеть» в Яндексе набирает почти девять тысяч обращений в месяц, но подавляющая часть — это люди, которым нужно генерировать картинки на домашнем компьютере. Бизнесовых запросов мало: «компьютер для локальной нейросети», «как развернуть локальную нейросеть», «нейросеть на своём сервере». Зато за ними стоят компании с понятной причиной: данные, которые нельзя отправлять наружу.

Зачем вообще держать модель у себя

Причин, по которым к этому приходят, обычно четыре.

• Нельзя наружу по закону или по договору. Персональные данные, медицинские карты, сведения, составляющие коммерческую тайну, данные гособоронзаказа. Облачная модель — это передача данных третьему лицу со всеми вытекающими.
• Себестоимость на объёме. Пока запросов сотни в месяц, облако дешевле. Когда расшифровываются все звонки отдела продаж и разбираются все входящие документы, счёт за токены начинает конкурировать со стоимостью сервера.
• Нет связи. Производственная площадка без стабильного интернета, судно, удалённый объект.
• Непредсказуемость поставщика. Модель в облаке может измениться, подорожать или стать недоступной. Своя копия не меняется, пока вы её не обновите.

Если ни одна из причин не про вас — облако проще и дешевле, и это нормальный ответ.

Железо: сколько это стоит сейчас

Цены за год выросли примерно вдвое, и это главное, что нужно знать перед планированием бюджета. Причина — дефицит памяти LPDDR5x, он ударил по всем, кто делает компактные машины для инференса.

• NVIDIA DGX Spark, 128 ГБ. На старте в 2025 году стоил 3 999 долларов, в феврале 2026-го — 4 699, на начало октября — 6 950. Пропускная способность памяти около 273 ГБ/с.
• NVIDIA DGX Spark, 64 ГБ. Вышел 23 октября 2026 года, 4 999 долларов. Половина памяти за две трети цены — вариант спорный.
• Framework Desktop на AMD Ryzen AI Max+ 395. Со 128 ГБ — 3 449 долларов (стартовал с 1 999), с 64 ГБ — 1 959. Пропускная способность около 256 ГБ/с, то есть близко к Spark.
• Сборка на подержанной видеокарте. В тестах RTX 3090 местами обгоняет специализированные коробочки. Проигрывает в объёме памяти и в энергопотреблении, выигрывает в цене.

Выбор между Spark и Framework сводится к экосистеме: у NVIDIA это CUDA, под которую написано всё, у AMD — ROCm, где часть инструментов приходится собирать руками. За гигабайт памяти Framework выходит вдвое дешевле, за предсказуемость запуска — дороже.

Для России к цене добавляется ввоз, и итоговая сумма меняется достаточно быстро, чтобы проверять её перед каждым расчётом, а не брать из прошлого проекта.

Что помещается в такую коробочку

Флагманские модели туда не влезают, и близко.

• GigaChat 3.5 Ultra (Сбер, лицензия MIT) — 432 миллиарда параметров, из них 28 активных. Требует порядка 800 ГБ видеопамяти. Это серверная стойка, а не настольная машина.
• T-pro 2.1 (Т-Банк) — 33 миллиарда параметров, дообучена на русском поверх Qwen3-32B, лицензия Apache 2.0. Для компании это важно: лицензия разрешает коммерческое использование без оговорок. Помещается в 128 ГБ с запасом.
• GigaChat 3.1 Lightning — 10 миллиардов параметров, 1,8 активных. Рассчитана как раз на локальный запуск.
• Qwen3.5-9B — в обзорах 2026 года её чаще других называют разумным выбором для русского языка при небольшом размере.
• Vikhr на 3–7 миллиардов — для слабого железа, где больше ничего не запустится.

Если коротко: коробочка со 128 ГБ — это модели до 30–35 миллиардов параметров в разумном качестве. Сравнивать их стоит не по рекламным таблицам вендоров, а по русскоязычному бенчмарку MERA и, главное, на своих собственных задачах.

Распознавание речи: локально получается лучше всего

Если с текстовыми моделями локальная установка проигрывает облаку, то с речью ситуация обратная: открытые модели для русского языка работают очень прилично и запускаются на скромном железе.

• GigaAM v3 (Сбер, MIT) — сильнейшая на чистой русской речи, компактная. Слабое место: англоязычные термины она записывает кириллицей или искажает, поэтому на совещании ИТ-отдела результат разочарует.
• Whisper (OpenAI, MIT) — универсальная, лучше держит смешанную русско-английскую речь и шумные записи. При этом версия large-v2 на терминах точнее, чем более новая large-v3.
• T-one (Т-Банк, Apache 2.0) — всего 70 миллионов параметров, потоковая, сделана под телефонию. На записях колл-центра показывает 8,63 процента ошибок против 19,39 у Whisper large-v3 и при этом работает на обычном процессоре, без видеокарты.

С цифрами стоит быть осторожными: большинство красивых сравнений публикуют сами разработчики моделей. Независимые замеры на одинаковых данных дают куда более ровную картину — на публичном наборе разница между GigaAM и Whisper оказалась меньше десятой доли процента. Поэтому выбор делается прогоном на ваших собственных записях, а не по таблице из статьи.

Что из этого собирается в компании

Набор задач, которые закрываются локально без потери качества:

• Расшифровка звонков и встреч. Запись не покидает периметр, расшифровка попадает в карточку сделки.
• Разбор входящих документов. Счета, спецификации, заявки в PDF: модель извлекает поля, человек проверяет.
• Ответы по собственной базе. Регламенты, инструкции, история проектов — поиск с ответом вместо чтения ста страниц.
• Голосовой ввод на рабочем месте. Там, где печатать неудобно: цех, склад, выездная бригада.
• Агенты в процессах. Локальная модель подключается к Битрикс24 через REST так же, как любая внешняя: с точки зрения портала разницы нет.

Чего ждать не стоит

Три ожидания, которые не сбываются.

1. «Будет как в облаке». Не будет. На сложных рассуждениях и длинных документах разрыв заметен, и это не лечится настройками.
2. «Поставили и забыли». Модели обновляются, нагрузка растёт, качество ответов нужно отслеживать. Без ответственного человека установка тихо деградирует.
3. «Окупится сразу». При сотне запросов в месяц облако обойдётся дешевле, и заметно. Локальная установка начинает выигрывать на потоке и там, где облака нет вообще — по закону или по связи.

Как подойти к расчёту

Сначала считаете объём задач в месяц, потом проверяете гипотезу на облаке, и только затем — если объём подтвердился или данные нельзя отдавать наружу — покупаете железо. Обратный порядок приводит к дорогой коробке, на которой крутится демонстрация для руководства.

Цены и версии моделей в этом разборе актуальны на конец октября 2026 года. Рынок меняется быстро: за последний год железо подорожало вдвое, а список моделей с открытыми весами обновился почти полностью.