Поиск по документам
Вопрос обычным языком, ответ со ссылкой на пункт регламента, договора или инструкции.
- Главная
- Локальный ИИ
Локальный ИИ для компании: нейросеть на своём сервере
Ставим открытую языковую модель на сервер в вашем офисе или в казахстанском дата-центре и подключаем к ней ваши документы. Сотрудники ищут по регламентам и договорам, получают черновики писем и ответы со ссылкой на источник, а данные не покидают компанию.
Что делает локальная модель.
Те же задачи, что облачный ассистент, но внутри вашего периметра.
Внутренний ассистент
Сотрудники пишут как в ChatGPT, но модель знает ваши процессы и не видит интернет.
Черновики
Письма, служебные записки, ответы клиентам по шаблонам компании.
Разбор входящих
Классификация заявок и писем, извлечение реквизитов, заполнение учётной системы.
Персональные данные
Обработка анкет, обращений и договоров без передачи третьим лицам.
Закрытые контуры
Работа без доступа в интернет, если этого требует политика безопасности.
Сколько видеопамяти нужно.
Ориентиры для 4-битного и 8-битного сжатия. Реальная цифра зависит от формата, длины контекста и числа одновременных пользователей.
| Размер модели | 4 бита | 8 бит | Что это за класс |
|---|---|---|---|
| ~8 млрд параметров | ~6 ГБ | ~10 ГБ | Простые задачи, классификация, черновики |
| ~14 млрд | ~10 ГБ | ~17 ГБ | Ассистент для небольшой команды |
| ~32 млрд | ~20–22 ГБ (карта 24 ГБ) | ~32–35 ГБ | Хороший баланс качества и цены |
| ~70 млрд | ~40 ГБ (карта 48 ГБ) | ~70 ГБ (96 ГБ или несколько карт) | Высокое качество, сложные документы |
| gpt-oss-20b | ~16 ГБ | — | Открытая модель OpenAI, лицензия Apache 2.0 |
| gpt-oss-120b | одна карта 80 ГБ | — | Открытая модель OpenAI, лицензия Apache 2.0 |
Оценки по открытым руководствам и документации NVIDIA для gpt-oss (docs.nvidia.com), проверено 04.11.2026. Цифры для 8B и 14B рассчитаны по размеру весов.
Какие модели ставим.
Выбираем по трём критериям: язык ваших документов, лицензия и железо.
| Модель | Языки | Лицензия | Комментарий |
|---|---|---|---|
| Qwen3 (Alibaba) | Хорошо русский, английский | Apache 2.0 | Сильная линейка разных размеров |
| gpt-oss (OpenAI) | Русский, английский | Apache 2.0 | 20b для одной карты, 120b для сервера |
| Llama 3.x (Meta) | Русский, английский | Llama Community License | Коммерческое использование с условиями |
| KazLLM (ISSAI, Назарбаев Университет) | Казахский, русский | CC BY-NC 4.0, некоммерческая | Для коммерческих проектов не подходит без отдельной лицензии |
KazLLM: issai.nu.edu.kz/kazllm. Лицензии моделей проверяем на дату проекта.
Вопросы, которые задают перед стартом.
Что такое локальный ИИ?
Это языковая модель, которая работает на сервере в вашем офисе или в казахстанском дата-центре, а не у OpenAI или Anthropic. Запросы и документы не уходят провайдеру.
Какой сервер нужен для локальной нейросети?
Зависит от размера модели. По оценкам для 4-битного сжатия: модель на ~32 млрд параметров требует около 20–22 ГБ видеопамяти (одна видеокарта на 24 ГБ), модель на ~70 млрд около 40 ГБ (карта на 48 ГБ). gpt-oss-120b помещается на одну видеокарту на 80 ГБ. Точную конфигурацию считаем под число пользователей.
Будет ли локальная модель понимать русский и казахский?
Русский хорошо понимают Qwen3 и gpt-oss. Для казахского есть KazLLM от ISSAI (Назарбаев Университет), но её лицензия не разрешает коммерческое использование. Поэтому для компаний мы подбираем открытые модели с коммерческой лицензией и проверяем качество на ваших текстах.
Это законно с точки зрения персональных данных?
Да, и это одна из причин ставить локальную модель: закон РК «О персональных данных и их защите» требует хранить персональные данные в базе на территории Казахстана. Локальная модель не отправляет их за рубеж.
Сколько стоит?
Основная статья расходов — сервер с видеокартами, дальше электричество и поддержка. Для небольшой команды бывает достаточно одной рабочей станции, для сотен пользователей нужен сервер. Смету даём после разбора задач и нагрузки.
Можно ли совместить локальную модель и ChatGPT?
Да, так делают часто: чувствительные документы обрабатывает локальная модель, а общие задачи сотрудники решают в корпоративном ChatGPT или Claude.
Есть задача, которую сложно даже сформулировать?
Опишите как есть, одним абзацем. Вернёмся с вопросами и первым чертежом решения.
Каждой заявке присваивается номер. Назовите его, если будете писать в мессенджер.