- Басты бет
- Жергілікті ЖИ
Компанияға арналған жергілікті ЖИ: өз серверіңіздегі нейрожелі
Ашық тілдік модельді сіздің кеңседегі серверге немесе Қазақстандағы дата-орталыққа орнатып, оған компания құжаттарын қосамыз. Қызметкер қарапайым тілмен сұрайды да, регламент немесе шарт тармағына сілтемесі бар жауап алады. Сұраулар мен құжаттар провайдерлерге кетпейді.
Модель қайда жұмыс істейді.
Үш нұсқа. Деректерге қойылатын талаптар мен жүктеме бойынша таңдаймыз.
Қазақстандағы дата-орталық
ҚР аумағындағы дата-орталықтағы сервер. Өз серверлік бөлмеңіз керек емес.
- Деректер
- Қазақстанда
- Кімге
- Өз серверлік бөлмесі жоқ компанияларға
Кеңседегі сервер
Модель 1С пен файл қоймаларының жанында, сіздің желіңізде жұмыс істейді.
- Деректер
- Компания ішінде
- Кімге
- Серверлік бөлмесі мен IT қызметі барларға
Жабық контур
Интернетке шықпайтын сервер. Жаңартуларды қолмен орнатамыз.
- Деректер
- Контурдан шықпайды
- Кімге
- Мемлекеттік сектор мен режимдік нысандарға
Жауап қызметкерге қалай жетеді.
Үзік сызықпен белгіленгеннің бәрі сіздің серверіңізде өтеді.
- Қадам 01
Сұрақ
Қызметкер сұрақты чатқа немесе тікелей CRM карточкасына жазады.
- Қадам 02
Құжаттардан іздеу
Жүйе қызметкердің қолжетімділігі бар құжаттардан үзінділер табады.
- Қадам 03
Модель
Сіздің серверіңіздегі модель табылғанды оқып, жауап жазады.
- Қадам 04
Журнал
Сұрау мен жауап қауіпсіздік қызметі үшін сіздің серверіңізде сақталады.
- Қадам 05
Жауап
Жауап алынған құжат пен тармаққа сілтемесі бар мәтін.
компания периметрі ішінде
Қанша бейнежады керек.
Модель өлшемін таңдаңыз. Түпкілікті конфигурацияны пайдаланушылар саны мен құжаттардың ұзындығына қарай есептейміз.
Шағын модель
- 4 бит
- ~6 ГБ бейнежады
- 8 бит
- ~10 ГБ
- Тапсырмалар
- Жіктеу, жобалар, қысқа жауаптар
Командаға арналған ассистент
- 4 бит
- ~10 ГБ
- 8 бит
- ~17 ГБ
- Тапсырмалар
- Шағын командаға арналған ассистент
Негізгі жұмыс моделі
- 4 бит
- ~20–22 ГБ, 24 ГБ бір карта
- 8 бит
- ~32–35 ГБ
- Тапсырмалар
- Құжаттардан іздеу, бөлімдерге ассистент: сапа мен жүктеменің тепе-теңдігі
Жоғары сапа
- 4 бит
- ~40 ГБ, 48 ГБ карта
- 8 бит
- ~70 ГБ: 96 ГБ карта немесе бірнеше карта
- Тапсырмалар
- Күрделі құжаттар және ұзын жауаптар
OpenAI ашық моделі
- Жады
- ~16 ГБ
- Лицензия
- Apache 2.0
- Тапсырмалар
- Бір картадағы ассистент
OpenAI-дың үлкен ашық моделі
- Жады
- 80 ГБ бір карта
- Лицензия
- Apache 2.0
- Тапсырмалар
- Сервердегі ауыр жүктеме
Бағалау ашық нұсқаулықтар мен gpt-oss бойынша NVIDIA құжаттамасына негізделген (docs.nvidia.com), 04.11.2026 тексерілді. 8B және 14B үшін сандар салмақтардың өлшемі бойынша есептелген.
Қандай модельдер орнатамыз.
Үш өлшем бойынша таңдаймыз: құжаттарыңыздың тілі, лицензия және жабдық.
| Модель | Тілдер | Лицензия | Түсініктеме |
|---|---|---|---|
| Qwen3 (Alibaba) | Орыс, ағылшын тілдерін жақсы түсінеді | Apache 2.0 | Әртүрлі өлшемдегі модельдер желісі |
| gpt-oss (OpenAI) | Орыс, ағылшын | Apache 2.0 | 20b бір картаға, 120b серверге |
| Llama 3.x (Meta) | Орыс, ағылшын | Llama Community License | Коммерциялық пайдалану шарттармен |
| KazLLM (ISSAI, Назарбаев Университеті) | Қазақ, орыс | CC BY-NC 4.0, коммерциялық емес | Бөлек лицензиясыз коммерциялық жобаларға жарамайды |
KazLLM: issai.nu.edu.kz/kazllm. Модельдердің лицензиясын жоба күніне тексереміз.
Қорғаудың бес деңгейі.
Желіден жаңартуларға дейін: әр деңгейде нені жабамыз.
Сервер сіздің желіңізде немесе жабық контурда, сыртқы API-сіз.
Корпоративтік есептік жазба және бөлімдер бойынша рөлдер.
Модель қызметкердің қолжетімділігі бар нәрсені ғана көреді.
Сұраулар мен жауаптар сіздің серверіңізде сақталады, оларды қауіпсіздік қызметі көреді.
Модельдердің жаңа нұсқаларын орнатпас бұрын сіздің мәтіндеріңізде тексереміз.
Бастар алдында қойылатын сұрақтар.
Жергілікті ЖИ дегеніміз не?
OpenAI немесе Anthropic-те емес, сіздің кеңседегі серверде немесе Қазақстандағы дата-орталықта жұмыс істейтін тілдік модель. Сұраулар мен құжаттар провайдерге кетпейді.
Жергілікті нейрожеліге қандай сервер керек?
Модель өлшеміне байланысты. 4 биттік сығымдау бағалауы бойынша: ~32 млрд параметрлі модельге шамамен 20–22 ГБ бейнежады керек (24 ГБ бір бейнекарта), ~70 млрд модельге шамамен 40 ГБ (48 ГБ карта). gpt-oss-120b 80 ГБ бір бейнекартаға сыяды. Нақты конфигурацияны пайдаланушылар санына қарай есептейміз.
Жергілікті модель орыс және қазақ тілдерін түсінеді ме?
Орыс тілін Qwen3 және gpt-oss жақсы түсінеді. Қазақ тілі үшін ISSAI (Назарбаев Университеті) әзірлеген KazLLM бар, бірақ оның лицензиясы коммерциялық пайдалануға рұқсат бермейді. Сондықтан компаниялар үшін коммерциялық лицензиясы бар ашық модельдерді таңдап, сапасын сіздің мәтіндеріңізде тексереміз.
Бұл дербес деректер тұрғысынан заңды ма?
Иә, және бұл жергілікті модель орнатудың бір себебі: ҚР «Дербес деректер және оларды қорғау туралы» заңы дербес деректерді Қазақстан аумағындағы базада сақтауды талап етеді. Жергілікті модель оларды шетелге жібермейді.
Жергілікті модель мен ChatGPT-ті бірге пайдалануға бола ма?
Иә, жиі солай жасайды: сезімтал құжаттарды жергілікті модель өңдейді, ал жалпы тапсырмаларды қызметкерлер корпоративтік ChatGPT немесе Claude-та шешеді.
Тапсырмаңыз туралы айтыңыз.
Процесті қалай бар солай сипаттаңыз. Сұрақтармен және архитектураның алғашқы нұсқасымен ораламыз.
Әр өтінімге нөмір беріледі. Мессенджерге жазсаңыз, соны атаңыз.
- Тапсырманы жоба сәулетшісімен талдау
- Құпия түрде, сұрау бойынша NDA
- Мессенджерде байланысу үшін өтінім нөмірі