LLM (большая языковая модель)
LLM — большая языковая модель: нейросеть-трансформер, которая обучена предсказывать следующий токен текста. Закон № 243-ФЗ относит к большим фундаментальным моделям ИИ программы для множества задач, в которых не менее 1 млрд параметров.
Содержание
- 01LLM: расшифровка и почему модель называют большой
- 02Токены, окно и температура: как LLM читает и пишет
- 03Как обучают LLM: от предобучения до обратной связи от людей
- 04Дообучение, база знаний или удачный запрос: как приспособить LLM к бизнесу
- 05Пределы LLM: галлюцинации, устаревание и утечки данных
- 06LLM, чат-бот и AI-ассистент: что из этого что
- 07Частые вопросы
LLM: расшифровка и почему модель называют большой
LLM (Large Language Model, по-русски — большая языковая модель, в поиске пишут и «ллм») — нейросеть на архитектуре трансформер, обученная на огромных массивах текста предсказывать следующий фрагмент. Из этой простой задачи вырастают перевод, пересказ, ответы на вопросы и написание кода: чтобы точно угадывать продолжение, модель приходится усвоить грамматику, факты и логику связного текста.
«Большая» означает число параметров, то есть внутренних весов. У GPT-2 в 2019 году их было 1,5 млрд, у GPT-3 в 2020-м — 175 млрд. Российский закон № 243-ФЗ от 26.07.2026 тоже опирается на размер: одним из признаков большой фундаментальной модели он называет не менее 1 млрд параметров. Понятие шире LLM, но языковые модели под него попадают. Российские примеры — YandexGPT и GigaChat.
Токены, окно и температура: как LLM читает и пишет
Модель не видит ни букв, ни слов. Текст режется на токены — фрагменты из нескольких символов, — а модель на каждом шаге выбирает следующий токен, дописывает его и повторяет, пока ответ не закончится. Русскому тексту нужно больше токенов, чем английскому. Мы проверили токенизатор GPT-4o (o200k_base) на двух коротких абзацах про интернет-магазин, близких по смыслу: русский в 426 знаков дал 112 токенов, английский в 375 знаков — 79.
Контекстное окно — максимум токенов, которые модель учитывает за один запрос: инструкции, история диалога, документы и ответ. По документации OpenAI, у моделей семейства GPT-6 окно составляет 1,05 млн токенов, максимальный ответ — 128 тыс. токенов (данные на 17.10.2026). Большое окно не делает модель одинаково внимательной к каждому абзацу: в работе «Lost in the Middle» (2023) точность падала, когда нужный факт лежал в середине длинного контекста. Параметр температура задаёт случайность выбора токена: низкая даёт стабильные ответы, высокая — более разнообразные.
От токенов зависит и бюджет. Допустим, бот поддержки отправляет в модель 1 500 токенов на запрос (инструкция, история, фрагменты базы знаний) и получает 300 токенов ответа. За 10 000 диалогов в месяц набегает 15 млн входных и 3 млн выходных токенов. По прайсу OpenAI на 17.10.2026 модель GPT-6.1 Sol стоит 2 доллара за миллион входных и 10 долларов за миллион выходных токенов (для запросов до 272 тыс. входных токенов): 15 × 2 + 3 × 10 = 60 долларов в месяц. Тарифы меняются, для другой модели подставьте цифры из её прайса.
Как обучают LLM: от предобучения до обратной связи от людей
Первый этап — предобучение: модель читает гигантский корпус текстов и учится угадывать следующий токен. Затем идёт настройка на инструкции и обучение по оценкам людей (RLHF): разметчики сравнивают ответы, и модель подстраивается под предпочтения. В исследовании InstructGPT (март 2022) ответы версии на 1,3 млрд параметров люди предпочитали ответам GPT-3 на 175 млрд: обратная связь оказалась важнее более чем стократной разницы в размере.
Размер не главное и по другой причине. Авторы Chinchilla (2022) показали, что с ростом модели обучающих токенов нужно столько же больше: версия на 70 млрд параметров с вчетверо большим объёмом данных превзошла Gopher на 280 млрд при том же бюджете вычислений.
Дообучение, база знаний или удачный запрос: как приспособить LLM к бизнесу
Готовая модель ничего не знает о вашем прайсе и регламентах. Привить эти знания можно тремя способами, и самый дорогой нужен не всегда.
| Способ | Что меняется | Когда подходит |
|---|---|---|
| Удачный запрос с примерами | Только текст обращения к модели | Быстрый старт, формат и тон ответов |
| База знаний (RAG) | К запросу добавляют найденные фрагменты ваших документов | Актуальные цены, регламенты, ссылки на источник |
| Дообучение (fine-tuning) | Меняются веса модели | Устойчивый стиль, узкая терминология, жёсткий формат |
Полное дообучение требует много памяти, поэтому на практике используют LoRA: исходные веса замораживают и обучают небольшие добавочные матрицы. Авторы метода (2021) оценили сокращение обучаемых параметров примерно в 10 000 раз по сравнению с полным дообучением GPT-3 175B, а потребность в памяти GPU — примерно втрое. Готовые модели подключают к сайту и CRM через API, а чат-ботов и ИИ-решения на базе LLM BigPanda связывает с вашей базой знаний.
Пределы LLM: галлюцинации, устаревание и утечки данных
Модель подбирает правдоподобное продолжение, а не проверяет истину, поэтому уверенно выдаёт несуществующие цифры и ссылки — это называют галлюцинациями. Знания обрываются на дате обучения: у GPT-6 Astra в документации указан рубеж 30 апреля 2026 года. Всё позднее нужно подавать в запросе или через базу знаний. Третья зона риска — вредоносные инструкции внутри входного текста: OWASP ставит такую инъекцию на первое место в списке угроз для LLM-приложений 2025 года.
Отдельный вопрос — персональные данные. Запись и хранение данных граждан РФ в базах за пределами России не допускаются, кроме случаев, названных в законе (ч. 5 ст. 18 закона № 152-ФЗ), а до начала трансграничной передачи оператор обязан уведомить Роскомнадзор (ч. 3 ст. 12). Поэтому клиентские данные в зарубежную модель без проверки не отправляют; подробности — в термине 152-ФЗ. Есть и модели с открытыми весами, которые запускают на своих серверах: gpt-oss-120b от OpenAI под лицензией Apache 2.0 помещается на одну видеокарту с 80 ГБ. Такой контур требует инженерной работы — её берёт сложная разработка.
LLM, чат-бот и AI-ассистент: что из этого что
LLM — двигатель, а не готовый продукт. Она получает текст и возвращает текст. Чат-бот добавляет канал связи и сценарий, AI-ассистент — доступ к данным и действиям в системах компании. Выбор между сценарным ботом и ботом на LLM разобран в статье «Как сделать чат-бота для бизнеса».
Частые вопросы
LLM — это ChatGPT?
Нет. LLM — класс моделей, а ChatGPT — продукт OpenAI, который работает на моделях семейства GPT. Другие примеры LLM — YandexGPT, GigaChat, DeepSeek, Gemini. Одна и та же LLM может стоять за десятками продуктов: чат-ботами, помощниками в редакторе, поиском по документам.
Чем LLM отличается от обычной нейросети?
LLM — частный случай нейросети: языковая модель на трансформере с миллиардами параметров, обученная на текстах. Обычная нейросеть может распознавать изображения или прогнозировать спрос на нескольких тысячах весов. Главное отличие LLM в универсальности: одна модель решает десятки текстовых задач без отдельного обучения под каждую.
Что такое токен и сколько токенов в слове?
Токен — фрагмент текста, с которым работает модель: слово, часть слова или знак. Для английского токенов немного больше, чем слов, для русского — заметно больше. В нашем тесте на токенизаторе GPT-4o русский абзац дал около 1,75 токена на слово, английский — около 1,1. Точный счёт даёт токенизатор конкретной модели.
Можно ли обучить свою LLM на данных компании?
С нуля обучать не нужно и дорого: это задача разработчиков базовых моделей. Практичнее взять готовую модель и подключить базу знаний или дообучить её на своих примерах. Для справочных задач хватает базы знаний: она обновляется без переобучения и показывает, из какого документа взят ответ. Дообучение берут, когда нужен жёсткий стиль или формат.
Можно ли использовать зарубежные LLM в России?
Барьера два. Первый — правила самих сервисов: OpenAI не включает Россию в список стран, где доступны ChatGPT и API, и предупреждает о возможной блокировке аккаунта. Второй — 152-ФЗ: персональные данные в зарубежное облако нельзя отправлять без выполнения требований закона. Альтернативы — российские модели или собственный сервер с открытой моделью.