Самое неприятное в галлюцинациях нейросетей — не сам факт ошибки, а то, как она выглядит. Модель не запинается и не добавляет оговорок вроде «кажется» или «не уверен». Несуществующую статью закона, придуманную цитату и неверную цифру из отчёта она выдаёт с той же интонацией, что и правильный ответ.
Галлюцинации LLM — это ситуации, когда языковая модель генерирует фактически неверную или вымышленную информацию и представляет её как достоверный ответ.
Отличить одно от другого на глаз невозможно. Ошибки LLM не видно до тех пор, пока кто-то не сверит факт с первоисточником. Иногда это происходит слишком поздно: в базе судебных решений, которую ведёт Дамьен Шарлотен из HEC Paris, к августу 2026 года собрано 1868 дел, где суд установил опору сторон на выдуманный ИИ-контент. 724 из них приходятся на профессиональных юристов, а не на людей, защищавших себя самостоятельно.
Разберём: откуда технически берутся такие ошибки, почему модель не отвечает «я не знаю», как распознать галлюцинацию в конкретном ответе и в каких сценариях проверку нельзя перекладывать на саму нейросеть.
Что такое галлюцинации LLM
Галлюцинация (hallucination) — это фактически неверное утверждение, которое модель выдаёт как достоверное. Формально ответ корректен: он связный, грамматически чистый и уместный по стилю. Неверна только его фактическая часть.
Термин закрепился за большими языковыми моделями, но природа явления не в них одних. Большие языковые модели (LLM) работают с вероятностями текста, а не с проверенными записями о мире, и это определяет всё остальное.
Почему нейросети галлюцинируют
Модель предсказывает текст, а не проверяет факты
LLM устроена как система предсказания следующего токена, а не как база данных с проверенными фактами. Когда точного знания не хватает, модель не останавливается. Она продолжает генерацию, выбирая наиболее вероятное продолжение.
Для механики генерации убедительное предложение с придуманным фактом и такое же предложение с настоящим фактом — равноценные результаты работы.
Распространённое объяснение на этом и заканчивается: внутри модели якобы вообще нет сигнала уверенности. Это неточно. Исследование Anthropic показало, что крупные модели неплохо калиброваны на вопросах с выбором ответа, разумно оценивают правильность собственного ответа и умеют предсказывать, знают ли они ответ вообще. Проблема в другом: этот сигнал не выводится в текст ответа по умолчанию, а на незнакомых задачах калибруется плохо.
Практическое следствие описано в нашем материале про агентский поиск с верификатором фактов: модель может показывать низкую степень неопределённости и при этом выдавать фактически ложное утверждение. Внутренняя уверенность модели не работает как индикатор правды.
Редкие факты и предел данных обучения
Модель знает то, что было в её обучающих данных до момента отсечения (knowledge cutoff), и не знает того, что случилось позже. Хуже того, она плохо работает с фактами, которые встречались в обучении один-два раза: внутренние регламенты, отраслевые нормативы, локальные новости.
У этого есть измеримая нижняя граница. В работе OpenAI «Why Language Models Hallucinate» приводится прямой расчёт: если 20% фактов о днях рождения встречаются в обучающих данных ровно один раз, базовая модель ошибётся минимум на 20% таких вопросов. Редкость факта в данных напрямую переводится в долю ошибок.
На такие вопросы модель не отвечает молчанием. Она достраивает ответ по аналогии с похожими случаями, и результат выглядит как факт, хотя это экстраполяция.
Ответ без доступа к первоисточнику
Без подключения к внешним документам модели неоткуда взять точную цитату, номер пункта договора или актуальную цифру. Она восстанавливает их по памяти, а память языковой модели, как правило, не хранит текст дословно. Она хранит статистические закономерности.
Отсюда типичная картина. Модель верно передаёт суть документа, но путает даты, имена и точные формулировки. Суть встречалась в обучающих данных многократно, дословного текста конкретного договора там не было никогда.
Длинный и перегруженный контекст
Даже переданный напрямую документ не гарантирует точности. Модели хуже удерживают детали из середины длинного текста, чем из начала и конца. Это явление известно как «потерянное в середине» (lost in the middle).
Дело не только в позиции фрагмента. Исследование, представленное на EMNLP 2025, показало: сама длина входа снижает качество ответа независимо от того, насколько хорошо найден нужный фрагмент. Диапазон деградации по моделям и задачам — от 13,9% до 85%. Llama-3.1-8B на тесте MMLU теряет 24,2%, Mistral на GSM8K — 34,2% при 30 тысячах токенов контекста. В контрольном опыте длину набивали пробелами без всякой смысловой нагрузки, и качество всё равно падало.
Вывод для практики: «загрузить в модель весь документ целиком» — не решение проблемы точности, а иногда её источник.
Размытый запрос
Расплывчатая формулировка задачи повышает риск галлюцинации не меньше, чем нехватка данных. Пробелы в постановке модель заполняет сама и заполняет правдоподобно, а не пометкой «предположение».
Три вещи, которые чаще всего забывают указать:
- на какой документ или базу опираться;
- за какой период нужны данные;
- что делать при отсутствии информации.
Почему LLM не отвечает «я не знаю» и продолжает ошибаться
Ответ лежит не в устройстве модели, а в том, как её оценивают. В сентябре 2025 года исследователи OpenAI сформулировали это прямо: модели галлюцинируют потому, что процедуры обучения и оценки поощряют угадывание, а не признание неуверенности.
Механика простая. Большинство бенчмарков считают ответ по схеме «верно или неверно», без промежуточной оценки за честное «не знаю». При такой системе подсчёта модель, которая всегда угадывает, обгоняет модель, которая корректно сообщает о неуверенности. Модели оптимизированы быть хорошими экзаменуемыми, а на экзамене угадывать выгоднее, чем сдавать пустой лист.
Отсюда два практических следствия. Первое: право не отвечать нужно давать модели явно, в системном промпте, вместе с описанием того, как выглядит допустимый отказ. Второе: галлюцинации нельзя полностью устранить только подбором более сильной модели — на надёжность ответа влияет не только набор весов, но и источники, архитектура поиска, правила отказа и процесс проверки.
Отдельно про температуру, поскольку этот совет встречается чаще всех остальных. Понижение temperature делает ответы воспроизводимыми и предсказуемыми — это его настоящий эффект. Прямой связи с фактической точностью в диапазоне от 0,0 до 1,0 исследования не подтверждают: работа, представленная на EMNLP 2024, статистически значимого влияния температуры на решение задач не обнаружила. Как параметр генерации влияет на скорость и стоимость ответа, разобрано в материале про инференс ИИ и LLM.
Как распознать галлюцинацию LLM: 4 признака ошибки
Признаки работают как фильтр первого уровня. Они показывают, какой ответ надо проверить, но не заменяют проверку.
Не существует одного признака, который гарантированно доказывает галлюцинацию LLM. Поэтому проверять ответ нужно по нескольким сигналам и обязательно сверять критичные факты с первоисточником.
| Признак | Как проверить за минуту | Чего признак не покажет |
|---|---|---|
| Точная цифра, дата или номер пункта без источника | Попросить назвать документ и фрагмент, откуда взято. Ответ «по общедоступным данным» равен отсутствию источника | Ошибку в цифре, которая источником действительно подтверждена, но взята из устаревшей редакции |
| Формулировка меняется при переспросе | Задать тот же вопрос в новой сессии. Разошлись дата, имя или сумма — опоры на данные не было | Устойчивую ошибку: если факт в обучающих данных искажён, модель повторит его одинаково |
| Гладкий ответ на сложный вопрос | Спросить про исключения и границы применимости. В реальных данных они почти всегда есть | Правильный ответ на вопрос, который оказался проще, чем выглядел |
| Правдоподобное название закона, статьи или инструмента | Найти название прямым поиском по официальному источнику | Подмену внутри существующего документа: номер настоящий, содержание пункта придумано |
Общее ограничение у всех четырёх: они требуют доступа к первоисточнику. Там, где сверить факт не с чем, признаки помогают выбрать, что не отправлять дальше без проверки, и на этом их роль заканчивается.
Как уменьшить галлюцинации LLM: 5 способов
Чем шире модели разрешено додумывать, тем выше риск. Дальше — приёмы в порядке отдачи, вместе с тем, чего каждый из них не делает.
Ограничить источники
Базовый приём: передать модели документ и потребовать отвечать только на основе переданного текста. Подход известен как RAG (retrieval-augmented generation): модель не вспоминает факт, а находит его в подключённой базе.
RAG не гарантирует отсутствие галлюцинаций. Даже если модель получает релевантные документы, она может неверно интерпретировать найденный фрагмент или сделать вывод, которого в источнике нет. Поэтому для критичных сценариев RAG дополняют цитированием источников и дополнительной проверкой ответа.
Это снижает риск, но не снимает его. Стэнфордское исследование юридических RAG-сервисов дало цифру: Lexis+ AI, Westlaw AI-Assisted Research и Ask Practical Law AI галлюцинируют в 17–33% случаев, и авторы отдельно отметили, что заявления вендоров об устранении галлюцинаций завышены. Формулировки вида «риск исключён» к RAG неприменимы. Корректная рамка: риск снижается на уровне архитектуры, остаточный риск остаётся и требует измерения.
Требовать ссылку на фрагмент
Ответ со ссылкой на конкретный абзац источника меняет экономику проверки. Человеку остаётся сверить цитату, а не искать факт заново. Это единственный приём из списка, который ускоряет работу проверяющего, а не только снижает вероятность ошибки.
Разрешить отказ от ответа
Явное разрешение отвечать «в переданных документах данных нет» работает против того самого перекоса в сторону угадывания. Цена решения — часть запросов останется без ответа, и это надо заранее согласовать с теми, кто пользуется сервисом.
Проверять другой моделью, а не той же
Проверка моделью собственного ответа не гарантирует обнаружения ошибки: модель может воспроизвести исходное неверное утверждение. Независимая вторая модель работает лучше, но удваивает число вызовов и добавляет задержку, поэтому приём применяют выборочно, на критичных ответах.
Структурированный вывод — с оговоркой
Заполнение конкретных полей по строгому формату делает ошибку машинно-проверяемой: тип, диапазон и обязательность поля проверяются автоматически. Это его сильная сторона.
Слабая сторона тоже известна. Исследование EMNLP 2024 зафиксировало значимое падение способности к рассуждению при жёстких ограничениях формата, причём чем строже формат, тем сильнее просадка. Отсюда рабочее разделение: строгий формат — для извлечения полей, свободный — там, где нужно рассуждение, с последующей структуризацией отдельным шагом.
Где проверку ответа ИИ нельзя переложить на модель
В четырёх категориях задач технических мер недостаточно, и человек в контуре (human-in-the-loop) обязателен:
- Юридические и договорные вопросы. Неверно процитированный пункт или несуществующая норма ложатся в основу реального решения. Первый громкий пример — дело Mata v. Avianca 2023 года, где юрист подал в суд шесть выдуманных прецедентов. За три года такие дела стали статистикой, а не курьёзом.
- Медицинские и финансовые рекомендации. Ошибка напрямую влияет на здоровье или деньги.
- Обязательства перед клиентом. Сроки, цены и условия, сформулированные моделью в переписке, компания потом обязана выполнить.
- Перенос данных в учётные системы. Неверно распознанная сумма или дата уходит дальше по цепочке процессов, и заметить её становится всё труднее.
Во всех четырёх модель ускоряет подготовку ответа. Финальную сверку факта делает человек, до того как результат на что-то повлияет.
Что галлюцинации LLM меняют на уровне процесса
Галлюцинации нейросетей нельзя полностью устранить только выбором более сильной модели. Авторы работы OpenAI предлагают менять именно систему подсчёта в бенчмарках, и это работа отраслевая, на годы.
На горизонте внедрения задача формулируется иначе: проектировать процесс под остаточный риск. Три обязательных элемента — ограничение источников, требование ссылки на фрагмент и человек в контуре на сценариях с реальной ценой ошибки. Четвёртый добавляется на уровне инфраструктуры: полный лог запросов и ответов, без которого разобрать инцидент постфактум невозможно.
Какие функции нужны AI-платформе для контроля ответов
На практике снижение риска галлюцинаций требует не одной настройки модели, а нескольких уровней контроля: доступа к источникам, проверки содержимого ответа, журналирования запросов и управления доступом к моделям. Поэтому эти функции обычно выносят на уровень AI-платформы.
Слой доступа к моделям закрывает AI as a Service (AIaaS) от ITGLOBAL.COM. В услугу входят единый API к 100+ языковым моделям, российским и зарубежным, DLP-фильтрация промптов и ответов, квоты и бюджеты по подразделениям и пользователям, полное логирование всех запросов для аудита. Данные обрабатываются в РФ, работа идёт в соответствии с 152-ФЗ. Новые модели подключаются без изменения кода, поэтому смена модели под задачу не превращается в отдельный проект.
Готовый сценарий с ограничением источников — модуль нейропоиска по базе знаний компании на платформе Ainergy. Если требуется изолированный ИИ-контур с возможностью дообучения на собственных данных, эту задачу закрывает формат Private AI Cloud.
Дата обновления: август 2026.
FAQ
Нет, для готовой языковой модели полностью исключить галлюцинации нельзя. Ограничение доступных источников, обязательные ссылки на документы и проверка человеком снижают вероятность и стоимость ошибок, но не гарантируют нулевой риск. В промышленных RAG-сервисах для юридических задач остаточная доля ошибок в отдельных исследованиях составляла 17–33%.
Температура 0 делает ответы модели более воспроизводимыми: при одинаковом запросе система с большей вероятностью даст одинаковый результат. Это полезно для тестирования и стабильной работы сценария. Однако исследования не показали статистически значимого влияния температуры в диапазоне 0,0–1,0 на фактическую правильность ответов, поэтому использовать этот параметр как основную защиту от галлюцинаций не стоит.
Устаревший ответ был корректен на момент, когда завершилось обучение модели, но перестал быть актуальным после изменения фактов, правил или данных. Галлюцинация — это утверждение, которое не соответствовало действительности изначально либо не подтверждается доступными источниками. Устаревание устраняется подключением актуальных данных, а галлюцинации — ограничением источников, ссылками на фрагменты документов и дополнительной проверкой ответа.
Основные меры — ограничить перечень источников, на которые может опираться модель, требовать ссылки на конкретные фрагменты документов и разрешить ассистенту честно отказаться от ответа, если данных недостаточно. Для критичных сценариев также используют отдельную проверку ответа: правилами, второй моделью или человеком. В корпоративных системах эти меры дополняют журналированием запросов, контролем доступа и регулярной оценкой качества ответов.
Подготовьте выборку из 20–50 реальных запросов, для которых заранее известны правильные ответы и подтверждающие источники. Затем подсчитайте долю ответов, все существенные утверждения в которых подтверждены документами. Проверку нужно повторять после смены модели, промпта, поискового индекса или набора источников: даже обновление версии LLM может заметно изменить поведение сценария.
Публичных сопоставимых замеров для GigaChat, YandexGPT и других российских языковых моделей пока недостаточно. Большинство открытых лидербордов и тестов на галлюцинации построены преимущественно на англоязычных наборах данных. Поэтому переносить опубликованные проценты ошибок напрямую на работу с русскоязычными корпоративными документами некорректно. Для выбора модели лучше проводить собственное тестирование на реальных запросах и данных компании.
Предыдущая статья
