Галлюцинация модели

Что это

Галлюцинация модели — это феномен, при котором большая языковая модель (LLM) генерирует текст, содержащий фактически неверную, выдуманную или не подкреплённую источниками информацию, при этом подавая её уверенно и грамматически корректно. Модель не «знает», что ошибается: у неё нет механизма проверки истинности — она предсказывает следующий токен, а не обращается к базе фактов. Именно поэтому галлюцинации особенно опасны: текст выглядит убедительно, но содержит ложь.

Зачем это знать

Термин стал широко известен после массового выхода ChatGPT в конце 2022 года, когда пользователи начали замечать, что модель цитирует несуществующие научные статьи, придумывает биографии реальных людей и ссылается на законы, которых нет. В 2023 году адвокат в США использовал ChatGPT для подготовки судебного иска — модель выдумала шесть несуществующих прецедентов, что привело к скандалу и штрафу. Понимание галлюцинаций критично для всех, кто использует ИИ в работе: журналистов, разработчиков, аналитиков, юристов.

Как это работает

Языковая модель обучается предсказывать следующий токен на основе контекста и статистических паттернов из обучающих данных. Она не хранит факты как базу данных — она «знает», какие слова часто стоят рядом. Если модель не встречала точного ответа в обучающих данных или запрос выходит за пределы её знаний, она всё равно генерирует правдоподобный текст, экстраполируя из похожих паттернов. Галлюцинации чаще возникают в нескольких ситуациях:

• Запрос касается редких, узкоспециализированных или слабо представленных в обучающих данных тем
• Модель просят назвать конкретные цифры, даты, имена или ссылки — она «достраивает» их по аналогии
• Пользователь задаёт наводящий вопрос, который подталкивает модель к определённому ответу
• Запрос выходит за дату среза обучения (cutoff date) — модель не знает актуальных событий, но может их выдумать

Примеры

• Модель называет несуществующую книгу конкретного автора с реальным названием, годом издания и кратким содержанием
• На вопрос о научной статье GPT-4 генерирует правдоподобный DOI, название журнала и имена авторов — всё выдумано
• При запросе биографии малоизвестного человека модель смешивает детали нескольких реальных людей и добавляет несуществующие факты
• Модель уверенно описывает функцию несуществующего метода в библиотеке Python, включая синтаксис и примеры кода
• ChatGPT в ранних версиях мог «вспомнить» события, произошедшие после его даты среза, придумывая детали

Связанные понятия

• RAG (Retrieval-Augmented Generation) — техника подключения внешней базы знаний к модели, снижающая галлюцинации
• Температура модели — параметр случайности генерации; высокая температура увеличивает риск галлюцинаций
• Grounding — «заземление» модели на конкретный источник или контекст для повышения точности
• Токен — минимальная единица текста, которую обрабатывает модель
• Cutoff date — дата среза обучающих данных, после которой модель не имеет актуальной информации

Частые мифы

Распространённое заблуждение — что галлюцинации возникают только у «слабых» или устаревших моделей. На практике даже самые мощные модели — GPT-4, Claude 3, Gemini Ultra — галлюцинируют, просто реже и в менее очевидных местах. Ещё один миф: если модель отвечает уверенно и развёрнуто, значит, она права. Уверенность тона никак не коррелирует с точностью ответа. Единственный способ снизить риск — верифицировать критически важные факты по первичным источникам, использовать RAG-архитектуры или модели с доступом к поиску.