Определение
Галлюцинации ИИ чаще всего обсуждают в языковых моделях, но похожие ошибки бывают и в других системах. Модель не знает факты в человеческом смысле: она строит вероятный ответ по данным, контексту и запросу. Поэтому она может придумать источник, неверно пересказать документ, смешать факты или уверенно ответить там, где нужно признать неопределённость.
Пример
Пользователь просит список научных статей, а модель создаёт правдоподобные названия и авторов, которых на самом деле нет.
Почему это важно
Термин важен для любого, кто использует ИИ в работе: ответы нельзя автоматически считать истиной, особенно в медицине, праве, финансах и публикациях.
Как работает
Галлюцинации уменьшают с помощью проверки источников, поиска по документам, ограничений, тестирования, цитирования, ручной валидации и настройки модели под задачу.
Где применяется
- проверка ответов чат-бота
- работа с документами
- поиск фактов и источников
Ограничения
Полностью убрать галлюцинации сложно. Даже сильная модель может ошибиться, если запрос расплывчатый, данных мало или контекст противоречив.
FAQ
Зачем знать термин «Галлюцинации ИИ»?
Термин важен для любого, кто использует ИИ в работе: ответы нельзя автоматически считать истиной, особенно в медицине, праве, финансах и публикациях.