В России придумали как отучить нейросети врать

В университете пояснили, что сейчас проблему частично решают с помощью RAG‑систем (Retrieval‑Augmented Generation), где модель сначала ищет релевантные данные в базе знаний, а затем формирует ответ. Такой подход снижает вероятность ошибок, но не устраняет их полностью: сбои могут возникать из‑за опечаток, противоречивых запросов или неполноты источников.

Под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой команда проанализировала типичные сценарии «галлюцинаций» и создала их классификатор. На этой основе был разработан автоматизированный пайплайн стресс‑тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность по специальным метрикам и семантическому сходству.

Главное достижение — прототип модуля мониторинга в режиме реального времени. Он логирует входящие запросы и контекст диалога, рассчитывает риск выдачи недостоверного ответа и присваивает модели балл уверенности; при ошибке или низкой уверенности модуль уведомляет оператора.

В университете также отмечают универсальность методики: она не привязана к конкретной модели и легко масштабируется — от чат‑ботов для абитуриентов до госуслуг, медицинских и юридических помощников.