В России придумали как отучить нейросети врать

Разработчики из Университета Решетнева придумали, как уменьшить «галлюцинации» у нейросетей — случаи, когда модель уверенно сообщает неверную или выдуманную информацию. В пресс‑службе вуза РИА Новости сообщили, что их методику можно применять в образовании, на портале «Госуслуги», в медицине и юриспруденции. В университете пояснили, что сейчас проблему частично решают с помощью RAG‑систем (Retrieval‑Augmented Generation), где модель сначала ищет релевантные данные в базе знаний, а затем формирует ответ. Такой подход снижает вероятность ошибок, но не устраняет их полностью: сбои могут возникать из‑за опечаток, противоречивых запросов или неполноты источников. Под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой команда проанализировала типичные сценарии «галлюцинаций» и создала их классификатор. На этой основе был разработан автоматизированный пайплайн стресс‑тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность по специальным метрикам и семантическому сходству. Главное достижение — прототип модуля мониторинга в режиме реального времени. Он логирует входящие запросы и контекст диалога, рассчитывает риск выдачи недостоверного ответа и присваивает модели балл уверенности; при ошибке или низкой уверенности модуль уведомляет оператора. В университете также отмечают универсальность методики: она не привязана к конкретной модели и легко масштабируется — от чат‑ботов для абитуриентов до госуслуг, медицинских и юридических помощников.