Сбер и Сколтех разработали метод выявления галлюцинаций ИИ по картам внимания

Технология встроена в открытую библиотеку SIRIN

Исследователи Центра практического искусственного интеллекта Сбера и «Сколтеха» предложили новый метод для обнаружения галлюцинаций в больших языковых моделях, работающих с внешними источниками (RAG). Разработка под названием TOHA (Topological Divergence on Attention Graphs) опубликована в материалах конференции ACL 2026. В её основе — анализ топологической структуры карт внимания модели, что позволяет выявлять недостоверные ответы без обучения дополнительных классификаторов и при минимальном объёме размеченных данных.

Сбер и Сколтех разработали метод выявления галлюцинаций ИИ по картам внимания

Авторы проверили метод на задачах ответов на вопросы и суммаризации текста. На нескольких тестовых наборах TOHA показал результаты на уровне современных подходов, а по вычислительным затратам оказался выгоднее, например, метода SelfCheckGPT, требующего множественных генераций. Технология уже интегрирована в открытую библиотеку SIRIN, что делает её доступной для корпоративных ассистентов, работающих с базами знаний.

Как отметил директор по AI-трансформации Сбербанка Сергей Рябов, вместо масштабной разметки данных используется точечная настройка внимания модели. По его словам, это новый стандарт доверия к ответам ИИ, который повышает точность работы ассистентов в сценариях, требующих проверки фактов по внешним документам.

«Борьба с ИИ-галлюцинациями выходит на новый уровень. Вместо масштабной разметки данных мы используем точечную настройку внимания модели. Технология уже встроена в открытую библиотеку SIRIN, что делает её доступной для создания корпоративных ассистентов, работающих с базами знаний. Это новый стандарт доверия к ответам ИИ», — подчеркнул Рябов.

Источник:Газета.Ru

Автор:Андрей Кадуков

Теги:

#Россия

#искусственный интеллект