Американский стартап придумал инструмент для поиска ошибок генеративного ИИ
© Ferra.ru
Американский стартап Patronus AI представил инструмент SimpleSafetyTests для проверки ответов генеративного ИИ (genAI), которые от технологий получают пользователи. Потому что, учитывая темпы развития ИИ, нельзя не столкнуться с некорректными ответами, ошибками и даже фейками.
Инструмент от Patronus AI — система «предсказания» следующего ответа, с учётом логики диалога и контекста. Отталкивается SimpleSafetyTests и от источников, которым должен соответствовать конкретный диалог.
По мысли разработчиков, поиск и предотвращение ошибок ИИ важен, потому что по мере развития этих инструментов, включая чат-боты, и улучшения имитации естественного языка скоро будет невозможно отличить поддельные результаты от настоящих со всеми вытекающими.