OpenAI признала, что при нынешнем подходе ChatGPT всегда будет «галлюцинировать»

Под галлюцинациями компания понимает правдоподобные, но ложные ответы, которые чат-боты вроде ChatGPT выдают с уверенностью.

В качестве примера исследователи спросили у модели о названии диссертации и дате рождения одного из авторов работы — и получили три разных ответа, все неверные. Причина, по мнению OpenAI, в том, что на этапе предобучения модели учатся лишь предсказывать следующее слово в тексте, не различая правду и вымысел.

Частотные факты усваиваются лучше, а редкие детали, вроде дней рождения или малозначимых событий, почти всегда дают сбой. Основная проблема, по мнению исследователей, не только в обучении, а в способах оценки ИИ.

Сейчас модели оценивают по точности — чем больше правильных ответов, тем выше результат. Это поощряет угадывание, а не честное «не знаю».

OpenAI предлагает изменить метрики: наказывать уверенные ошибки сильнее, чем признание неопределенности, и давать частичный балл за корректное выражение сомнения. Если подход не изменится, считают авторы, ИИ будет продолжать «учиться гадать» вместо того, чтобы учиться осторожности.