OpenAI признала, что при нынешнем подходе ChatGPT всегда будет «галлюцинировать»

OpenAI выпустила исследование о причинах «галлюцинаций» в больших языковых моделях и признала, что полностью избавиться от них невозможно. Под галлюцинациями компания понимает правдоподобные, но ложные ответы, которые чат-боты вроде ChatGPT выдают с уверенностью. В качестве примера исследователи спросили у модели о названии диссертации и дате рождения одного из авторов работы — и получили три разных ответа, все неверные. Причина, по мнению OpenAI, в том, что на этапе предобучения модели учатся лишь предсказывать следующее слово в тексте, не различая правду и вымысел. Частотные факты усваиваются лучше, а редкие детали, вроде дней рождения или малозначимых событий, почти всегда дают сбой. Основная проблема, по мнению исследователей, не только в обучении, а в способах оценки ИИ. Сейчас модели оценивают по точности — чем больше правильных ответов, тем выше результат. Это поощряет угадывание, а не честное «не знаю». OpenAI предлагает изменить метрики: наказывать уверенные ошибки сильнее, чем признание неопределенности, и давать частичный балл за корректное выражение сомнения. Если подход не изменится, считают авторы, ИИ будет продолжать «учиться гадать» вместо того, чтобы учиться осторожности.