Учёные объяснили, почему ИИ путается из‑за лишних пробелов и изменённого формата

Известные языковые модели, например GPT-4, часто реагируют по-разному, если вопрос задан с другими отступами, лишними пробелами или изменённой пунктуацией. Для борьбы с этим ранее предлагались различные техники пост-обработки, такие как калибровка, которая корректирует склонность модели выбирать определённые ответы.

Учёные проанализировали эффективность этих подходов, тестируя их как в лабораторных условиях, так и в сценариях, приближенных к реальным. Важным выводом стало то, что ни один из существующих методов не решает проблему полностью. Даже передовые системы остаются чувствительными к малейшим изменениям в оформлении запроса.

В ходе работы исследователи также модифицировали один из известных методов, что позволило адаптировать его для современных языковых моделей, хотя раньше это было невозможно. Результаты исследования представлены в открытом репозитории с инструментами для оценки устойчивости ИИ к форматированию текста.

Это направление особенно критично для приложений, где цена ошибки высока. Неправильная трактовка запроса из-за опечатки может привести к серьёзным последствиям.