AmbiK: вышел самый детальный тест для проверки роботов на «догадливость»

Учёные из AIRI и МФТИ при поддержке Центра робототехники Сбера создали самый большой в мире набор данных AmbiK для проверки, как роботы понимают бытовые команды. Особенно когда они звучат неясно. Например, если вы скажете роботу «принеси что-нибудь попить», он должен догадаться, что речь, скорее всего, не о бензине или растительном масле, а о чае или воде. Человеку такое понятно без слов, но роботу — нет. Новый тест включает 2 тысячи примеров бытовых просьб, где инструкции часто не до конца понятны. Он помогает проверить, умеет ли робот распознавать такие ситуации и уточнять только тогда, когда это действительно нужно.Авторы AmbiK предлагают классифицировать неопределенности на три типа: Предпочтениями** пользователя (чай или сок), Общими** знаниями (не предлагать уксус как напиток), Вопросами** безопасности (не давать горячее ребёнку). Большинство современных моделей пока справляются с такими задачами плохо — в среднем правильно реагируют только в 20% случаев. Это можно исправить новым датасетом. AmbiK можно использовать для обучения как языковых, так и робототехнических систем. Кроме того, он подходит для тестов, где действия состоят из нескольких шагов — например, налить воду, поставить чашку и подать её. Датасет открыт для всех и поможет создавать более «догадливых» и удобных роботов-помощников.