AmbiK: вышел самый детальный тест для проверки роботов на «догадливость»

Например, если вы скажете роботу «принеси что-нибудь попить», он должен догадаться, что речь, скорее всего, не о бензине или растительном масле, а о чае или воде. Человеку такое понятно без слов, но роботу — нет.

Новый тест включает 2 тысячи примеров бытовых просьб, где инструкции часто не до конца понятны. Он помогает проверить, умеет ли робот распознавать такие ситуации и уточнять только тогда, когда это действительно нужно.

Авторы AmbiK предлагают классифицировать неопределенности на три типа:

• Предпочтениями пользователя (чай или сок),

• Общими знаниями (не предлагать уксус как напиток),

• Вопросами безопасности (не давать горячее ребёнку).

Большинство современных моделей пока справляются с такими задачами плохо — в среднем правильно реагируют только в 20% случаев. Это можно исправить новым датасетом.

AmbiK можно использовать для обучения как языковых, так и робототехнических систем. Кроме того, он подходит для тестов, где действия состоят из нескольких шагов — например, налить воду, поставить чашку и подать её.

Датасет открыт для всех и поможет создавать более «догадливых» и удобных роботов-помощников.