ByteDance представила ИИ-систему для домашних роботов

GR-3 представляет собой крупномасштабную модель, объединяющую зрение, язык и действия. Она позволяет роботам действовать в незнакомых условиях и с ранее неизвестными предметами. Система может интерпретировать не только названия объектов, но и абстрактные параметры, такие как размер или расположение, например, команды вроде «большая тарелка» или «предмет слева».

Одним из примеров применения GR-3 стал экспериментальный мобильный робот ByteMini, оснащенный двумя манипуляторами. Согласно видео на сайте компании, этот робот способен вставить в рубашку вешалку и повесить её на рейку. В отчёте разработчиков отмечено, что система успешно справляется даже с короткими рукавами, хотя в обучающих данных использовалась только одежда с длинными рукавами.

Робот также способен находить и перемещать конкретные предметы среди нескольких, следуя голосовой инструкции. Это может быть полезно для автоматизации рутинных задач в быту, таких как уборка стола или сортировка вещей.