MIT и Toyota создали ИИ для генерации виртуальных сред для обучения роботов

Система использует миллионы заранее созданных моделей объектов, таких как столы, тарелки и столовые приборы. Затем ИИ расставляет их в новых сценах и корректирует расположение с учётом физических законов, предотвращая пересечение объектов и другие ошибки 3D-графики. В основе метода лежит алгоритм «Monte Carlo Tree Search», позволяющий постепенно улучшать сцены, добиваясь максимальной реалистичности и сложности.

«Steerable Scene Generation» позволяет роботам учиться на разнообразных сценариях с использованием обучения с подкреплением. Система может также реагировать на текстовые команды пользователя, например создать кухню с определёнными предметами, с точностью до 98% для некоторых сцен.

Исследователи отмечают, что новая технология сокращает время и ресурсы, необходимые для создания обучающих данных, и обеспечивает сцены, максимально приближенные к реальному миру. В будущем они планируют добавить возможность создавать полностью новые объекты и интерактивные элементы, такие как шкафы и банки с продуктами, чтобы сделать тренировки роботов ещё более практичными и адаптивными.