Xiaomi открыла исходный код системы OneVL для беспилотных авто

По заявлению Xiaomi, OneVL — первая в отрасли система, которая «объединяет сразу три передовых подхода»: понимание изображений и текста для выбора действий, прогноз развития ситуации и вывод о «скрытом пространстве». Раньше эти методы использовались по отдельности, одни системы только распознавали сцену, другие — только предсказывали, что произойдет дальше. OneVL делает и то, и другое одновременно.

Система, как утверждает разработчик, показывает высокие результаты в тестах на восприятие, логику и планирование маршрута. При этом она работает быстрее традиционных методов с пошаговыми рассуждениями, но с той же скоростью, что и более простые системы.

OneVL может объяснить свои решения: на словах и картинках показать, почему машине стоит затормозить, и что будет, если этого не сделать.