Модель GreenWAM от Сбера для управления роботами

Сбер представил GreenWAM – модель искусственного интеллекта, которая умеет формировать команды для робота и предсказывать, как изменится окружающая сцена после его движений. Разработка объединяет две способности: моделирование происходящего и управление действиями. Она проверена в виртуальных средах и на человекоподобном роботе Грине.

GreenWAM продолжает направление исследований Сбера в области ИИ для роботов, к которому относится и Green-VLA. В новой работе акцент сделан на предсказании последствий действий: модель одновременно учится управлять роботом при выполнении задания и предсказывать, как изменится мир в результате его действий. И в прогнозе, и в управлении, подчеркивают в компании, GreenWAM показала результаты на уровне ведущих мировых разработок, причем одна способность усиливает другую.

Эксперты Сбера обучили GreenWAM на данных 20 семейств роботов – от двуруких манипуляторов до антропоморфных роботов с кистями. Для этого действия всех роботов описали в едином представлении, а в архитектуру добавили отдельный модуль, отвечающий за выбор действий.

По заданным действиям робота GreenWAM способна предсказать до минуты видео. В международном тесте WorldArena 1.0 модель показала второй результат среди 128 моделей рейтинга по сходству прогноза с реальной записью и точнее воспроизвела геометрию сцены, чем модели мира NVIDIA, Стэнфордского университета и AgiBot.

В управлении роботом GreenWAM, по данным Сбера, выступает на уровне лучших мировых моделей и опережает большинство из них, включая π0.5 от Physical Intelligence. В тесте RoboTwin 2.0 доля успешно выполненных задач составила 67,5% против 58,4% у π0.5, а в знакомых для модели условиях – 87%: выше этого результата в официальном рейтинге лишь две модели. В тесте LIBERO-plus, где у робота меняют освещение, положение камер, фон и формулировку команды, GreenWAM без дополнительного обучения выполнила 86,8% задач – больше, чем π0.5 и аналогичные модели NVIDIA и AgiBot.

Модель также испытали на человекоподобном роботе Грине, созданного Сбером. По сравнению с моделью NVIDIA Cosmos 3 Edge, обученной на тех же данных, доля успешно выполненных задач выросла с 88,9% до 95,6% в знакомых для модели условиях. В новых условиях этот показатель повысился с 80% до 84%.

Эксперименты показали, что две способности модели усиливают друг друга. Обучение на данных роботов сделало прогноз модели точнее и повысило долю успешно выполненных задач – как в виртуальных тестах, так и на реальном роботе. А если при обучении управлению сохранить у модели умение предсказывать изменения мира, она чаще справляется с задачами в незнакомых условиях. Большинство ошибок в таких условиях возникает, когда модель неверно представляет себе изменившуюся сцену.

Для работы в реальном времени разработчики создали ускоренную версию модели. Она работает в 12,3 раза быстрее исходной, а доля успешно выполненных задач на роботе при этом снизилась лишь с 95,6% до 91,1%. Это важно, когда робот должен быстро реагировать на изменения обстановки.