Два режима агента
Мультимодальные модели уже умеют управлять роботом без специального обучения. Вопрос — как они соотносятся с политиками, которые обучали именно на манипуляциях, и как их лучше сочетать. Авторы проверили это на симуляционном бенчмарке EBench: 26 задач и 510 тестовых эпизодов разной длины и точности.
- Прямое управление. Агент сам выдаёт координаты точек движения робота.
- Агент плюс политика. Агент может на время передать управление обученной политике — VLA или world action model — и затем вернуть его себе.
Прямое управление
В одиночку агент решил 46,7% задач и занял третье место среди девяти участников. Профиль неровный: на коротких задачах он лучший — 73,2% против 65,9% у сильнейшей политики OpenWAM-α. На задачах, требующих высокой точности и длительного контакта с объектом, он проваливается: 11,3% против 32,5%.
Агент плюс политика
Данные авторов. Каждая связка сильнее и самого агента, и своей политики по отдельности.
Связка дала ещё один эффект: агент тратит меньше токенов на каждую успешную задачу — 3,5–4,0 млн вместо 8,1 млн, то есть на 51–57% меньше. Но это не значит меньше вычислений в целом: политика добавляет свои 45–135 запусков на эпизод.
Где теряется результат
Выигрыш не бесплатный. Связка с InternW0-Δ выиграла 96 эпизодов, которые агент в одиночку проваливал, но проиграла 49 из тех, что он решал. Авторы видят три причины.
- Делегирование вслепую. Как часто агент отдаёт управление, почти не зависит от того, насколько политика сильна в этой задаче.
- Нет подцелей. Политика получает общую инструкцию задачи, а не конкретный следующий шаг от агента.
- Сбой при возврате. Забрав управление обратно, агент иногда роняет предмет, который политика уже держала.
Что это значит на практике
Тот же принцип работает далеко за пределами робототехники: корпоративный агент-оркестратор на LLM вызывает специализированные модели — распознавание изображений, документов, речи. Выигрыш дают решения о том, когда и с какой подзадачей передавать работу, и аккуратный возврат результата. Ограничение работы: одна модель и симуляция, реальных роботов авторы оставили на будущее.