Когда флагманские модели трёх гигантов ИИ — OpenAI, Anthropic и Google — сражаются на одном ринге, кто лучше управляет роботами?
20 октября RoboColiseum — арена embodied AI, совместно инициированная почти 20 университетами, компаниями и научно-исследовательскими институтами по всему миру, включая Mifeng Technology, Hugging Face, NVIDIA и Университет Цинхуа, — опубликовала результаты текущего раунда оценки: Claude Opus 5.5 заняла первое место по совокупному показателю среди четырёх флагманских моделей, следом идёт GPT-6 Astra.
В разрезе отдельных категорий среди четырёх флагманских моделей GPT-6 Astra лидирует по следованию инструкциям и общей адаптации к возмущениям, причём оценка за следование инструкциям достигла 99,35; Opus показала лучшие результаты в пространственном понимании и универсальных манипуляциях и заняла первое место в флагманской группе по совокупному показателю при минимальном расходе токенов за все раунды оценки. В тестах с возмущением качества изображения GPT-6.1 Sol заметно уступила трём другим моделям, что демонстрирует различия в устойчивости разных моделей к изменениям визуальной информации.
Однако первые два места в общем рейтинге этого раунда по-прежнему заняли модели embodied-политик, особенно сохраняя преимущество в измерении универсальных манипуляций.
Это очное противостояние даёт отрасли наглядный ориентир для понимания сильных и слабых сторон универсальных больших моделей и моделей embodied-политик.
RoboColiseum охватывает следование инструкциям, пространственное понимание, адаптацию к возмущениям и универсальные манипуляции, предлагая четыре подрейтинга способностей и 78 высокоточных симуляционных задач оценки; платформа не только показывает результаты моделей по отдельным категориям, но и фиксирует шаги выполнения задач и места сбоев, помогая разработчикам быстро выявлять слабые места моделей.
Как соучредитель, Mifeng предоставляет RoboColiseum высокоточные объектные ассеты и симуляционные сцены, поддерживая создание сред оценки для сложных задач роботизированных манипуляций и предоставляя базовые ресурсы для тестирования способностей моделей при взаимодействии с различными объектами, пространственных компоновках и условиях среды.
Могут ли результаты моделей в симуляции отражать реальную производительность при манипуляциях — также ключевой вопрос оценки. Согласно опубликованным платформой результатам практических испытаний, корреляция между симуляционной оценкой RoboColiseum и развёртыванием на реальном роботе достигла 89,5%, а расхождение в оценке одной и той же модели между симуляцией и реальным миром составляет менее 10%, что может служить ориентиром для отбора моделей и локализации проблем перед переходом разработчиков к тестированию на реальном роботе.
Mifeng Technology предоставляет систему обеспечения данных «полную, качественную и быструю», охватывающую три парадигмы данных: реальный робот, симуляция и без embodied-носителя. В части симуляции Mifeng предлагает два типа ресурсов — объектные ассеты и ассеты среды, охватывающие различные повседневные предметы и интерьерные сцены, а также возможности реконструкции сцен, получения экспертных траекторий и визуализации результатов оценки, помогая командам моделей проводить разнообразное обучение и оценку.
Coliseum изначально означал древнеримский круглый амфитеатр; RoboColiseum использует этот образ для построения многомерной системы оценки и создания открытой, нейтральной и воспроизводимой «арены» и «тренировочной площадки» для моделей embodied-интеллекта с помощью симуляционной оценки, высоко согласующейся с реальной производительностью. Любой университет, научно-исследовательский институт или корпоративный разработчик может представить свою модель и пройти стандартизированный «экзамен». С момента запуска в августе более 100 команд из страны и из-за рубежа проводят на платформе обучение и оценку моделей.
RoboColiseum теперь открыта для разработчиков по всему миру; команды моделей приглашаются к участию в оценке.
