Отдавайте команды на естественном языке, чтобы робот складывал полотенца, закрывал ящики и вешал наушники — словно задавая вопрос ChatGPT, разработчики теперь могут через открытый интерфейс заставлять роботов выполнять задачи в реальном мире.
20 октября Dream Labs, основанная командой ключевых участников бывшего проекта NVIDIA GR00T, запустила первый в мире открытый для широкой публики API базовой модели роботов — Dream API. Компания Mifeng Technology предоставляет для стоящей за ним мировой модели действий Dream-1 полный цикл услуг, охватывающих безморфные данные, данные с реальных роботов, тестирование и оценку на реальных роботах, поддерживая разработку модели и проверку осуществимости zero-shot обобщения.
По мере непрерывного снижения стоимости аппаратного обеспечения роботов отрасль остро нуждается в «универсальном мозге», способном повторно использоваться между задачами и между различными конструкциями роботов, чтобы снизить затраты на переобучение и адаптацию при каждой смене робота или задачи. Dream API открывает возможности роботизированной модели в форме API для широкой публики: разработчикам не нужно иметь опыта в машинном обучении, чтобы подключить своего робота и с помощью команд на естественном языке заставить его выполнять задачи. Стоимость использования Dream-1 составляет 3 доллара в час. В настоящее время к сотрудничеству присоединились более 20 производителей аппаратного обеспечения.
В основе Dream API лежит мировая модель действий (WAM) Dream-1, которая совместно обучается прогнозированию видео и генерации действий и способна в реальном времени управлять роботом в замкнутом контуре. По данным команды, в симуляционных испытаниях на 27 типах ранее не встречавшихся роботов 24 типа достигли более половины показателей обучающей конструкции YAM; на реальных роботах Dream-1 без дополнительного обучения на специфических данных целевого робота справляется с такими задачами, как складывание полотенец, закрывание ящиков и подвешивание наушников. В настоящее время его способность к zero-shot кросс-морфному переносу ориентирована главным образом на роботов с двумя параллельными захватами.
«Zero-shot освоение» роботом новой конструкции невозможно без накопления обучающих данных и проверки в реальном исполнении.
В рамках данного сотрудничества Mifeng Technology предоставляет безморфные данные для предварительного обучения мировой модели действий Dream-1: богатая информация о действиях человека и взаимодействии с объектами помогает модели изучать процессы выполнения различных задач; одновременно предоставляются данные с реальных роботов, дополняющие опыт движения, манипуляций и контакта при фактическом исполнении роботом. Два типа данных взаимно дополняют друг друга, обеспечивая поддержку обучения способностям модели и итеративной оптимизации.
От поставки данных до проверки на реальных роботах Mifeng дополнительно предоставляет услуги тестирования и оценки, помогая команде проверить осуществимость zero-shot обобщения Dream-1 на новых конструкциях. Наблюдая за пониманием роботом команд, процессом выполнения задач и результатами, оценивается, способны ли имеющиеся возможности модели переноситься на нового робота, выявляются проблемы при исполнении, что служит основой для последующего пополнения данных, оптимизации модели и адаптации конструкции.
Как универсальная платформа данных для физического ИИ, Mifeng построила систему услуг данных, охватывающую безморфные данные, телеуправление на реальных роботах и симуляцию. Поддержка Dream-1 в этот раз связывает поставку данных с проверкой исполнения, дополнительно расширяя практику Mifeng в обслуживании разработки базовых моделей.
В будущем Mifeng будет непрерывно расширять поставку высококачественных данных, совершенствовать управление данными, стандартизированную поставку и возможности оценки на реальных роботах, предоставляя полный цикл услуг командам разработчиков моделей, производителям роботов и научно-исследовательским учреждениям и продвигая роботизированные модели в большее число реальных сценариев.
