Dobb-E

Dobb-E: Обучение роботов бытовым задачам

Dobb-E — это фреймворк с открытым исходным кодом, предназначенный для обучения роботов выполнению домашних задач методом имитационного обучения. Он призван преодолеть ограничения современных домашних роботов, предлагая доступное и эргономичное решение для сбора демонстрационных данных.

Методология сбора данных

Для сбора данных используется инструмент под названием «Стик» (Stick). Он состоит из захвата-манипулятора стоимостью $25, напечатанных на 3D-принтере деталей и iPhone. С помощью «Стика» собираются данные для набора Homes of New York (HoNY), включающего 13 часов взаимодействий в 22 домах Нью-Йорка. Набор содержит RGB- и глубинные видео, а также аннотации действий для 6D-позы захвата и угла его раскрытия.

Обучение модели и результаты

На основе собранных данных Dobb-E обучает модель представления Home Pretrained Representations (HPR). Эта модель, основанная на архитектуре ResNet-34 и обученная с использованием самоконтролируемых целей обучения, инициализирует политику робота для выполнения новых задач в незнакомых условиях. Dobb-E продемонстрировал способность достигать 81% средней успешности в решении новых задач в течение 15 минут, опираясь на пятиминутные собранные данные в новом доме.

Доступ к ресурсам

Фреймворк предоставляет доступ к предварительно обученным моделям, коду и документации через GitHub. Дополнительную информацию о методологии и результатах Dobb-E можно найти в открытой научной статье «On Bringing Robots Home».