Dex1B: Миллиардный датасет от UC San Diego для развития ловкой роботизированной манипуляции руками

Проблемы сбора данных для ловкой манипуляции руками

Ловкая манипуляция руками в робототехнике обеспечивает уникальную гибкость по сравнению с более простыми инструментами, такими как захваты, однако её сложность создаёт серьёзные трудности. Эффективное управление многофункциональными руками требует разнообразных и качественных тренировочных данных, которых сейчас недостаточно. Традиционные методы — демонстрации человека, оптимизация и обучение с подкреплением — лишь частично решают эту проблему. Генеративные модели выглядят перспективно, но часто страдают от проблем с физической реализуемостью и ограниченной разнообразностью, слишком близко повторяя известные примеры.

Эволюция методов ловкой манипуляции руками

Ранние исследования в робототехнике сосредотачивались на управленческих техниках для точного захвата несколькими пальцами, но они плохо обобщались на разные условия. Позже появились методы обучения, которые обеспечили большую адаптивность с помощью предсказания поз, контактных карт и промежуточных представлений, однако они остаются чувствительны к качеству и разнообразию данных. Существующие датасеты, как синтетические, так и реальные, ограничены отсутствием разнообразия или привязкой к форме человеческой руки.

Представляем датасет Dex1B

Исследователи UC San Diego разработали Dex1B — беспрецедентный датасет из миллиарда высококачественных и разнообразных демонстраций для задач ловкой манипуляции руками, включая захват и артикуляцию. Они использовали сочетание оптимизационных техник и генеративного моделирования с геометрическими ограничениями и стратегиями кондиционирования для обеспечения физической реализуемости и максимального разнообразия. Начиная с тщательно подобранного исходного датасета, обучили генеративную модель для масштабирования производства данных. Механизм устранения смещений дополнительно улучшил разнообразие. В сравнении с предыдущими датасетами, такими как DexGraspNet, Dex1B предлагает значительно больше данных. Также был представлен DexSimple — новая базовая модель, которая благодаря масштабу данных превосходит предыдущие методы на 22% в задачах захвата.

Дизайн и методология бенчмарка Dex1B

Бенчмарк Dex1B оценивает две ключевые задачи манипуляции — захват и артикуляцию, используя более миллиарда демонстраций на трёх типах роботизированных рук. Процесс начинается с создания высококачественного исходного датасета с помощью оптимизации. Этот датасет обучает генеративную модель, создающую масштабируемые и разнообразные демонстрации, дополненные техникой устранения смещений и пост-оптимизационными корректировками. Задачи выполняются через плавное, без столкновений планирование движений, что приводит к богатому и проверенному в симуляции датасету для реалистичного и масштабного обучения сложным взаимодействиям рук с объектами.

Исследования мультимодального внимания

Недавние исследования показывают преимущества сочетания cross-attention и self-attention в мультимодальных моделях. Self-attention помогает понять взаимосвязи внутри одной модальности, а cross-attention связывает информацию между разными модальностями, например текстом и изображениями. Совместное использование обоих типов внимания улучшает производительность моделей, особенно в задачах интеграции и выравнивания мультимодальных данных. Интересно, что cross-attention иногда превосходит self-attention, особенно в глубоких слоях сети, что подчеркивает важность продуманного дизайна механизмов внимания в сложной обработке данных.

Влияние Dex1B и перспективы развития

Dex1B — значительный шаг вперёд в создании синтетических датасетов для ловкой манипуляции руками, объединяющий оптимизацию и генеративное моделирование для создания миллиарда реалистичных демонстраций. Модель DexSimple, обученная на этих данных, превосходит предшествующие модели на бенчмарках и показывает эффективность не только в симуляции, но и в реальных робототехнических приложениях. Это открывает новые возможности масштабируемого и качественного обучения сложным манипуляциям в робототехнике.

Для подробностей смотрите оригинальную статью и страницу проекта. Следите за командой в Twitter и присоединяйтесь к сообществу ML на Reddit и в рассылках.