RoboBrain 2.0: Революция в робототехнике с объединённым зрительно-языковым ИИ

Прогресс в области воплощённого ИИ для реальных роботов

Искусственный интеллект всё ближе соединяет цифровое мышление с физическим взаимодействием, и воплощённый ИИ занимает в этом лидирующую позицию. Эта область направлена на то, чтобы роботы могли воспринимать окружающую среду, анализировать её и эффективно выполнять сложные действия. С ростом автоматизации в таких сферах, как помощь по дому и логистика, ИИ, понимающий пространственные и временные контексты, становится необходимостью.

Представляем RoboBrain 2.0

Разработанный Пекинской академией искусственного интеллекта (BAAI), RoboBrain 2.0 — это важный шаг в создании базовых моделей для робототехники и воплощённого ИИ. В отличие от традиционных моделей, RoboBrain 2.0 объединяет пространственное восприятие, продвинутый анализ и долгосрочное планирование в единой архитектуре. Это позволяет выполнять широкий спектр задач, включая прогнозирование пригодности объектов, локализацию, планирование траекторий и координацию нескольких агентов.

Ключевые особенности RoboBrain 2.0

• Две масштабируемые версии: 7-миллиардная модель для быстрой и эффективной работы и 32-миллиардная модель для сложных задач.
• Объединённая мультимодальная архитектура: сочетает высокоразрешающий визуальный энкодер с языковой моделью, обрабатывая изображения, видео, текстовые инструкции и сценографы.
• Продвинутый пространственно-временной анализ: отлично справляется с пониманием отношений между объектами, прогнозированием движений и сложным планированием.
• Открытый исходный код: построена на платформе FlagScale для удобства исследований, воспроизводимости и практического применения.

Архитектура и обучение

RoboBrain 2.0 обрабатывает разнообразные сенсорные и символические данные:

• Мульти-видовые изображения и видео для богатого пространственного контекста.
• Естественно-языковые команды от навигации до манипуляций.
• Сценографы, представляющие объекты, их связи и расположение.

Токенизатор кодирует язык и сценографы, а визуальный энкодер использует адаптивное позиционное кодирование и оконное внимание для эффективной обработки визуальных данных. Визуальные признаки проецируются в пространство языковой модели через многослойный перцептрон, создавая объединённые мультимодальные последовательности токенов.

Обучение проходит в три этапа:

1. Фундаментальное спатиотемпоральное обучение: формирует базовые визуальные и языковые возможности.
2. Улучшение для воплощённых задач: дообучение на реальных данных с мульти-видовым видео и высокоразрешающими наборами для задач, таких как 3D-определение пригодности.
3. Цепочка рассуждений: вводит объяснимое поэтапное мышление для надёжного принятия решений в сложных сценариях.

Масштабируемая инфраструктура

Используя платформу FlagScale, RoboBrain 2.0 получает преимущества гибридного параллелизма, предвыделенной памяти, высокопроизводительных потоков данных и автоматической устойчивости к сбоям. Это обеспечивает эффективное обучение, эксперименты и масштабируемое внедрение в реальной робототехнике.

Производительность и применение

RoboBrain 2.0 демонстрирует высокие результаты на бенчмарках воплощённого ИИ, превосходя как открытые, так и коммерческие модели. Среди ключевых возможностей:

• Точное прогнозирование пригодности объектов для взаимодействия.
• Точная локализация и указание объектов на основе текстовых инструкций.
• Прогнозирование траекторий с учётом препятствий.
• Планирование для нескольких агентов с координацией действий.

Эти возможности делают RoboBrain 2.0 востребованным для робототехники в быту, промышленной автоматизации и логистике.

Влияние на робототехнику и исследования ИИ

Объединяя зрительно-языковое понимание с интерактивным рассуждением и планированием, RoboBrain 2.0 устанавливает новый стандарт воплощённого ИИ. Его модульная и масштабируемая архитектура вместе с открытыми методами обучения стимулируют инновации в сообществах разработчиков, исследователей и инженеров, решающих сложные пространственно-временные задачи.