NVIDIA представляет Cosmos: полный стек для физического ИИ, обновления Omniverse и серверы Blackwell

NVIDIA на SIGGRAPH 2025 представила комплексный стек инструментов, направленных на ускорение развития физического ИИ для роботов, автономных транспортных средств и промышленной автоматизации. Выпуск включает модели для рассуждений, генераторы синтетических данных, библиотеки симуляции и рендеринга, а также инфраструктуру для рабочих процессов с воплощённым интеллектом.

Cosmos Reason: рассуждения для роботов и агентов

В центре анонса — Cosmos Reason, 7-миллиардная модель vision-language, разработанная для роботов и других воплощённых агентов. Cosmos Reason сочетает память для пространственно-временных контекстов с пониманием физических закономерностей, что позволяет планировать пошаговые действия в сложных реальных сценариях. Модель обрабатывает структурированные видео и сенсорные данные, такие как сегментационные карты и LIDAR, и генерирует как разбор высокоуровневых инструкций, так и низкоуровневые команды для навигации и манипуляции.

Ключевые возможности:

Память и осознание физических свойств, помогающие учитывать инерцию, взаимодействие объектов и временные последовательности.
Планирующий движок, преобразующий потоки визуальных и сенсорных данных в упорядоченные действия для задач планирования роботов, подготовки данных и анализа видео.

Cosmos Transfer: быстрое создание синтетических наборов данных

Cosmos Transfer-2 ускоряет превращение 3D-сцен и пространственных управляющих сигналов в масштабируемые синтетические наборы данных для тренировки и валидации политик роботов. Такая система сокращает время и расходы на производство реалистичных тренировочных данных и помогает моделировать крайние случаи: разные условия освещения, засвеченные или закрытые объекты, непредсказуемые погодные эффекты.

NVIDIA также представила дистиллированную, ускоренную версию для быстрой итерации на этапе создания датасетов. Семейство моделей Cosmos WFM включает категории Nano, Super и Ultra (примерно от 4 до 14 миллиардов параметров) и позволяет финетюнить модели под разные требования по задержке и качеству — от потоковой обработки в реальном времени до фотореалистичного рендеринга.

Библиотеки симуляции и рендеринга в Omniverse

Omniverse получил несколько обновлений для создания реалистичных виртуальных миров:

Библиотеки нейронной реконструкции, конвертирующие данные сенсоров в высококачественные 3D-сцены с использованием нейронного рендеринга.
Инструменты интеграции с OpenUSD и симулятором CARLA для стандартизации конверсации и рендеринговых конвейеров между фреймворками робототехники, такими как Mujoco, и пайплайнами на базе USD.
Библиотека SimReady с тысячами материалов для создания правдоподобных виртуальных сред.
Isaac Sim 5.0 с улучшенными моделями актуаторов, расширенной поддержкой Python и ROS и новыми возможностями нейронного рендеринга для более качественных синтетических данных.

Эти инструменты упрощают создание, симуляцию и рендеринг сред, которые максимально имитируют реальный мир, что повышает эффективность тренировки политик поведения роботов.

Инфраструктура для рабочих процессов робототехники

NVIDIA представила оборудование и облачные сервисы для поддержки полного цикла разработки:

Серверы RTX Pro Blackwell, оптимизированные для задач симуляции, обучения и инференса в разработке роботов.
DGX Cloud для масштабируемого облачного управления рабочими процессами физического ИИ, что позволяет распределённым командам разрабатывать, тренировать и разворачивать агентов удалённо.

Единая архитектура рассчитана на весь жизненный цикл проекта воплощённого ИИ: от генерации данных и симуляции до обучения моделей и их развертывания.

Принятие в индустрии и лицензирование

Крупные игроки отрасли, включая Amazon Devices, Agility Robotics, Figure AI, Uber и Boston Dynamics, уже пилотируют модели Cosmos и инструменты Omniverse. Сценарии применения включают генерацию тренировочных данных, создание цифровых двойников и ускорение внедрения робототехники в производстве, логистике и транспорте.

NVIDIA делает модели Cosmos доступными через API и каталоги разработчиков под разрешительной лицензией, поддерживающей как исследовательские, так и коммерческие проекты.

Почему это важно

NVIDIA позиционирует физический ИИ как комплексную задачу: требуются более умные модели рассуждений, богатые средства симуляции и масштабируемая вычислительная инфраструктура, чтобы сократить разрыв между виртуальной тренировкой и реальной эксплуатацией. Совместив модели Cosmos, библиотеки Omniverse и сервера на базе Blackwell, компания стремится уменьшить дорогостоящие ошибки проб и запусков и открыть новые уровни автономии для роботов и воплощённых агентов.