DiffusionRenderer от NVIDIA: Революция в редактируемых фотореалистичных 3D-сценах из одного видео

Прорыв в генерации видео с помощью ИИ

Качество видео, создаваемого ИИ, быстро выросло от размытых кадров до поразительно реалистичных изображений. Однако возможность профессионально и реалистично редактировать такие видео — менять освещение, изменять материалы или добавлять новые объекты — оставалась сложной задачей. DiffusionRenderer от NVIDIA устраняет эту проблему, позволяя создавать фотореалистичные редактирования всего из одного видео.

Унифицированное понимание и обработка 3D-сцен

DiffusionRenderer — это новая система, разработанная NVIDIA совместно с ведущими университетами. Она объединяет обратный и прямой рендеринг в одном фреймворке, что позволяет извлекать детальные свойства 3D-сцены из видео и затем создавать фотореалистичные изменения. В отличие от традиционных PBR-методов, требующих идеального цифрового описания сцены, DiffusionRenderer успешно работает с несовершенными реальными данными.

Принцип работы DiffusionRenderer

Систему составляют два нейронных рендерера:

Нейронный обратный рендерер: Анализирует RGB-видео и оценивает геометрию и материалы на уровне пикселей, создавая детализированные G-буферы.
Нейронный прямой рендерер: Используя G-буферы и выбранное освещение, синтезирует фотореалистичное видео с комплексными световыми эффектами, включая тени и интеррефлексы, даже при наличии шумов во входных данных.

Инновационная стратегия обучения

Обучение модели включало:

Большой синтетический датасет из 150,000 видео с идеальными данными, созданными методом трассировки лучей.
Автоматическую разметку более 10,000 реальных видео для создания карт свойств сцены несмотря на шумы.
Совместное обучение на синтетических и реальных данных с использованием модуля LoRA для адаптации к реальным неточностям.

Высокая производительность

DiffusionRenderer превосходит существующие методы в:

Прямом рендеринге: реалистично воспроизводит интеррефлексы и тени.
Обратном рендеринге: точно оценивает альбедо, материалы и нормали, снижая ошибки благодаря использованию видео-модели.
Пересвечивании: создает более точные отражения и освещение по сравнению с лидирующими решениями.

Практические возможности редактирования

Пользователи могут выполнять мощные изменения из одного видео:

Динамическое освещение: менять время суток и настроение сцены.
Редактирование материалов: менять свойства материалов, например шероховатость и металлическость.
Вставка объектов: добавлять виртуальные объекты с реалистичными тенями и отражениями.

Новая эра фотореалистичного рендеринга

DiffusionRenderer устраняет барьеры традиционного PBR, делая продвинутую 3D-обработку доступной для киношников, дизайнеров и AR/VR-разработчиков без дорогого оборудования. Модель распространяется под лицензиями Apache 2.0 и NVIDIA Open Model License, что способствует широкому использованию и развитию.