LightLab: прорыв Google в точном управлении освещением на одиночных изображениях с помощью ИИ

Проблемы управления освещением после съемки

Управление условиями освещения на изображениях после их создания всегда было сложной задачей. Традиционные методы требуют восстановления 3D-геометрии и свойств материалов сцены из множества снимков с последующим моделированием нового освещения с помощью физических моделей. Однако точное восстановление 3D-моделей по одному изображению остается проблематичным и часто приводит к неудовлетворительным результатам.

Диффузионное редактирование изображений как альтернатива

Недавние достижения в области диффузионного редактирования изображений позволяют обходить необходимость явного физического моделирования, используя сильные статистические априорные знания. Тем не менее такие методы испытывают трудности с точным параметрическим контролем освещения из-за своей стохастической природы и зависимости от текстовых условий.

Существующие генеративные методы для изменения освещения

Для задач изменения освещения исследуются различные генеративные подходы. Для портретов используются модели, обученные на данных с light stage, а для объектов — диффузионные модели, дообучаемые на синтетических наборах с условием на карты окружения. Для уличных сцен часто предполагается один доминирующий источник света, например солнце, тогда как в помещениях освещение более сложное и многофакторное. Применяются методы обратного рендеринга, манипуляции латентным пространством StyleGAN, а также исследования с использованием пар "с вспышкой / без вспышки" для разложения и управления освещением сцены.

Представляем LightLab — параметрический контроль источников света

Коллектив исследователей из Google, Тель-Авивского университета, Университета Рейхмана и Еврейского университета Иерусалима разработал LightLab — метод на основе диффузии, который обеспечивает явный параметрический контроль интенсивности и цвета источников света на изображениях. LightLab также управляет окружающим освещением и тонированием, предоставляя мощный набор инструментов для изменения общего визуального восприятия через освещение.

Сбор данных и метод обучения

Модель LightLab обучается на парах изображений, снятых с одним и тем же сценарием, где видимый источник света включен или выключен. Набор данных содержит 600 пар снимков, сделанных на мобильные устройства с использованием штативов, с автоэкспозицией и постобработкой для калибровки. Для расширения данных использовались 20 созданных художниками 3D-сцен, отрендеренных в Blender с физически корректным рендерингом, где параметры источников света (интенсивность, цветовая температура, размер, угол конуса) выбирались случайным образом.

Результаты и сравнительный анализ

Оптимальные результаты достигаются при сочетании реальных и синтетических данных, с улучшением PSNR на 2,2%. Качественные сравнения показывают превосходство LightLab над методами OmniGen, RGB X, ScribbleLight и IC-Light, которые часто вызывают нежелательные изменения освещения, искажения цвета и геометрические ошибки. LightLab обеспечивает точный контроль над целевыми источниками света и создает физически правдоподобные эффекты освещения по всей сцене.

Ограничения и перспективы

LightLab ограничен смещениями в наборе данных, особенно по типам источников света. Это можно улучшить с помощью методов тонкой настройки без парных данных. Кроме того, хотя использование потребительских устройств упрощает сбор данных, это ограничивает точное ререлайтинг в абсолютных физических единицах, что открывает возможности для доработок в будущем.

Для дополнительной информации ознакомьтесь с оригинальной статьей и проектной страницей. Следите за новостями в Twitter и присоединяйтесь к сообществу ML SubReddit с более чем 90 тысячами участников.