Модель AI-видео Google Veo 3 сталкивается с проблемой нежелательных субтитров

Новый этап в генерации видео с помощью AI

В конце мая Google представила Veo 3 — новую модель генерации видео с искусственным интеллектом. Эта версия позволяет создавать звуки и диалоги, что открывает возможности для создания гиперреалистичных восьмисекундных роликов, используемых в рекламе, ASMR, трейлерах и юмористических уличных интервью. Режиссер, номинированный на Оскар, Даррен Аронофски, даже создал короткометражку Ancestra с помощью Veo 3. Генеральный директор Google DeepMind Демис Хассабис сравнил запуск модели с выходом из эры немого видео.

Проблема с субтитрами

Однако вскоре обнаружилась серьезная проблема: Veo 3 часто добавляет бессмысленные и искажённые субтитры в ролики с диалогом, даже если пользователь явно просит не добавлять текст. Устранить эти субтитры сложно и дорого. Пользователи вынуждены повторно генерировать ролики, пользоваться сторонними инструментами или обрезать видео, чтобы убрать текст.

Попытки исправить ошибки

Вице-президент Google Labs и Gemini Джош Вудворд сообщил в начале июня, что Google разработала исправления для уменьшения количества бессмысленных субтитров. Но спустя месяц пользователи продолжают жаловаться на проблему в Discord-канале Google Labs, что показывает сложность решения таких задач в масштабных AI-моделях.

Доступ и стоимость Veo 3

Модель доступна только для платных подписчиков Google с тарифами от $249.99 в месяц. Для создания восьмисекундного ролика пользователь вводит текстовое описание сцены в инструменты AI, такие как Flow или Gemini. Каждая генерация стоит минимум 20 AI-кредитов, которые продаются по $25 за 2500.

Расходы и неудобства пользователей

Креативный директор по рекламе Мона Вайсс отмечает, что из-за необходимости повторных генераций стоимость использования Veo 3 растет. По ее оценке, до 40% роликов с диалогом содержат нечитаемые субтитры и становятся непригодными. Google предложила ей возврат стоимости модели, но не кредитов, что привело к отказу, так как это означало потерю доступа.

Причина появления субтитров

Проблема связана с обучающими данными Veo 3, которые, вероятно, включают видео с YouTube, влогов, игровых каналов и TikTok, многие из которых содержат встроенные субтитры как часть видеокадра, а не отдельным слоем. По словам профессора Шо Ню, модель учится включать субтитры, чтобы имитировать видео, созданные человеком.

Трудности с удалением субтитров

Чтобы исправить ошибку, Google должен проверить каждый кадр обучающего материала и удалить или пометить видео с субтитрами перед повторным обучением модели, что займет недели. Негативные подсказки вроде «без субтитров» менее эффективны, объясняет исследователь AI Тухин Чакрабарти.

Реакция Google и мнение экспертов

Представитель Google заявил, что работа над улучшением качества видео и синхронизации аудио продолжается, а пользователи могут повторять запросы и оставлять отзывы. Кинематографистка Катерина Цизек считает, что Google выпустила продукт слишком рано, поставив приоритет на скорость запуска технологии с озвучкой, а не на устранение проблем с субтитрами.