Sora превращает приложение OpenAI в площадку для дипфейк-мошенников

Вирусный ролик, которого не было

Я пролистывал ленту и наткнулся на короткое видео с другом, который без акцента говорил по-японски в аэропорту. Проблема в том, что мой друг не знает ни слова по-японски. Тогда я понял: это был не он, а ролик, сгенерированный ИИ, и он казался сделанным через Sora.

Как работает Sora и почему это настораживает

Sora умеет создавать очень реалистичные видео и, что более тревожно, может удалять водяной знак, который обычно отмечает контент как созданный ИИ. Функция cameo позволяет пользователям загружать свои лица, чтобы появляться в сгенерированных роликах. На первый взгляд это развлечение, но на практике это даёт возможности для выдачи себя за другого, подделки заявлений и создания сцен, которые выглядят подлинно.

Реальные случаи злоупотреблений уже есть

Поступают сообщения о людях, которые обнаружили видео, где они якобы делают или говорят то, чего не делали, иногда в публичном пространстве и в унизительных контекстах. Мошенники могут использовать такие ролики для фальшивых подтверждений, шантажа или дискредитации. Также находили ролики с насилием и расистским содержимым, что говорит о том, что фильтры пропускают опасный материал.

Реакция OpenAI и её ограничения

OpenAI заявляет, что внедряет настройки, позволяющие людям контролировать использование их цифровых двойников. Некоторым пользователям можно запретить появляться в политическом или откровенном контенте, и компания вводит дополнительные ограничения по идентичности. Это шаг в нужном направлении, но критики считают, что такие барьеры непоследовательны и часто носят запоздалый характер.

Проблема нормализации синтетического медиа

Дело не в одном приложении или компании. Суть в том, как быстро синтетические медиа входят в обиход и насколько слабы наши механизмы защиты. По мере улучшения инструментов подделки видео будет всё сложнее отделять правду от фальши, что подрывает доверие к визуальным доказательствам и общественной дискуссии.

Что нужно делать дальше

Запреты вряд ли помогут. Вместо этого нужны более совершенные технологии детекции, обязательные законы о прозрачности и усилия по просвещению общества о рисках синтетического контента. Платформы и законодатели должны внедрять стандарты, которые делают контент прослеживаемым и подотчётным. Обычным пользователям не помешает доля скепсиса при просмотре любого видео.