Скрытая угроза: опасность незаметных Deepfake-манипуляций
Новое исследование показывает, что тонкие deepfake-манипуляции, изменяющие контекст и эмоции на изображениях без подмены лиц, сложно обнаружить как людям, так и AI-системам.
Незаметные Deepfake: новая форма визуального обмана
Современные AI-инструменты, такие как ChatGPT и Google Gemini, теперь создают deepfake, не меняя лица, а тонко переписывая историю внутри изображения. Изменение жестов, реквизита и фона вводит в заблуждение как AI-системы, так и людей, усложняя распознавание настоящего контента.
Deepfake вне громких скандалов
Большинство представлений о deepfake связано с явной подменой личности в политике или порнографии без согласия. Но мелкие незаметные изменения могут иметь не менее значимые и долговременные последствия. Исторически тонкие фотоманипуляции, как удаление Сталиным нежелательных лиц из снимков, изменяли восприятие и историю.
Проблема тонких манипуляций
Эти незаметные изменения, напоминающие «газлайтинг», постепенно подрывают доверие и обходят современные системы обнаружения, которые ориентированы на явные подделки. В отличие от агрессивных фальсификаций, такие обманы накапливаются незаметно и представляют более коварную угрозу.
Представляем датасет MultiFakeVerse
Австралийские исследователи создали MultiFakeVerse — большой датасет из более чем 845,000 изображений с изменениями контекста, эмоций и нарратива при сохранении идентичности. Изображения были сгенерированы с помощью vision-language моделей (VLM), таких как Gemini-2.0-Flash и ChatGPT-4o, с минимальными изменениями, влияющими на восприятие.
Сложности обнаружения и ограничения человека
Тесты показали, что люди правильно определяли подлинность изображений лишь около 62% случаев, особенно сложно было определить конкретные зоны изменений. Современные детекторы, обученные на явных подменах лиц, плохо справлялись с MultiFakeVerse, даже после дообучения.
Метод создания датасета
Исходя из почти 87,000 оригинальных фото, исследователи применяли шесть видов минимальных изменений, меняющих эмоции и факты сцены. Для точного редактирования генерировались уточняющие выражения. Из трёх систем редактирования лучшими по естественности оказались Gemini-2.0-Flash.
Анализ типов манипуляций
Датасет включает изменения на уровне личности, объектов и сцены. С помощью моделей анализировались сдвиги в эмоциях, идентичности и нарративе. Эти изменения вызвали различные этические вопросы, от лёгких до серьёзных.
Оценка качества и исследование с пользователями
Изображения MultiFakeVerse сохраняют высокое качество по показателям PSNR, SSIM и FID. Исследование с 18 участниками подтвердило трудности людей в распознавании таких тонких фейков.
Тестирование систем обнаружения
Ведущие детекторы, включая CNNSpot, AntifakePrompt, TruFor и SIDA, показали низкую эффективность в режиме zero-shot. Дообучение улучшило результаты, но точность локализации изменений оставалась низкой.
Значение исследования для борьбы с deepfake
Работа выявляет слабое место в восприятии людей и машин: незаметные нарративные изменения сложнее выявить, но они могут нанести больший долгосрочный вред. С развитием AI в создании контента модели детекции должны совершенствоваться, чтобы выявлять именно такие тонкие угрозы.
Датасет MultiFakeVerse и сопутствующие исследования подчёркивают необходимость новых подходов к обнаружению сложных deepfake-манипуляций.
Switch Language
Read this article in English