Режим Spicy в Grok вызвал опасения после дипфейка с обнаженной похожей на Тейлор Свифт

Grok Imagine и режим Spicy

xAI представила Grok Imagine с функцией 'Spicy Mode', которая позволяет пользователям SuperGrok и Premium+ превращать текстовые подсказки в стилизованные изображения и 15‑секундные аудио-анимированные видео. Фильтр позиционируют как креативный эксперимент, но на практике он может генерировать откровенный контент с размытыми сценами частичной наготы и сексуализации.

Тест с Тейлор Свифт

Журналист The Verge ввел простую подсказку про 'Тейлор Свифт, празднующую Coachella' с включенным Spicy Mode. На выходе появился клип с обнаженной фигурой, похожей на Свифт, танцующей в стрингах, хотя в подсказке не было упоминаний о наготе. Это сразу поднимает вопрос о том, как инструмент обращается с изображениями узнаваемых людей.

Пробелы в политике и безопасности

xAI утверждает, что его политика запрещает откровенные изображения реальных людей, но Spicy Mode, похоже, обходит это ограничение. Отсутствует серьезная проверка возраста или механизм идентификации: пользователю достаточно нажать простое подтверждение, чтобы получить потенциально сексуализированный контент. В отличие от других крупных сервисов, Grok не внедрил фильтры для знаменитостей и барьеры против дипфейков.

Юридические и этические последствия

Это не просто техническая ошибка, но и социальная, и правовая проблема. Публичные фигуры, такие как Тейлор Свифт, уже не раз становились объектами дипфейков, и инструменты, упрощающие создание подобных материалов, усиливают угрозы приватности и репутации. В США ждут реализации законы вроде Take It Down Act, и такие случаи могут привести к юридическим претензиям.

Масштаб усугубляет вред

По словам Маска, Grok сгенерировал более 34 миллионов изображений за несколько дней. При таких объемах даже небольшой процент проблемного контента может породить лавину неконсентного, обманного или клеветнического материала. Маск позиционирует Grok как платформу 'без фильтров', но свобода без ограничителей облегчает злоупотребления.

Почему это важно

Исследование границ генеративных систем полезно, но когда функция делает сексуализированные изображения реальных людей простыми в создании, меняется этический баланс. Этот случай показывает необходимость встроенных защит, прозрачного применения правил и проактивного дизайна, который предотвращает злоупотребления. Регуляторы и платформы вряд ли смогут оставаться в стороне.