Топ-10 угроз безопасности AI-агентов по версии Unit 42

Новые вызовы безопасности AI-агентов

С развитием AI-агентов от экспериментальных систем к промышленным приложениям их растущая автономность порождает новые проблемы безопасности. В недавнем отчёте «AI Agents Are Here. So Are the Threats» исследователи Unit 42 из Palo Alto Networks отмечают, что основные риски безопасности связаны не столько с фреймворками, сколько с дизайном, развертыванием и интеграцией агентов с внешними инструментами.

Уязвимости, не зависящие от фреймворка

Для оценки рисков Unit 42 создали два идентичных AI-агента на базе разных фреймворков — CrewAI и AutoGen. Оба показали одинаковые уязвимости, что подтверждает, что проблемы исходят из неправильных конфигураций, небезопасного дизайна запросов и ненадёжной интеграции с инструментами.

Топ-10 выявленных угроз

В отчёте выделены десять ключевых угроз, которые приводят к утечкам данных, эксплуатации инструментов и выполнению удалённого кода:

Инъекции и слишком общие запросы: злоумышленники манипулируют поведением агентов через уязвимые запросы.
Риски, не зависящие от фреймворка: ошибки дизайна, такие как ненадёжное распределение ролей и неопределённые рамки запросов.
Опасные интеграции инструментов: недостаточный контроль над модулями выполнения кода и веб-скрейперами расширяет поверхность атаки.
Утечка учётных данных: агенты могут случайно раскрывать токены и ключи API.
Неограниченное выполнение кода: отсутствие песочницы позволяет запускать произвольный код.
Отсутствие многоуровневой защиты: необходима комплексная защита, а не однослойные меры.
Ужесточение запросов: строгие роли и ограничения снижают риск манипуляций.
Фильтрация контента в режиме реального времени: мониторинг входящих и исходящих данных для выявления угроз.
Санитизация входных данных инструментов: проверка форматов и ограничений предотвращает инъекции.
Песочница для выполнения кода: ограничение сетевого доступа и системных прав снижает ущерб от атак.

Практические сценарии атак

Unit 42 продемонстрировали девять сценариев атак на инвестиционного помощника с множеством агентов:

Извлечение инструкций и схем инструментов.
Кража учётных данных через внедрённые Python-скрипты, получающие доступ к метаданным облака.
SQL-инъекции и эксплуатация нарушений авторизации.
Косвенные инъекции запросов через вредоносные сайты, приводящие к утечке истории диалогов.

Эти примеры показывают, что уязвимости связаны с обычными ошибками проектирования, а не с новыми эксплойтами.

Комплексные стратегии защиты

Для снижения рисков необходимы комплексные меры:

Ужесточение запросов для ограничения доступа и снижения утечек.
Фильтрация контента до и после обработки запросов.
Тестирование интеграций с помощью статического, динамического анализа и проверки зависимостей.
Строгая песочница для исполнения кода с ограничением сетевого доступа и системных вызовов.

Palo Alto Networks рекомендует использовать платформы AI Runtime Security и AI Access Security для мониторинга поведения агентов и обеспечения политик безопасности.

Важность безопасности при разработке AI-агентов

Рост использования AI-агентов расширяет поверхность уязвимостей из-за интеграции с внешними инструментами и сложных коммуникаций. Для защиты таких систем требуются осознанный дизайн, постоянный мониторинг и многоуровневая защита. При масштабировании использования AI-агентов предприятия должны ставить безопасность на первое место, чтобы идти в ногу с развитием технологий.