Критические уязвимости безопасности в Model Context Protocol, угрожающие целостности ИИ
Model Context Protocol содержит пять ключевых уязвимостей, таких как отравление инструментов и подмена серверов, которые могут быть использованы для компрометации агентов ИИ. Важно понимать эти риски для защиты ИИ-сред.
Что такое Model Context Protocol и его проблемы с безопасностью
Model Context Protocol (MCP) меняет подход к взаимодействию больших языковых моделей с внешними инструментами, сервисами и данными, позволяя динамично вызывать функции посредством стандартизированных описаний инструментов. Эта инновация даёт моделям возможность интеллектуального выбора и использования функций. Однако такая автономность приводит к серьёзным уязвимостям, которыми могут воспользоваться злоумышленники.
Основные уязвимости MCP
Выделяют пять ключевых угроз безопасности:
1. Отравление инструментов (Tool Poisoning) Атака заключается во внедрении вредоносного поведения в безобидные на первый взгляд инструменты. Злоумышленники маскируют опасные функции под безобидные имена и описания, например, калькуляторы или форматтеры. Модели, опирающиеся на подробные технические спецификации, которые пользователю могут быть невидимы, могут запускать вредоносные операции, такие как удаление файлов или кража данных.
2. Мошеннические обновления (Rug-Pull Updates) Инструменты, изначально надёжные, могут стать опасными после обновлений с вредоносным кодом. Пользователи и агенты ИИ часто принимают обновления автоматически, без повторной проверки, что позволяет вредоносному поведению проявиться позже, вызывая утечки данных или повреждения.
3. Обман через инструменты извлечения (Retrieval-Agent Deception, RADE) Модели MCP используют инструменты для поиска информации во внешних источниках. RADE злоупотребляет этим, внедряя вредоносные команды MCP в общедоступные документы, заставляя модели выполнять нежелательные вызовы инструментов на основе скрытых инструкций в данных, превращая информацию в тайный канал команд.
4. Подмена сервера (Server Spoofing) Злоумышленники создают поддельные серверы, имитирующие легитимные, копируя их списки инструментов. Без надёжной аутентификации модель может взаимодействовать с такими серверами, что ведёт к краже данных, похищению учётных данных или выполнению вредоносных команд.
5. Перекрытие между серверами (Cross-Server Shadowing) В сценариях с несколькими серверами, предоставляющими инструменты общей сессии, вредоносный сервер может вмешиваться, вводя конфликтующие или вводящие в заблуждение описания инструментов. Это приводит к выполнению неправильных или опасных функций и подрывает модульность MCP.
Необходимость усиления мер безопасности
Эти уязвимости демонстрируют серьёзные слабые места, эксплуатирующие доверие моделей к инструментам и контекстам MCP. Несмотря на перспективы, которые открывает MCP для динамичных возможностей ИИ, защита от подобных угроз критична для сохранения безопасности данных и надёжности ИИ. Важна дальнейшая работа по аутентификации, проверке обновлений и верификации контекста по мере роста использования MCP.
Источники
- https://arxiv.org/abs/2504.03767
- https://arxiv.org/abs/2504.12757
- https://arxiv.org/abs/2504.08623
- https://www.pillar.security/blog/the-security-risks-of-model-context-protocol-mcp
- https://www.catonetworks.com/blog/cato-ctrl-exploiting-model-context-protocol-mcp/
- https://techcommunity.microsoft.com/blog/microsoftdefendercloudblog/plug-play-and-prey-the-security-risks-of-the-model-context-protocol/4410829
Switch Language
Read this article in English