<НА ГЛАВНУЮ

Критические уязвимости безопасности в Model Context Protocol, угрожающие целостности ИИ

Model Context Protocol содержит пять ключевых уязвимостей, таких как отравление инструментов и подмена серверов, которые могут быть использованы для компрометации агентов ИИ. Важно понимать эти риски для защиты ИИ-сред.

Что такое Model Context Protocol и его проблемы с безопасностью

Model Context Protocol (MCP) меняет подход к взаимодействию больших языковых моделей с внешними инструментами, сервисами и данными, позволяя динамично вызывать функции посредством стандартизированных описаний инструментов. Эта инновация даёт моделям возможность интеллектуального выбора и использования функций. Однако такая автономность приводит к серьёзным уязвимостям, которыми могут воспользоваться злоумышленники.

Основные уязвимости MCP

Выделяют пять ключевых угроз безопасности:

1. Отравление инструментов (Tool Poisoning) Атака заключается во внедрении вредоносного поведения в безобидные на первый взгляд инструменты. Злоумышленники маскируют опасные функции под безобидные имена и описания, например, калькуляторы или форматтеры. Модели, опирающиеся на подробные технические спецификации, которые пользователю могут быть невидимы, могут запускать вредоносные операции, такие как удаление файлов или кража данных.

2. Мошеннические обновления (Rug-Pull Updates) Инструменты, изначально надёжные, могут стать опасными после обновлений с вредоносным кодом. Пользователи и агенты ИИ часто принимают обновления автоматически, без повторной проверки, что позволяет вредоносному поведению проявиться позже, вызывая утечки данных или повреждения.

3. Обман через инструменты извлечения (Retrieval-Agent Deception, RADE) Модели MCP используют инструменты для поиска информации во внешних источниках. RADE злоупотребляет этим, внедряя вредоносные команды MCP в общедоступные документы, заставляя модели выполнять нежелательные вызовы инструментов на основе скрытых инструкций в данных, превращая информацию в тайный канал команд.

4. Подмена сервера (Server Spoofing) Злоумышленники создают поддельные серверы, имитирующие легитимные, копируя их списки инструментов. Без надёжной аутентификации модель может взаимодействовать с такими серверами, что ведёт к краже данных, похищению учётных данных или выполнению вредоносных команд.

5. Перекрытие между серверами (Cross-Server Shadowing) В сценариях с несколькими серверами, предоставляющими инструменты общей сессии, вредоносный сервер может вмешиваться, вводя конфликтующие или вводящие в заблуждение описания инструментов. Это приводит к выполнению неправильных или опасных функций и подрывает модульность MCP.

Необходимость усиления мер безопасности

Эти уязвимости демонстрируют серьёзные слабые места, эксплуатирующие доверие моделей к инструментам и контекстам MCP. Несмотря на перспективы, которые открывает MCP для динамичных возможностей ИИ, защита от подобных угроз критична для сохранения безопасности данных и надёжности ИИ. Важна дальнейшая работа по аутентификации, проверке обновлений и верификации контекста по мере роста использования MCP.

Источники

  • https://arxiv.org/abs/2504.03767
  • https://arxiv.org/abs/2504.12757
  • https://arxiv.org/abs/2504.08623
  • https://www.pillar.security/blog/the-security-risks-of-model-context-protocol-mcp
  • https://www.catonetworks.com/blog/cato-ctrl-exploiting-model-context-protocol-mcp/
  • https://techcommunity.microsoft.com/blog/microsoftdefendercloudblog/plug-play-and-prey-the-security-risks-of-the-model-context-protocol/4410829
🇬🇧

Switch Language

Read this article in English

Switch to English