Взгляд изнутри: Кибербезопасность и ИИ с экспертом Deloitte Киреном Нортоном о новых угрозах и защите

Роль Кирена Нортона в кибербезопасности ИИ

Кирен Нортон, партнер Deloitte & Touche LLP, руководит направлением AI и автоматизации в кибербезопасности США. Имея более 25 лет опыта в технологиях и безопасности, он ведет трансформацию с помощью ИИ, разрабатывая решения для усиления киберзащиты клиентов и контроля рисков, связанных с ИИ.

Новые угрозы от автономных ИИ-агентов

Автономность ИИ-агентов — способность воспринимать, принимать решения и действовать самостоятельно — создает сложности в контроле взаимодействий с пользователями, данными и другими агентами. Это порождает риски утечек данных, атак с помощью внедрения команд (prompt injection) и цепочек атак между агентами. Рост количества таких агентов усложняет мониторинг и контроль.

Управление идентичностью ИИ-агентов также становится критичным, так как модели часто создаются и удаляются, что затрудняет наблюдение за их поведением и поддержание доверия.

Риски от отравления данных в обучении ИИ

Отравление данных — это внедрение вредоносных или ошибочных данных в обучающие наборы, что может быть как злонамеренной атакой, так и случайной ошибкой при сборе или разметке данных. Это искажает результаты работы ИИ, создавая ложные срабатывания и ошибки.

Для предотвращения используют комплексный подход: процедурную проверку и оценку данных, технические меры как федеративное обучение и архитектурные решения, включая конвейеры с нулевым доверием и мониторинг аномалий.

Манипуляции ИИ-моделями после развертывания и их обнаружение

Злоумышленники могут воздействовать на модели через API, встроенные системы или порт-протоколы, используя захват API, манипуляцию оперативной памятью и постепенное отравление через дрейф модели. Для раннего обнаружения применяют мониторинг конечных точек (EDR/XDR), защищенные конвейеры вывода с конфиденциальными вычислениями и нулевым доверием, а также цифровые подписи и водяные знаки моделей.

Атаки внедрения команд (prompt injection) позволяют извлекать данные или вызывать нежелательные ответы модели. Существуют инструменты защиты, но это постоянная гонка вооружений.

Ограничения традиционных киберфреймворков для ИИ

Известные стандарты (NIST, ISO, MITRE) актуальны, но требуют адаптации для ИИ. Расширенный диапазон входных и выходных данных усложняет традиционное тестирование и обнаружение, поэтому важна автоматизация и интеграция новых контролей в процессы разработки ПО.

Киберстратегия для генеративного ИИ и больших языковых моделей

Универсального решения нет — стратегия зависит от целей, отрасли, регулирования и сценариев использования ИИ. Основные элементы:

• Оценка готовности и выявление пробелов
• Создание AI-гавернанса с участием всех заинтересованных сторон
• Формирование надежной архитектуры ИИ с интегрированными средствами защиты
• Усиление SDLC для внедрения мер безопасности в разработку ИИ

Что такое AI-файрвол

AI-файрвол — это слой безопасности для контроля ввода и вывода ИИ-систем, предотвращающий злоупотребления, утечки данных и неправильное поведение. В отличие от традиционных файрволов, ориентированных на сетевой трафик, AI-файрволы анализируют естественный язык и применяют контекстные политики для защиты моделей.

Как ИИ меняет обнаружение и реагирование на угрозы

Современные SOC используют большие данные и модели ИИ/МО для улучшения выявления угроз и автоматизации реагирования. Например, агент «Digital Analyst» от Deloitte помогает операторам, сортируя предупреждения и предлагая шаги реагирования.

Будущее отношений ИИ и кибербезопасности

ИИ останется мощным инструментом и одновременно источником новых рисков. Необходимо адаптироваться и интегрировать стратегии, учитывающие специфику ИИ, чтобы использовать его возможности и минимизировать угрозы.