Ник Катманн о влиянии ИИ на кибербезопасность и управление в LogicGate

Руководство по кибербезопасности и ИТ в LogicGate

Николас Катманн занимает должности Главного специалиста по информационной безопасности (CISO) и Главного информационного директора (CIO) в компании LogicGate. Он руководит программой информационной безопасности, внедряет инновации в области безопасности платформы и сотрудничает с клиентами для управления киберрисками. С более чем 20-летним опытом в ИТ и более 18 лет в кибербезопасности, Катманн управлял операциями безопасности в малом бизнесе и крупных корпорациях из списка Fortune 100.

О LogicGate и Risk Cloud®

LogicGate предлагает платформу для управления рисками и соответствием, которая помогает организациям автоматизировать и масштабировать программы управления рисками, соответствием и корпоративным управлением (GRC). Основной продукт компании, Risk Cloud®, позволяет командам выявлять, оценивать и управлять рисками по всей организации с помощью настраиваемых рабочих процессов, аналитики в реальном времени и интеграций. Платформа охватывает различные сценарии использования, включая управление рисками третьих сторон, соответствие требованиям кибербезопасности и управление внутренними аудитами, что помогает компаниям создавать более гибкие и устойчивые стратегии управления рисками.

Развитие роли ИИ в обязанностях CISO и CIO

Катманн отмечает, что ИИ уже меняет роли CISO и CIO, и в ближайшие 2–3 года ожидается значительный рост агентного ИИ, который сможет кардинально изменить повседневные бизнес-процессы. Задачи, обычно решаемые службой поддержки ИТ — например, сброс паролей или установка приложений — смогут выполнять ИИ-агенты. Кроме того, они смогут автоматизировать рутинные аудиторские проверки, позволяя руководителям сосредоточиться на стратегических задачах.

Развертывание ИИ на фоне сокращений и дерегуляции в кибербезопасности

Несмотря на тенденции дерегуляции в США, международным компаниям нужно готовиться к ужесточению требований в ЕС по ответственному использованию ИИ. Для компаний, работающих только в США, ожидается период обучения. Катманн подчеркивает важность создания надежных политик управления ИИ и сохранения человеческого контроля, чтобы избежать неконтролируемого поведения ИИ.

Проблемы интеграции ИИ в существующие системы кибербезопасности

Ключевой слепой зоной является контроль над местоположением данных и их передачей. Интеграция ИИ усложняет надзор, так как данные, обрабатываемые ИИ-функциями поставщиков, не всегда направляются напрямую к ИИ-моделям или поставщикам, что затрудняет работу традиционных средств безопасности, таких как DLP и веб-мониторинг.

Эффективные рамки управления ИИ

Катманн называет многие стратегии управления ИИ "бумажными тиграми", когда процессы известны только небольшой группе и не реализуются по всей организации. Поскольку ИИ затрагивает все команды, подход "один размер подходит всем" неэффективен. Он рекомендует использовать рамки, разработанные IAPP, OWASP, NIST и другими организациями, адаптируя требования под конкретные сценарии использования.

Управление дрейфом моделей ИИ и ответственное использование

Дрейф и деградация моделей — естественные явления, ускоряемые ИИ. Необходима постоянная стратегия тестирования, оценивающая точность, предвзятость и другие риски. Для предотвращения проблем важно иметь инструменты для выявления и измерения дрейфа.

Роль журналов изменений и обратной связи в управлении ИИ

Хотя журналы изменений и ограниченные обновления политики помогают снижать риски для поставщиков, частые обратные связи в реальном времени могут затруднять клиентам управление ИИ из-за постоянных изменений в коммуникации.

Опасения по поводу предвзятости ИИ в финансовых услугах

Катманн приводит пример, когда модели ИИ в банковском риске принимали неожиданные решения — например, отклоняли кредит, если в переписке встречалась фраза "great credit", независимо от контекста. Это подчеркивает необходимость улучшенного контроля и ответственности.

Аудит алгоритмов с высокими ставками и ответственность

Необходимо непрерывное тестирование и сравнительный анализ алгоритмов, при этом человек должен выявлять аномалии. Организации, использующие модели, несут ответственность за их результаты так же, как за решения, принимаемые людьми.

Влияние ИИ на киберстрахование и управление рисками

ИИ помогает анализировать большие объемы данных для выявления паттернов, что полезно как для клиентов, так и для страховщиков. Это помогает обнаруживать несоответствия и оценивать зрелость организаций с течением времени.

Использование ИИ для снижения киберрисков и улучшения условий страхования

Катманн советует сосредоточиться на самых важных рисках, отфильтровывая шум. Комплексное снижение ключевых рисков может привести к снижению тарифов на киберстрахование. Попытка решить все проблемы сразу может быть неэффективной.

Практические шаги для ответственного внедрения ИИ

Первым шагом является понимание конкретных сценариев использования и желаемых результатов. Затем стоит изучить соответствующие рамки и контролировать их применение. Надежное управление ИИ критично для снижения рисков и повышения эффективности, поскольку автоматизация зависит от качества данных. Готовность отвечать на вопросы о применении ИИ важна для успеха бизнеса.

Будущие риски безопасности, связанные с ИИ

Катманн прогнозирует, что с ростом интеграции агентного ИИ в бизнес-процессы злоумышленники будут использовать его для мошенничества и вредоносных действий. Уже отмечались случаи манипуляций языковыми приемами для обхода правил агентов поддержки клиентов.

Для дополнительной информации посетите LogicGate.