Смелый эксперимент Амстердама с ИИ для борьбы с мошенничеством в системе соцпомощи завершился спором

Два взгляда на ИИ в социальной помощи

Ханс де Зварт, бывший учитель физкультуры, ставший защитником цифровых прав, был шокирован планом Амстердама использовать алгоритм Smart Check для оценки каждого заявителя на социальную помощь на предмет мошенничества. Де Зварт, который консультировал город по вопросам этики ИИ, выявил фундаментальные, неустранимые проблемы в применении такого алгоритма к реальным людям.

В то же время Пол де Конинг, консультант, управлявший пилотным проектом Smart Check, видел в нем перспективный инструмент для повышения эффективности и снижения предвзятости в системе социальных пособий Амстердама. Его команда годами разрабатывала модель с учетом экспертных отзывов, тестирования на предвзятость и технических мер защиты, стремясь создать справедливую и прозрачную систему.

Глобальные дебаты о справедливости алгоритмов

История Smart Check отражает мировую дискуссию о том, могут ли алгоритмы справедливо принимать решения, влияющие на жизнь людей. Ранее использование ИИ в социальных службах часто приводило к дискриминации, например, к несправедливому отсеиванию представителей небелого населения или уязвимых групп. Хотя сторонники утверждают, что ИИ улучшает эффективность и снижает мошенничество, многие системы были плохо спроектированы и не тестировались на предвзятость, при этом пострадавшие часто не имеют возможности оспорить решения.

Амбициозный, но проблемный подход Амстердама

Амстердам стремился создать ответственный ИИ, следуя этическим рекомендациям и привлекая заинтересованные стороны. Smart Check использовал алгоритм "explainable boosting machine", учитывающий 15 недемографических факторов для оценки риска мошенничества. Город обнародовал несколько версий модели и данные для внешнего аудита, обеспечивая прозрачность.

Однако модель обучалась на исторических данных расследований, что влекло за собой наследование прошлых предвзятостей. Несмотря на тщательные проверки, определить справедливость математически оказалось непросто. Город стремился к равномерному распределению ложных расследований по демографическим группам, но предвзятость сохранялась.

Оппозиция и опасения

Совет участников — группа, представляющая интересы получателей пособий и защитников, — с самого начала выступал против Smart Check, опасаясь за права уязвимых граждан. Их замечания привели к некоторым изменениям, но в итоге они потребовали прекратить проект, указывая на непропорциональное воздействие при низком уровне мошенничества.

Результаты пилота и проблемы с предвзятостью

В ходе живого тестирования Smart Check отмечал больше заявок на расследование, чем сотрудники, и не показывал лучшую точность. Предвзятость менялась непредсказуемо, иногда ошибочно помечая голландцев и женщин. Попытки перекалибровать данные снизили часть предвзятости, но сложные пересекающиеся предубеждения устранить не удалось.

Прекращение проекта и выводы

В конце 2023 года городской чиновник Амстердама остановил пилот, ссылаясь на невозможность оправдать наличие предвзятости. Город вернулся к аналоговым процессам, которые также имеют предвзятость. Некоторые эксперты считают, что к ИИ предъявляют более высокие стандарты, чем к людям, в то время как другие видят этическую работу с ИИ как эволюционное поле, требующее экспериментов и ошибок.

Широкие выводы

Эксперимент Smart Check выявил глубокие проблемы в определении и достижении справедливости в ИИ для социальной помощи. Он подчеркивает необходимость политических и этических обсуждений, а также вовлечения затронутых сообществ. Поскольку ИИ все больше влияет на общественные услуги, правительства по всему миру сталкиваются с актуальными вопросами ответственного внедрения и возможных непредвиденных последствий.

Материал подготовлен в партнерстве MIT Technology Review, Lighthouse Reports и Trouw при поддержке Pulitzer Center.