Как чатбот меняет убеждения

Считается, что одни только факты не убеждают людей с глубокими конспирологическими убеждениями. Новое исследование показывает, что если факты подавать разговорно и индивидуально, это может снизить уверенность в подобных теориях. В исследовании, опубликованном в журнале Science, проверяли чатбота DebunkBot на базе GPT-4 Turbo, чтобы понять, справится ли примерно восьмиминутный диалог с ослаблением веры в теории заговора.

Эксперимент и результаты

Более 2000 участников, которые поддерживали различные теории заговора, описывали теорию и доказательства, которые их убеждали. Чатбот вел с каждым из них трехраундовый диалог, в среднем по 8.4 минуты. После разговора уверенность в их убеждениях снизилась в среднем на 20%. Примерно каждый четвертый участник перестал верить в свою первоначальную теорию. Эффект наблюдался и для классических заговоров вроде JFK или отрицания высадки на Луну, и для современных политически раскаленных теорий, связанных с выборами 2020 года или covid-19.

Что делал чатбот иначе

DebunkBot давал своевременные, понятные и аргументированные объяснения, адаптированные к конкретным убеждениям собеседника. Например, при ссылке на утверждение, что авиационный керосин не способен расплавить сталь в дискуссиях о 9/11, бот объяснял, что хотя керосин может не плавить сталь, он способен снизить её прочность более чем на 50% по оценке American Institute of Steel Construction, что достаточно для обрушения конструкции. Такие точные фактические разъяснения избавляют пользователя от необходимости знать узкие технические детали.

Долговечность и механизмы действия

Поразительно, что снижение веры сохранялось. Через два месяца после взаимодействия эффект оставался на том же уровне. Последующие эксперименты показали, что эффект зависел именно от фактов и доказательств: если модели приказывали убеждать без фактов, эффект исчезал, а если заранее говорили, что с собеседником будет говорить чатбот, эффективность не падала. Это указывает на то, что многие сторонники теорий заговора скорее дезинформированы, чем иррациональны, и что четкие объяснения могут изменить их позицию.

ИИ против человеческих оппонентов

Когда участникам говорили, что они общаются с экспертом, а не с ИИ, эффект был таким же сильным. Это значит, что эффект не уникален для ИИ, а отражает доступность и оперативность, которую дают генеративные модели. Люди могли бы достичь похожего результата, но это потребовало бы значительных затрат времени и экспертизы. Генеративный ИИ делает когнитивную работу по поиску фактов и построению контраргументов быстро и в масштабах.

Точность и ограничения

Хотя языковые модели подвержены галлюцинациям, в исследовании фактическая точность была высокой. Профессиональный фактчекингер оценил более 99% утверждений GPT-4 как верные и непредвзятые политически. В тех редких случаях, когда участники указывали на действительные заговоры, например MK Ultra, чатбот подтверждал правильность таких убеждений, а не ошибочно их опровергал.

Возможные применения

Боты для опровержения могли бы работать на социальных платформах, взаимодействуя с теми, кто распространяет конспирологический контент, быть связаны с поисковыми системами для ответа на вопросы о теориях заговора или применяться в личных ситуациях, дополняя сложные разговоры. Такие интервенции дополнили бы профилактические меры, помогая возвращать людей из конспирологического мышления.

Более широкие выводы для общественного дискурса

Результаты добавляют доказательства в копилку исследований, показывающих, что факты и доказательства сохраняют убеждающую силу. Опасения о тотальном эффекте отката оказались преувеличены: корректировки и фактические опровержения часто уменьшают веру и распространение ложной информации. Если точную информацию можно распространить достаточно широко, в том числе с помощью ИИ, это может помочь восстановить общий фактический базис, необходимый для демократических дискуссий.

Попробовать дебанк-бота можно на debunkbot.com.

Авторы исследования Thomas Costello, Gordon Pennycook и David Rand исследуют, как аналитическое мышление, диалог человек‑ИИ и доказательные интервенции могут исправлять неточные убеждения и снижать политическую поляризацию.