Эксперимент Скиннера во время войны

В 1943 году Б.Ф. Скиннер начал необычный военный проект, сосредоточенный на птицах. Пытаясь улучшить точность бомб, он тренировался на животных: после неудачных попыток с воронами он научил обычных голубей клевать по изображению цели, проецируемому на экран. Скиннер даже планировал поместить птиц в носовую часть снаряда, чтобы они направляли его к цели. Военные так и не использовали Project Pigeon, но эксперименты убедили Скиннера, что голуби — надежные объекты для изучения обучения.

От бихевиоризма к усиленному обучению

Скиннер развивал идеи Павлова, предложив оперантное обусловливание: поведение формируется последствиями, и действия, приводящие к награде, укрепляются. Он обучал голубей и крыс цепочкам действий, поэтапно усиливая близкие к желаемым ответы.

Хотя бихевиоризм в психологии утратил популярность в 1960-е, его принципы были адаптированы в информатике. Ричард Саттон и Эндрю Барто превели идеи из изучения животных в формальную область reinforcement learning, где агенты исследуют действия и связывают ситуации с вознаграждением. Этот подход стал основой многих современных достижений ИИ.

Голуби и современный ИИ

Ранние попытки моделировать человеческое мышление приводили к символическим системам, которые плохо справлялись с распознаванием образов. Исследования с голубями предложили иной путь: сложное поведение может возникать из простых ассоциативных правил, усвоенных методом проб и ошибок, без явных правил.

В 1964 году было показано, что голуби способны различать фотографии с людьми и без людей, получая пищу за правильные пики. Они научились узнавать людей даже при частичном скрытии, что демонстрирует мощность ассоциативного обучения для задач классификации.

С ростом вычислительных мощностей reinforcement learning масштабировалось. Системы, обученные максимизировать простые числовые награды, освоили игры и другие задачи. AlphaGo Zero, обученная только по сигналам награды, воссоздала столетнюю базу знаний по го и разработала новые стратегии. Те же принципы лежат в основе современных агентов, которые опираются на поиск и память, а не на имитацию человеческого рассуждения.

Переоценка животного интеллекта

Успехи reinforcement learning побудили биологов и сравнительных психологов по-новому взглянуть на ассоциативное обучение. Йохан Линд и Эд Вассмерман утверждают, что то, что считалось примитивным механизмом, может объяснять более сложные поведения животных. Эксперименты Вассермана показали, что голуби могут обнаруживать признаки заболеваний на медицинских снимках на уровне опытных врачей и решать тонкие задачи категоризации, в которых студенты терпели неудачу.

Это не отменяет роли инстинктов, эмоций или видоспецифических адаптаций. Скорее, это указывает на то, что ассоциативное обучение — мощный когнитивный инструмент, и некоторые впечатляющие поведения, приписываемые высшим умственным способностям, могут возникать из цепочек подкрепленных ассоциаций.

Этические и философские вопросы

Параллели между голубями и ИИ поднимают неудобные вопросы. Reinforcement learning показывает, что простые механизмы ассоциации могут порождать поведение, которое выглядит разумным, как у животных, так и у машин. Но сходство механизмов не означает эквивалентность переживаний. Голуби — чувствующие существа, способные испытывать боль, тогда как современный ИИ не обладает субъективным опытом.

Эти параллели также влияют на приоритеты исследований. Философы и ученые призывают к большему финансированию изучения когниции животных, чтобы лучше отличать компетентное поведение от подлинной субъективной осознанности. Ассоциативные механизмы, лежащие в основе ИИ, могут помочь понять эволюцию разума и критерии приписывания сознания разным видам.

Скромный вывод

Если развитие ИИ происходит за счет масштабирования голубиного ассоциативного обучения, то представление о том, что машины должны быть похожи на человеческое мышление, оказывается ошибочным. Машины могут превзойти людей, усилив простые правила обучения, а не имитируя человеческое рассуждение. Это одновременно смиряющая и проясняющая мысль: скромный мозг голубя повлиял на наши машины и на наше понимание интеллекта.