AutoDS от Allen Institute: революция в научных открытиях с помощью баесовского сюрприза

Представляем AutoDS: движок для автономных научных открытий

Институт искусственного интеллекта Аллена (AI2) разработал AutoDS (Автономное открытие через сюрприз), инновационный движок для открытых автономных научных исследований. В отличие от традиционных AI-ассистентов, которые работают с заранее определёнными целями или запросами, AutoDS самостоятельно генерирует, проверяет и улучшает гипотезы, измеряя и стремясь к «баесовскому сюрпризу» — строгой метрике подлинных открытий, выходящих за рамки заданных человеком задач.

От целенаправленных исследований к исследованию, движимому любопытством

Обычные методы автономных научных исследований сосредоточены на ответах на конкретные вопросы, генерируя гипотезы, относящиеся к заданной проблеме, и экспериментально их проверяя. AutoDS кардинально меняет этот подход, имитируя любопытство учёных. Он самостоятельно решает, какие вопросы задавать, какие гипотезы исследовать и как развивать предыдущие результаты без заранее заданных целей.

Преодоление огромного пространства гипотез и приоритизация их проверки — серьёзная задача. AutoDS формализует понятие «сюрприз» — количественную оценку изменения убеждений о гипотезе до и после получения эмпирических данных.

Измерение баесовского сюрприза с помощью больших языковых моделей

В основе AutoDS лежит новая методика оценки баесовского сюрприза. Для каждой гипотезы современные большие языковые модели (LLM), такие как GPT-4o, выступают в роли вероятностных наблюдателей, выражая свои убеждения в виде вероятностей до и после проверки. Эти распределения моделируются с помощью бета-распределений, основанных на множественных сэмплах от LLM.

AutoDS вычисляет дивергенцию Кульбака-Лейблера между апостериорным и априорным распределениями, чтобы измерить сюрприз. Только значимые сдвиги убеждений, например, смена оценки с вероятно истинной на вероятно ложную, считаются настоящими открытиями, что помогает системе сосредоточиться на существенных результатах, а не на незначительных обновлениях.

Эффективный поиск гипотез с помощью Монте-Карло дерева поиска

Для эффективного исследования огромного пространства гипотез AutoDS использует Монте-Карло дерево поиска (MCTS) с прогрессивным расширением. Каждый узел дерева — это гипотеза, ветвления представляют новые гипотезы, основанные на предыдущих результатах. Такой подход позволяет сбалансировать поиск новых идей и развитие перспективных направлений.

В отличие от жадных или лучевых методов, которые могут преждевременно сузить поиск или чрезмерно зациклиться, MCTS обеспечивает высокую эффективность открытий при ограниченных вычислительных ресурсах. Эксперименты на 21 датасете из биологии, экономики и поведенческих наук показали, что AutoDS обнаруживает на 5–29% больше удивительных гипотез, чем традиционные методы.

Модульная многоагентная архитектура LLM

AutoDS координирует работу нескольких специализированных LLM-агентов, каждый из которых отвечает за отдельный этап научного процесса:

• Генерация гипотез
• Проектирование экспериментов
• Программирование и выполнение
• Анализ результатов и корректировка

Для удаления дубликатов используется иерархическая кластеризация на основе текстовых эмбеддингов LLM и проверки семантической эквивалентности, чтобы в итоговом наборе были только уникальные открытия.

Соответствие человеческой экспертизе и интерпретируемость

В ходе оценки экспертами с учёными степенями MS/PhD было выявлено, что 67% гипотез, отмеченных AutoDS как удивительные, также были признаны таковыми экспертами. Метрика баесовского сюрприза лучше коррелировала с человеческой оценкой, чем альтернативные показатели, такие как предсказанная интересность или полезность.

Различные научные области демонстрировали разные типы сдвигов убеждений: например, подтверждающие утверждения требуют более сильных доказательств, чтобы считаться удивительными, чем новые опровержения.

Практическая реализация и перспективы

AutoDS показал более 98% точности реализации по оценке экспертов. В настоящее время используется API-ориентированный подход к LLM, что создаёт задержки, но есть и вариант программного поиска, который работает быстрее, хотя и с меньшей концептуальной глубиной.

Хотя AutoDS пока является исследовательским прототипом с планами на открытый исходный код, его архитектура и успешные эксперименты открывают перспективы для масштабируемых AI-систем, ведущих научные открытия.

Подробнее о проекте можно узнать в статье, на GitHub и в блоге. Вся заслуга принадлежит исследовательской команде AI2.