Google AI представляет MASS: прорывная система оптимизации мультиагентных систем с улучшенными подсказками и топологиями

Рост значения мультиагентных систем в ИИ

Мультиагентные системы становятся важным направлением в искусственном интеллекте благодаря способности координировать несколько больших языковых моделей (LLM) для решения сложных задач. Вместо использования одной модели, системы распределяют роли между агентами, каждый из которых выполняет уникальную функцию. Такое разделение повышает эффективность в таких областях, как отладка кода, анализ данных, генерация с использованием информации из внешних источников и интерактивное принятие решений. Ключевыми элементами системы являются связи между агентами (топологии) и индивидуальные инструкции, или подсказки, для каждого агента.

Сложности в проектировании мультиагентных систем

Проектирование эффективных мультиагентных систем затруднено высокой чувствительностью к изменениям подсказок. Небольшие корректировки могут существенно влиять на производительность. Кроме того, выбор топологии — число агентов, стиль их взаимодействия и последовательность задач — часто требует ручной настройки и экспериментов. Огромное и нелинейное пространство дизайна, объединяющее инженеринг подсказок и построение топологий, затрудняло одновременную оптимизацию обеих составляющих традиционными методами.

Существующие решения и их ограничения

Существуют различные инструменты для улучшения дизайна мультиагентных систем: DSPy автоматизирует генерацию примеров подсказок, ADAS предлагает кодовые топологические конфигурации через мета-агентов, а AFlow применяет Монте-Карло Tree Search для эффективного исследования комбинаций. Однако эти решения обычно фокусируются либо на оптимизации подсказок, либо на топологиях, что ограничивает создание действительно интеллектуальных и устойчивых систем.

Представляем MASS: интегрированная оптимизация подсказок и топологий

Исследователи из Google и Кембриджского университета разработали Multi-Agent System Search (MASS) — систему, которая автоматизирует дизайн мультиагентных систем, поочерёдно оптимизируя подсказки и топологии в три этапа:

Локальная оптимизация подсказок для каждого агентского модуля.
Выбор эффективных топологий на основе оптимизированных подсказок.
Глобальная настройка подсказок на уровне всей системы для максимальной эффективности.

Такой подход сокращает пространство поиска до самых влиятельных элементов, повышая эффективность и снижая необходимость ручной настройки.

Технические детали работы MASS

MASS начинается с уточнения подсказок для каждого агентского модуля, ответственного за задачи, например, агрегацию, рефлексию или дебаты. Вариации подсказок включают инструкционные рекомендации (например, «думай шаг за шагом») и демонстрации с одним или несколькими примерами. Оптимизатор оценивает варианты по метрикам валидации и улучшает их. Затем MASS исследует допустимые комбинации агентов для формирований топологий в сокращённом пространстве поиска. В завершение, лучшая топология проходит глобальную настройку подсказок для повышения общей производительности.

Результаты и показатели эффективности

Модели MAS, оптимизированные с помощью MASS, показали превосходные результаты на различных тестах:

На датасете MATH с использованием Gemini 1.5 Pro точность достигла около 84%, что выше 76–80% при масштабировании агентов через самосогласованность или дебаты.
В тесте HotpotQA топология дебатов улучшила показатели на 3%, тогда как топологии рефлексии и суммирования снизили результаты до 15%.
На LiveCodeBench топология Executor повысила точность на 6%, а рефлексия дала отрицательный эффект.

Эти данные подтверждают, что только некоторые топологии положительно влияют на производительность, что подчёркивает необходимость целенаправленной оптимизации, реализованной в MASS.

Ключевые выводы исследования MASS

Сложность дизайна MAS сильно зависит от чувствительности подсказок и топологии.
Оптимизация подсказок эффективнее простого увеличения числа агентов.
Не все топологии полезны; важен тщательный выбор.
MASS объединяет оптимизацию подсказок и топологий, снижая вычислительные и ручные затраты.
Система поддерживает модульные конфигурации агентов, пригодные для различных задач.
Итоговые модели MAS превосходят современные аналоги по нескольким показателям.

MASS предлагает масштабируемое и эффективное решение для разработки мультиагентных систем, доказывая, что улучшенный дизайн подсказок и стратегический поиск топологий приводят к значительному росту производительности искусственного интеллекта.