Повышение надежности: как EvalToolbox от Atla диагностирует и самокорректирует ошибки агентов на базе LLM

Проблемы при внедрении агентов на базе LLM

Использование агентов на основе больших языковых моделей (LLM) в продакшене часто выявляет серьезные проблемы с надежностью. Традиционные методы оценки, основанные на агрегированных показателях успеха, не дают конкретных данных о причинах неудач. Например, успех в 50% случаев не объясняет причины остальных ошибок, что затрудняет и замедляет процесс устранения проблем, особенно при масштабировании.

Анализ τ-Bench и τ-Retail

Анализ Atla публичного бенчмарка τ-Bench предоставляет подробное понимание сбоев агентов. τ-Bench ориентирован на взаимодействия инструментов, агентов и пользователей. На примере τ-retail — подмножества, посвященного обслуживанию клиентов в ритейле — выделены основные категории ошибок:

• Ошибки рабочего процесса: преимущественно «Неверное действие», когда агент не выполняет важные задачи.
• Ошибки взаимодействия с пользователем: чаще всего связаны с предоставлением «Неверной информации».
• Ошибки инструментов: возникают при неправильном использовании правильных инструментов из-за неверных параметров.

Ключевое наблюдение — разделение ошибок на терминальные (неисправимые) и восстанавливаемые. Терминальных ошибок значительно больше, что показывает ограничения самокоррекции агентов без внешнего вмешательства.

Самокоррекция в реальном времени с помощью Selene

Для решения этих проблем Atla внедрила Selene — модель оценки, встроенную непосредственно в рабочие процессы агентов. Selene контролирует каждый шаг взаимодействия в реальном времени, обнаруживая и исправляя ошибки. Демонстрации показывают, что агенты с Selene быстро исправляют первоначальные ошибки, повышая точность и улучшая впечатления пользователей.

Например, при ошибках «Неверной информации»:

• Агенты без Selene не могли исправить ошибку, что снижало удовлетворенность пользователей.
• Агенты с Selene эффективно выявляли и исправляли ошибки, значительно улучшая результаты.

Автоматизация оценки и исправления

EvalToolbox меняет подход от ручного ретроспективного анализа ошибок к автоматическому обнаружению и исправлению в реальном времени. Он предлагает:

• Автоматическую классификацию распространенных типов ошибок.
• Действующую в реальном времени обратную связь при обнаружении ошибок.
• Динамическую самокоррекцию, интегрированную в рабочие процессы агентов.

В планах — расширение использования EvalToolbox на задачи программирования, специализированные области и создание стандартных протоколов оценки в цикле взаимодействия.

Интеграция оценки внутрь рабочих процессов с помощью анализа τ-Bench и EvalToolbox от Atla представляет собой практичный и автоматизированный способ повышения надежности агентов на базе LLM в продакшен-средах.