OpenAI представила ключевые обновления фреймворка AI-агентов с поддержкой TypeScript и голосовых функций

Поддержка TypeScript расширяет Agents SDK

OpenAI расширила Agents SDK, добавив поддержку TypeScript, что дополняет существующую реализацию на Python. Новая версия SDK позволяет разработчикам, работающим с JavaScript и Node.js, создавать AI-агентов с использованием ключевых функций, таких как handoffs (передача управления), guardrails (ограничения выполнения), tracing (слежение) и протокол Model Context Protocol (MCP). Это позволяет единообразно развертывать агентов как в браузерах, так и на серверной стороне. Подробная документация доступна на openai-agents-js.

Новый RealtimeAgent для голосовых приложений и управления с участием человека

Абстракция RealtimeAgent ориентирована на приложения с голосовым управлением и низкой задержкой, обеспечивая работу с аудиовходом/выходом, управлением состоянием и обработкой прерываний. Важной возможностью является режим human-in-the-loop (HITL) — остановка исполнения агента, сериализация состояния и ручное подтверждение продолжения. Это особенно полезно для контроля, соблюдения нормативов и валидации в специфических доменах. Подробности по HITL изложены в документации OpenAI.

Расширенная трассировка для голосовых сессий и Realtime API

OpenAI улучшила панель Traces, добавив поддержку голосовых сессий и полного отслеживания сессий Realtime API. Интерфейс позволяет визуализировать аудиовходы/выходы, вызовы инструментов, прерывания пользователя и возобновления агента, создавая единый журнал аудита для текстовых и голосовых агентов. Формат трассировки стандартизирован и интегрируется с мониторингом OpenAI, облегчая отладку и контроль качества без дополнительной настройки. Дополнительная информация доступна в руководстве по голосовым агентам на openai-agents-js/guides/voice-agents.

Улучшения в speech-to-speech модели

Обновления модели speech-to-speech повышают качество взаимодействия в реальном времени за счет снижения задержек, улучшения естественности речи и более эффективной обработки прерываний. Это обеспечивает более быстрый обмен репликами, выразительную генерацию аудио с вариациями интонации и устойчивость к перекрывающимся входам. Такие изменения поддерживают работу разговорных AI-агентов в динамичных мультимодальных сценариях в соответствии с видением OpenAI.

Все эти обновления укрепляют экосистему AI-агентов OpenAI, делая её более модульной, совместимой и удобной для разработчиков, особенно в области голосовых и интерактивных приложений.