Познакомьтесь с LLMRouter: Умная Система Маршрутизации

Проблема выбора модели

LLMRouter - это open-source библиотека маршрутизации от U Lab в Университете штата Иллинойс, которая рассматривает выбор модели как основную системную задачу. Она находится между приложениями и пулом LLM и динамически выбирает модель для каждого запроса, основываясь на сложности задачи, целевых показателях качества и стоимости, через унифицированный Python API и CLI. Проект включает более 16 моделей маршрутизации, конвейер генерации данных по 11 бенчмаркам и систему плагинов для пользовательских маршрутизаторов.

Семейства маршрутизаторов и поддерживаемые модели

LLMRouter организует свои алгоритмы маршрутизации в четыре семьи: Однораундные маршрутизаторы, Многораундные маршрутизаторы, Персонализированные маршрутизаторы и Агентные маршрутизаторы.

Однораундные маршрутизаторы охватывают модели такие как knnrouter, svmrouter и mlprouter, реализующие различные стратегии, такие как метод k-ближайших соседей и автоматическое смешивание моделей.

Многораундная маршрутизация осуществляется через router_r1, предобученный экземпляр, который формирует многоуровневую маршрутизацию как последовательный процесс принятия решений.

Персонализированная маршрутизация управляется gmtrouter, который представляет взаимодействия пользователей как разнородный граф, обучая конкретные предпочтения пользователей для повышения точности.

Агентные маршрутизаторы расширяют маршрутизацию на многошаговые рабочие процессы. Модели knnmultiroundrouter и llmmultiroundrouter обеспечивают рассуждение по многоочередным следам без отдельного цикла обучения.

Конвейер генерации данных для маршрутизационных наборов

LLMRouter предоставляет комплексный конвейер генерации данных, который преобразует стандартные бенчмарки и выводы LLM в маршрутизационные наборы данных. Конвейер обрабатывает 11 бенчмарков, включая MMLU и GSM8K, проходя три этапа для извлечения запросов, создания эмбеддингов и оценки ответов.

Этот конвейер выводит различные конфигурационные файлы и маршрутизационные записи, позволяя полностью настраивать управление данными с помощью YAML.

Чат-интерфейс и система плагинов

Для интерактивного использования низкий код llmrouter chat предлагает фронтенд на основе Gradio, который может быть настроен для нужд различных пользователей. Система плагинов позволяет добавлять пользовательские маршрутизаторы, увеличивая гибкость библиотеки.

Ключевые выводы

• Маршрутизация как первая классная абстракция: Выбор модели централизован как предсказательная задача с учетом стоимости и качества.
• Четыре семьи маршрутизаторов: Стандартизированы 16+ маршрутизаторов в категории однораундные, многораундные, персонализированные и агентные.
• Многораундная маршрутизация с использованием RL: router_r1 оптимизирует производительность с помощью обучения с подкреплением.
• Персонализация на основе графов: gmtrouter достигает значительных приростов точности по сравнению с неперсонализированными моделями.
• Конвейер от начала до конца: Обеспечивает полный конвейер, чат UI и расширяемую систему плагинов для пользовательских маршрутизаторов.

Для получения дополнительных сведений посетите GitHub Repo и Техническую документацию.