FunctionGemma: компактный ИИ Google для edge-устройств

Что такое FunctionGemma?

FunctionGemma — это трансформер с 270 миллионами параметров, специализирующийся на вызове функций, предназначенный для работы в качестве edge-агента для перевода естественного языка в API-действия.

Архитектура и тренировочные данные

Сохраняя архитектуру Gemma 3, FunctionGemma имеет параметров в 270 миллионов, используя аналогичную исследовательскую инфраструктуру, как и Gemini. Модель оптимизирована для JSON-структур с 256К словарём, что улучшает эффективность токенов для схем функций.

Обучающая выборка:

• 6 триллионов токенов с окончанием в августе 2024.
• Сфокусирована на определения API и данных взаимодействия для вызовов функций.

Формат общения и управляющие токены

FunctionGemma требует строгого формата общения. Роли, такие как разработчик, пользователь или модель, обозначаются тегами <start_of_turn>role ... <end_of_turn>. Управляющие токены позволяют четко различать естественный язык и определения, вызовы и ответы функций.

Тонкая настройка и производительность Mobile Actions

Хотя FunctionGemma демонстрирует неплохую производительность изначально, тонкая настройка под конкретные задачи необходима для достижения надежности в эксплуатации. Точность может возрасти с 58% до 85% после тонкой настройки на соответствующих выборках.

Edge-агенты и справочные демо

Ориентированная на edge-агентов для локального выполнения, FunctionGemma эффективно работает на таких устройствах, как ноутбуки и смартфоны. Google представил несколько демо, таких как Mobile Actions, которые демонстрируют оффлайн способности, а также другие интерактивные приложения, такие как Tiny Garden и Physics Playground.

Основные выводы

1. FunctionGemma нацелена на вызов функций, а не на общий чат.
2. Она работает в пределах контекста 32K токенов и использует специализированный словарь.
3. Модель применяет строгий формат общения для надежного взаимодействия с инструментами.
4. Тонкая настройка значительно повышает точность для конкретных задач.
5. Низкие требования к ресурсам делают её подходящей для различных потребительских устройств.