Liquid AI запускает LFM2: революция в edge AI с более быстрыми и умными моделями
Liquid AI анонсирует LFM2 — серию продвинутых моделей для edge AI с ускоренным выводом и обучением, а также инновационной гибридной архитектурой для устройств с ограниченными ресурсами.
Прорыв в производительности
Модели LFM2 от Liquid AI обеспечивают значительное ускорение: скорость вывода увеличена в 2 раза, а обучение — в 3 раза по сравнению с предыдущими версиями. Эти улучшения жизненно важны для приложений реального времени на устройствах с ограниченными ресурсами, обеспечивая задержку в миллисекунды и автономную работу на телефонах, ноутбуках, автомобилях и других edge-устройствах.
Инновационная гибридная архитектура
Архитектура LFM2 уникально сочетает сверточные и механизмы внимания в структуре из 16 блоков, включая 10 двойных короткозамкнутых сверточных блоков и 6 блоков группированного внимания. Использование оператора Linear Input-Varying (LIV) позволяет динамически генерировать веса, объединяя различные типы слоев в систему, учитывающую входные данные. Этот дизайн разработан с помощью продвинутого движка поиска архитектуры STAR, который оценивает модель по широкому спектру языковых способностей.
Разнообразие размеров моделей и подход к обучению
Серия LFM2 представлена тремя размерами — 350M, 700M и 1.2B параметров — для разных сценариев использования. Обучение проводилось на огромном датасете из 10 триллионов токенов, в основном на английском языке с добавлением многоязычных и кодовых данных. Обучение происходило с помощью дистилляции знаний от модели-учителя LFM1-7B, с увеличенной длиной контекста до 32k токенов для улучшенной обработки длинных последовательностей.
Ведущие результаты на бенчмарках
Модели LFM2 превосходят или сопоставимы с более крупными аналогами в тестах и диалоговых задачах. Например, LFM2-1.2B сопоставима с Qwen3-1.7B при почти вдвое меньшем размере. Оценка многоходовых диалогов подтверждает превосходство LFM2 в предпочтениях пользователей по сравнению с рядом известных моделей.
Оптимизация для edge-развертывания
LFM2 поддерживает популярные фреймворки вывода, такие как ExecuTorch и llama.cpp. Тестирование на устройствах Samsung Galaxy S24 Ultra и AMD Ryzen показывает лидерство LFM2 по скорости и эффективности. Архитектура хорошо адаптируется к ускорителям GPU и NPU, что делает модель подходящей для широкого спектра edge-устройств.
Влияние на экосистему edge AI
LFM2 отвечает растущему спросу на быстрый, приватный и автономный AI на устройствах. Выпуск модели знаменует важный шаг в переносе AI-задач из облака на edge, с выгодой для электроники, робототехники, финансов и других отраслей. Оптимизируя баланс между возможностями модели и эффективностью развертывания, LFM2 устанавливает новый стандарт для AI следующего поколения.
Подробности и модели доступны на Hugging Face. Все заслуги принадлежат исследовательской команде проекта LFM2.
Switch Language
Read this article in English