NVIDIA Представляет Llama Nemotron Nano 4B: Компактная и Высокопроизводительная Модель ИИ для Edge и Научных Задач

Представляем Llama Nemotron Nano 4B

Компания NVIDIA выпустила Llama Nemotron Nano 4B — открытую модель рассуждений, разработанную для эффективного решения научных задач, программирования, символьной математики, вызова функций и выполнения инструкций. Несмотря на всего 4 миллиарда параметров, модель демонстрирует более высокую точность и до 50% большую пропускную способность по сравнению с аналогичными открытыми моделями с параметрами до 8 миллиардов, согласно внутренним тестам NVIDIA. Компактный размер модели делает её идеальной для использования на периферийных устройствах.

Архитектура модели и обучение

Nemotron Nano 4B основана на архитектуре Llama 3.1 и связана с семейством моделей Minitron от NVIDIA. Это плотная трансформерная модель с декодером, оптимизированная для задач, требующих интенсивных рассуждений. Модель прошла многоэтапную этапную дообучение на тщательно подобранных наборах данных по математике, программированию, рассуждениям и вызову функций. Также применялось обучение с подкреплением с использованием метода Reward-aware Preference Optimization (RPO), что улучшает работу модели в чатах и при выполнении инструкций. Такой подход помогает точнее подстраивать ответы модели под запросы пользователя, особенно в многошаговых рассуждениях.

Результаты производительности

Nemotron Nano 4B показывает высокие результаты как в одношаговых, так и в многошаговых задачах рассуждений. Модель поддерживает контекст размером до 128000 токенов, что полезно для обработки длинных документов и сложных цепочек вызовов функций. По данным NVIDIA, модель обеспечивает на 50% большую скорость вывода по сравнению с похожими моделями около 8 миллиардов параметров. Хотя полные таблицы результатов не опубликованы, модель превосходит альтернативы в задачах по математике, генерации кода и точности вызова функций.

Оптимизация для периферийных устройств

Одним из ключевых преимуществ Nemotron Nano 4B является её оптимизация для работы на периферийных устройствах. Модель эффективно работает на платформах NVIDIA Jetson и графических процессорах RTX, обеспечивая возможности рассуждений в реальном времени на энергоэффективных встроенных системах, таких как роботы, автономные агенты и локальные рабочие станции. Это даёт компаниям и исследователям преимущества в виде конфиденциальности, экономии затрат и гибкости развертывания без необходимости использовать облачные сервисы.

Лицензирование и доступность

Модель выпущена под лицензией NVIDIA Open Model License, которая разрешает коммерческое использование. Все веса модели, конфигурационные файлы и токенизаторы доступны на Hugging Face по адресу huggingface.co/nvidia/Llama-3.1-Nemotron-Nano-4B-v1.1. Такая лицензия поддерживает стратегию NVIDIA по развитию сообщества разработчиков вокруг открытых моделей ИИ.

Nemotron Nano 4B демонстрирует стремление NVIDIA создавать эффективные и масштабируемые модели ИИ, подходящие для широкого спектра практических задач, особенно там, где важны ограничения ресурсов и развёртывание на периферии.