Meta AI представляет CATransformers: углеродно-осознанный фреймворк для совместной оптимизации ИИ-моделей и аппаратного обеспечения для экологичного edge-вычисления

Влияние машинного обучения на окружающую среду

Машинное обучение стало неотъемлемой частью таких приложений, как рекомендательные системы и автономные технологии, требующих больших вычислительных ресурсов. Энергопотребление в фазах обучения и инференса значительно увеличивает углеродный след. Кроме того, само оборудование несет в себе «воплощенный углерод» — выбросы, связанные с производством, материалами и жизненным циклом, что увеличивает экологический след. Важно учитывать оба источника выбросов по мере распространения ИИ в различных отраслях.

Ограничения существующих методов снижения углеродного следа

Большинство современных подходов сосредоточены на снижении энергопотребления при работе моделей или улучшении использования оборудования. Однако зачастую игнорируется воплощенный углерод, связанный с производством аппаратного обеспечения. Взаимосвязь между дизайном моделей и эффективностью оборудования также недостаточно изучена, особенно для сложных мультимодальных моделей, объединяющих визуальные и текстовые данные.

Современные методы оптимизации ИИ и их недостатки

Техники, такие как pruning (отсечение), distillation (дистилляция) и hardware-aware neural architecture search, оптимизируют модели по задержке и энергопотреблению, но редко учитывают воплощенный углерод. Некоторые фреймворки, например ACT, IMEC.netzero и LLMCarbon, моделируют воплощенный углерод отдельно, но не интегрируют это для комплексной оптимизации. Модели для edge, такие как TinyCLIP, ориентированы на скорость и удобство развертывания, не учитывая полный углеродный след.

Представляем CATransformers

Исследователи из Meta FAIR и Технологического института Джорджии разработали CATransformers — фреймворк, который включает углерод как ключевой параметр дизайна. Он позволяет совместно оптимизировать архитектуры моделей и аппаратные ускорители, одновременно оценивая точность, задержку, энергопотребление и общий углеродный след. CATransformers ориентирован на edge-устройства, где критично контролировать и воплощенные, и операционные выбросы, используя многокритериальный байесовский оптимизатор для раннего изучения компромиссов.

Архитектура и работа CATransformers

Фреймворк состоит из трех модулей:

Многокритериальный оптимизатор: балансирует показатели производительности и углеродный след.
Оценщик моделей ИИ: создает варианты, изменяя слои, размер фидфорварда, количество голов внимания и ширину эмбеддинга базовой модели CLIP.
Оценщик аппаратного обеспечения: профилирует варианты для оценки задержки, энергопотребления и выбросов углерода.

Такой подход позволяет быстро анализировать взаимозависимости дизайна и влияния на выбросы и производительность.

Результаты: модели CarbonCLIP

CATransformers породил семейство моделей CarbonCLIP с заметным улучшением по сравнению с малыми CLIP-моделями:

CarbonCLIP-S достигает точности TinyCLIP-39M, сокращая выбросы на 17%, при задержке менее 15 мс.
CarbonCLIP-XS превосходит точность TinyCLIP-8M на 8%, сокращает выбросы на 3%, задержка менее 10 мс.

Модели, оптимизированные только по задержке, часто удваивали требования к оборудованию, что значительно повышало воплощенный углерод. CATransformers же обеспечивает 19-20% сокращение выбросов с минимальным ростом задержки.

Основные выводы и значение

Совместная оптимизация учитывает и операционные, и воплощенные выбросы углерода.
Многокритериальный байесовский оптимизатор интегрирует разные метрики для комплексного дизайна.
Доказано, что экологическая устойчивость совместима с высокой производительностью ИИ.
Исследование прокладывает путь к более ответственному развитию ИИ в соответствии с целями по климату.

CATransformers — важный шаг к устойчивому ИИ, интегрируя углеродные метрики в процесс разработки и развертывания, что помогает создавать эффективные и экологичные системы будущего.