HtFLlib: Первый Универсальный Бенчмарк для Оценки Гетерогенного Федеративного Обучения в Разных Модальностях

Проблемы Традиционного Федеративного Обучения

AI-организации создают гетерогенные модели, адаптированные под конкретные задачи, но сталкиваются с нехваткой данных для обучения. Традиционное Федеративное Обучение (FL) поддерживает сотрудничество только между однородными моделями с идентичной архитектурой, что ограничивает его применение. Клиенты обычно разрабатывают уникальные архитектуры под свои нужды. Кроме того, обмен локально обученными моделями связан с проблемами интеллектуальной собственности и снижает мотивацию к сотрудничеству.

Гетерогенное Федеративное Обучение и Существующие Методы

Гетерогенное Федеративное Обучение (HtFL) решает эти проблемы, позволяя сотрудничать моделям с разной архитектурой. Существующие бенчмарки FL в основном сосредоточены на гетерогенности данных и не учитывают настоящую модельную гетерогенность. Основные категории HtFL методов:

Частичный обмен параметрами: методы LG-FedAvg, FedGen, FedGH сохраняют гетерогенные извлекатели признаков, предполагая однородные классификаторы.
Взаимная дистилляция: FML, FedKD, FedMRL обучают и обмениваются небольшими вспомогательными моделями.
Обмен прототипами: передача легковесных классовых прототипов как глобального знания для поддержки локального обучения.

Однако неясно, насколько эти методы стабильны в разных сценариях.

Представляем HtFLlib: Универсальную Библиотеку для Бенчмарка

Исследователи из нескольких университетов разработали HtFLlib — первую универсальную библиотеку для оценки методов гетерогенного федеративного обучения в различных доменах и модальностях. Основные особенности HtFLlib:

Интеграция 12 датасетов из разных областей, с разной модальностью и сценариями гетерогенности данных.
40 архитектур моделей от малых до больших в трех модальностях.
Модульный и расширяемый код с реализацией 10 ключевых HtFL методов.
Систематическая оценка точности, сходимости, вычислительных и коммуникационных затрат.

Разнообразие Датасетов и Модальностей

HtFLlib делит гетерогенность данных на три сценария: Label Skew (с подвариантами Pathological и Dirichlet), Feature Shift и Real-World. Включены датасеты: Cifar10, Cifar100, Flowers102, Tiny-ImageNet, KVASIR, COVIDx, DomainNet, Camelyon17, AG News, Shakespeare, HAR и PAMAP2. Они сильно различаются по области, объему и количеству классов, что демонстрирует универсальность HtFLlib. Основной акцент — на изображениях и сценариях label skew, однако библиотека оценивает методы и для текста и сенсорных сигналов.

Анализ Производительности на Изображениях и Тексте

Для изображений большинство HtFL методов теряют точность с ростом гетерогенности моделей. FedMRL выделяется благодаря сочетанию вспомогательных глобальных и локальных моделей. В случаях с гетерогенными классификаторами, когда частичный обмен параметрами невозможен, FedTGP показывает лучшие результаты благодаря адаптивному уточнению прототипов. Эксперименты с медицинскими данными и черными ящиками гетерогенных моделей показывают, что HtFL улучшает качество моделей по сравнению с предобученными и превосходит методы с вспомогательными моделями, как FML. Для текста преимущества FedMRL в сценариях label skew снижаются в реальных условиях, а FedProto и FedTGP работают хуже, чем на изображениях.

Значение и Перспективы

HtFLlib закрывает важный пробел, предоставляя единые стандарты оценки методов гетерогенного федеративного обучения в разных доменах и модальностях. Модульный и расширяемый дизайн поддерживает исследования и практическое применение, открывая возможности для использования сложных предобученных моделей, черных ящиков и разнообразных архитектур в совместном обучении.

Для дополнительной информации смотрите оригинальную статью и репозиторий на GitHub.