Google Представила LSM-2 с AIM для Обучения на Неполных Данных С Wearable-Устройств

Проблемы с Неполными Данными Wearable-Устройств

Носимые устройства собирают непрерывные физиологические и поведенческие сигналы, такие как частота сердечных сокращений, активность, температура и кожная проводимость. Однако данные, получаемые в реальных условиях, часто неполные из-за сбоев датчиков, снятия устройства, зарядки, помех при движении, режимов энергосбережения и других причин. Отсутствующие данные структурированы и распространены, что создает серьезные трудности для моделей самоконтролируемого обучения (SSL), которые обычно требуют полных и регулярных потоков данных. Традиционные методы с использованием иммутации данных или отбрасыванием неполных образцов могут привести к смещению или потере ценной информации.

Представление LSM-2 и Adaptive and Inherited Masking (AIM)

Исследователи Google DeepMind разработали фреймворк LSM-2 с новой стратегией Adaptive and Inherited Masking (AIM) для решения этих проблем. AIM объединяет два типа масок:

Inherited Mask: отмечает токены, соответствующие реальному отсутствию данных в сенсорах.
Artificial Mask: случайным образом маскирует наблюдаемые токены для создания целей реконструкции в процессе самоконтролируемого предобучения.

Эти маски объединяются и обрабатываются через трансформерную архитектуру кодера-декодера, что позволяет модели обучаться непосредственно на неполных, неиммуцированных данных и динамично адаптироваться к реальной неполноте данных во время предсказания. Это обеспечивает устойчивые представления, способные эффективно работать с частичными и систематическими пропусками данных.

Стратегии Предобучения и Датасет

Предобучение включало различные стратегии маскирования, имитирующие реальные случаи отсутствия данных:

Случайное удаление 80% токенов для имитации шума сенсоров.
Удаление 50% временных окон, моделируя периоды отсутствия всех сенсоров.
Удаление 50% каналов сенсоров для имитации выборочного отключения сенсоров.

LSM-2 обучался на огромном датасете из 40 миллионов часов мультимодальных данных, собранных с 60 440 участников в возрасте от 18 до 96 лет, представляющих разнообразные демографические группы. Сенсоры включали фотоплетизмографию (PPG), акселерометр, электродермальную активность (EDA), температуру кожи и альтиметр.

Оценка и Результаты

LSM-2 с AIM оценивался по нескольким задачам:

Классификация: гипертония, тревожность и распознавание 20 классов активности.
Регрессия: оценка возраста и индекса массы тела (BMI).
Генеративные задачи: восстановление отсутствующих данных сенсоров.

По сравнению с предшественником LSM-1, LSM-2 показал значительные улучшения:

| Задача | Метрика | LSM-1 | LSM-2 с AIM | Улучшение | |--------------------|-------------|-------|-------------|------------| | Гипертония | F1 | 0.640 | 0.651 | +1.7% | | Распознавание Активности | F1 | 0.470 | 0.474 | +0.8% | | BMI (регрессия) | Корреляция | 0.667 | 0.673 | +1.0% | | Случайная Иммутация | MSE (↓) | 0.30 | 0.20 | На 33% ниже| | Восстановление 2 сигналов | MSE (↓)| 0.73 | 0.17 | На 77% ниже|

LSM-2 продемонстрировал на 73% меньшие падения производительности при целенаправленном удалении данных по сравнению с LSM-1. Например, удаление данных акселерометра снижало F1 для распознавания активности на 57% у LSM-2 против 71% у LSM-1.

Ключевые Технические Идеи

Прямое Обучение на Неполных Данных: LSM-2 — первая wearable foundation модель, обученная и оцененная непосредственно на неполных данных без иммутации.
Гибридный Механизм Маскирования: AIM сочетает в себе dropout маскирование для эффективности и attention маскирование для гибкости.
Обобщаемые Представления: Даже при фиксированном бэкбоне и простых линейных пробах LSM-2 достигает передовых результатов на клинических и событийных задачах.
Генеративные и Дискриминативные Возможности: LSM-2 способен как восстанавливать отсутствующие сигналы, так и создавать эмбеддинги для различных downstream задач, что ценно для медицинского и поведенческого мониторинга.