NASA Представляет Galileo: Революционная Открытая Мультимодальная Модель для Дистанционного Зондирования Земли

Представляем Galileo: Мультимодальная Фундаментальная Модель для Наблюдения за Землей

Galileo — это инновационная открытая мультимодальная фундаментальная модель, созданная для анализа и интерпретации разнообразных данных дистанционного зондирования Земли (ДЗЗ) в масштабе. Разработанная совместно учеными из NASA, Университета Макгилла, Университета Аризоны и других, модель обрабатывает оптические, радарные, высотные, климатические и вспомогательные карты. Такой универсальный подход поддерживает важные задачи, включая картографирование сельскохозяйственных территорий, реагирование на стихийные бедствия и экологический мониторинг.

Продвинутая Архитектура и Мультимодальная Обработка

В основе Galileo лежит архитектура Vision Transformer (ViT), адаптированная для работы с различными типами данных:

Мультиспектральные оптические изображения (например, Sentinel-2)
Радарные изображения с синтетической апертурой (SAR) (например, Sentinel-1)
Данные о высоте и наклоне (например, NASA SRTM)
Климатические данные (например, осадки и температура из ERA5)
Карты землепользования, плотность населения, ночные огни

Пайплайн токенизации Galileo разделяет входные данные на пространственные патчи, временные шаги и логические группы каналов, что позволяет модели обрабатывать изображения, временные ряды и табличные данные в единой архитектуре.

Двойной Целевой Самообучающийся Предтренинг

Ключевой инновацией является двойной целевой самообучающийся предтренинг, который одновременно учится выделять локальные и глобальные признаки:

Глобальные потери помогают выявлять крупномасштабные пространственно-временные структуры, например, ледники или вырубку лесов.
Локальные потери повышают чувствительность к мелким и быстро меняющимся объектам, таким как рыболовные суда и мусор.

Эти задачи различаются глубиной предсказаний и стратегиями маскирования, что обеспечивает надежное представление признаков на нескольких масштабах и хорошую обобщаемость при ограниченном числе маркированных данных.

Обширный Набор Данных и Стратегия Обучения

Набор данных для предтренинга охватывает всю планету, отобранный с помощью кластеризации для максимального разнообразия типов землепользования и географического распределения. Включает свыше 127 000 пространственно-временных образцов с девятью типами данных. Обучение длится 500 эпох с размером батча 512, с применением аугментаций (повороты, отражения) и оптимизацией AdamW с расписанием изменения скорости обучения и веса.

Рекордные Результаты на Бенчмарках

Galileo превосходит конкурентов на 11 датасетах и 15 задачах, включая классификацию изображений, временных рядов и сегментацию:

Классификация EuroSat — 97,7% точности, опережая специализированные модели CROMA и SatMAE.
Классификация временных рядов CropHarvest (Кения) — 84,2%, лучше Presto и AnySat.
Сегментация MADOS — mIoU 67,6%, PASTIS — 79,4%.

Даже компактные версии Galileo (ViT-Nano, ViT-Tiny) показывают высокие результаты, что важно для устройств с ограниченными ресурсами.

Значение Мультимодальности

Анализ влияния отдельных модальностей показывает, что исключение любого типа данных снижает качество модели, что подчеркивает важность полной мультимодальной обработки. Например, отсутствие данных VIIRS снижает mIoU на MADOS с 67,8% до 63,5%.

Открытый Исходный Код и Реальное Применение

Весь код, веса модели и данные для предтренинга доступны на GitHub, что способствует прозрачности и широкому использованию. Galileo поддерживает ключевые миссии NASA Harvest, включая глобальное картографирование культур, быстрое реагирование на стихийные бедствия и обнаружение загрязнений в морях, особенно полезен в регионах с ограниченным количеством маркированных данных.

Благодаря открытости, передовой архитектуре и выдающимся результатам Galileo устанавливает новый стандарт в области искусственного интеллекта для дистанционного зондирования, расширяя возможности экологического мониторинга и адаптации к изменениям климата.