GenSeg: революция в сегментации медицинских изображений с помощью генеративного ИИ при ограниченных данных

Проблема сегментации медицинских изображений при дефиците данных

Сегментация медицинских изображений — ключевая задача для ИИ в здравоохранении, необходимая для выявления заболеваний, мониторинга их развития и планирования персонального лечения. Она предполагает классификацию каждого пикселя изображения, что особенно важно в дерматологии, радиологии и кардиологии. Однако создание больших экспертно размеченных датасетов требует много времени и ресурсов, так как аннотация проводится на уровне каждого пикселя специалистами. Это приводит к дефициту данных, когда для обучения моделей глубокого обучения доступно слишком мало изображений. В таких условиях модели часто переобучаются и плохо работают на новых пациентах, оборудовании или в других клиниках.

Ограничения традиционных методов

Для борьбы с нехваткой данных применяют увеличение данных (data augmentation) и полунаблюдаемое обучение (semi-supervised learning). Увеличение данных расширяет набор изображений за счет трансформаций (повороты, отражения и т.д.), но слабо адаптировано под конкретную задачу сегментации. Полунаблюдаемое обучение использует большое количество неразмеченных изображений, но их сложно получить в медицине из-за правил конфиденциальности и этических ограничений.

Представляем GenSeg: генеративный ИИ для медицинской сегментации при малом количестве данных

Исследовательская группа из Университета Калифорнии в Сан-Диего, UC Berkeley, Стэнфорда и Института Вейцмана разработала GenSeg — генеративную AI-систему, специально созданную для сегментации медицинских изображений при ограниченных размеченных данных.

Ключевые особенности:

Полноценная генеративная система, создающая реалистичные синтетические пары изображений и масок.
Многоуровневая оптимизация (Multi-Level Optimization, MLO), которая интегрирует обратную связь от модели сегментации в процесс генерации синтетических данных.
Отсутствие необходимости в больших неразмеченных наборах данных.
Совместимость с популярными архитектурами: UNet, DeepLab, модели на основе трансформеров.

Механизм работы GenSeg

GenSeg использует трехэтапный процесс:

Генерация синтетических изображений с масками: из небольшого набора размеченных масок применяются аугментации, затем генеративно-состязательная сеть (GAN) создает соответствующие изображения, формируя точные синтетические примеры.
Обучение модели сегментации: модель обучается на реальных и синтетических парах, а качество проверяется на отложенной выборке.
Генерация данных с учетом производительности: оценки точности сегментации используются для постоянной донастройки генератора синтетических данных.

Результаты на различных медицинских задачах

Тестирование GenSeg проводилось на 11 задачах сегментации с 19 различными медицинскими наборами данных, охватывающими заболевания и органы: кожные поражения, легкие, рак молочной железы, язвы стопы, полипы.

Основные достижения:

Высокая точность при очень малом количестве размеченных изображений (9–50 на задачу).
Улучшение результатов на 10–20% по сравнению с классическими методами увеличения данных и полунаблюдаемого обучения.
Требуется в 8–20 раз меньше размеченных данных для достижения сопоставимой или лучшей точности.
Надежная работа на новых клиниках, разных типах оборудования и группах пациентов.

Значение GenSeg для медицины

GenSeg решает ключевую проблему ограниченного объема размеченных данных, создавая оптимизированные синтетические наборы. Это позволяет существенно снизить затраты и время на аннотацию, повысить надежность и обобщаемость моделей, а также ускорить разработку ИИ для редких заболеваний и новых методов визуализации.

GenSeg — значительный прорыв в медицинском ИИ, обеспечивающий точность, эффективность и адаптивность без этических и правовых проблем, связанных с большими датасетами. Его внедрение открывает новые возможности применения глубокого обучения даже в условиях ограниченных данных.

Для детального изучения доступны научная статья и исходный код проекта.