Искусственный интеллект AMIE от Google превосходит врачей общей практики благодаря мультимодальному диагностическому анализу на базе Gemini 2.0 Flash

Интеграция мультимодальных данных в диагностический ИИ

Большие языковые модели (LLM) показали значительный потенциал в диагностических беседах, преимущественно через текстовые взаимодействия. Однако в реальной клинической практике часто используются мультимодальные данные, такие как изображения, лабораторные отчёты и другие медицинские документы, передаваемые в телемедицине. Традиционные ИИ-системы, опирающиеся только на текст, не способны полностью охватить эту сложность, что увеличивает риск пропуска важной медицинской информации и диагностических ошибок.

Задачи мультимодальных диагностических систем

Хотя предыдущие системы, такие как AMIE, сопоставимы или превосходят врачей общей практики в консультациях только на основе текста, они не отражают полностью условия телемедицины, где широко используется мультимедиа. Мультимодальное взаимодействие существенно, особенно когда пациенты делятся фотографиями или документами, которые невозможно передать лишь текстом. Создание ИИ, способного обрабатывать и анализировать такие разнообразные данные, остаётся сложной задачей.

Прорыв Google DeepMind и Google Research

Google DeepMind и Google Research усовершенствовали AMIE, добавив мультимодальные возможности с использованием Gemini 2.0 Flash. Система включает диалоговый фреймворк с учётом состояния пациента, который динамически адаптирует ход беседы в зависимости от состояния пациента и степени диагностической неопределённости. AMIE обрабатывает такие данные, как снимки кожи, ЭКГ и клинические документы для структурированного сбора анамнеза и анализа.

Результаты и оценка

В рандомизированном исследовании в формате OSCE с 105 сценариями и 25 актёрами пациентов AMIE сопоставлялась или превосходила врачей общей практики по 29 из 32 клинических показателей и по 7 из 9 мультимодальных критериев. Система продемонстрировала высокую точность диагностики, эффективную коммуникацию и эмпатию. Кроме того, AMIE показала устойчивость при работе с изображениями низкого качества и реже допускала ошибки (галлюцинации).

Продвинутая аналитика и адаптация в реальном времени

На базе Gemini 2.0 Flash AMIE ведёт структурированный профиль пациента и обновляет дифференциальный диагноз в ходе взаимодействия. Система использует целенаправленные вопросы и запросы мультимодальных данных для управления клиническим рассуждением. Оценка включала автоматизированные тесты восприятия, смоделированные диалоги и экспертные OSCE-оценки, подтвердившие высокую диагностическую эффективность и реалистичность клинических сценариев.

Значение для телемедицины

Это достижение является важным этапом в развитии разговорного диагностического ИИ, объединяющего мультимодальное рассуждение с управлением диалогом в реальном времени. Способность AMIE интерпретировать разнообразные медицинские данные в телемедицинских консультациях открывает новые возможности для повышения точности диагностики и доступности медицинской помощи на расстоянии.

Перспективы

Несмотря на ограничения, связанные с текстовыми интерфейсами и необходимостью дальнейшего тестирования в реальных условиях, AMIE представляет собой надёжного и контекстно-осведомлённого диагностического помощника для телемедицины. Интеграция Gemini 2.0 Flash задаёт новый стандарт для ИИ в сфере медицинской диагностики с мультимодальным подходом.