MedRAX: интеллектуальный орган для анализа рентгенограмм грудной клетки с использованием мультимодальных макромоделей

Общее введение

MedRAX - это современный искусственный интеллект, разработанный специально для анализа рентгенограмм грудной клетки (CXR). Он объединяет современные инструменты для анализа рентгенограмм и мультимодальную модель большого языка для динамической обработки сложных медицинских запросов без дополнительного обучения. MedRAX обеспечивает единую структуру благодаря модульному дизайну и надежной технологической базе, что значительно повышает полезность и производительность автоматизированных систем интерпретации рентгенограмм. Платформа также представляет ChestAgentBench, комплексный эталон из 2 500 сложных медицинских запросов, позволяющий оценить ее возможности.

Список функций

• Визуальные вопросы и ответыСложное визуальное понимание и медицинские рассуждения с помощью CheXagent и LLaVA-Med.
• сегментация изображения: Точная идентификация анатомических структур с помощью моделей MedSAM и PSPNet.
• найти: Поиск специфических находок на медицинских изображениях с помощью Maira-2.
• Формирование отчетов: Создание подробных медицинских отчетов с помощью SwinV2 Transformer.
• Классификация заболеваний: Выявление 18 категорий патологий с помощью DenseNet-121.
• Создание рентгеновской пленки: Используйте RoentGen для создания синтетических CXR.
• Практические инструменты: Включает обработку DICOM, инструменты визуализации и возможности создания пользовательских чертежей.

Использование помощи

предварительное условие

• Python 3.8+
• CUDA/GPU (наилучшая производительность)

Этапы установки

1. склад клонов: Выполните следующую команду в терминале:

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. установщик: Выполните следующую команду, чтобы установить зависимость:

   pip install -e .
   

Руководство по использованию

1. Запуск интерфейса Gradio: Выполните следующую команду, чтобы запустить интерфейс Gradio:

   python main.py
   

   Если у вас возникли проблемы с разрешениями, вы можете использовать следующую команду:

   sudo -E env "PATH=$PATH" python main.py
   

2. Настройка каталога моделей: вmain.pyустанавливатьmodel_dirВзвесьте каталог для инструментов, которые вы хотите загрузить или которыми уже владеете. Прокомментируйте инструменты, к которым у вас нет доступа.
3. Настройка ключа API: Убедитесь, что в.envфайл, чтобы установить свой ключ API OpenAI.

Руководство по использованию

1. Интерфейс запуска: Бегиpython main.pyЗапустите интерфейс Gradio.
2. Данные о нагрузке: Загрузите рентгеновские снимки грудной клетки через интерфейс.
3. Выбор функций: Выберите нужную функцию анализа в интерфейсе, например, визуальный тест, сегментация изображения и т.д.
4. Посмотреть результаты: Результаты анализа будут отображены в интерфейсе, включая подробное медицинское заключение и аннотацию к изображению.

Детальное управление функциями

• Визуальные вопросы и ответы: После загрузки изображения CXR и ввода соответствующего медицинского вопроса система использует CheXagent и LLaVA-Med для обоснования и выдачи ответа.
• сегментация изображения: Выбрав функцию сегментации изображения, система определит анатомическую структуру изображения с помощью моделей MedSAM и PSPNet и аннотирует результаты на изображении.
• найти: Используя функцию локализации, система аннотирует конкретные медицинские данные на изображении с помощью Maira-2.
• Формирование отчетов: Выбрав функцию "Формирование отчета", система с помощью SwinV2 Transformer сформирует подробный медицинский отчет, включающий результаты диагностики и рекомендации.
• Классификация заболеваний: После загрузки изображения CXR и выбора функции классификации заболеваний система использует модель DenseNet-121 для определения патологических категорий на изображении и выдает результаты классификации.
• Создание рентгеновской пленки: Выбрав функцию создания рентгеновских пленок, система с помощью RoentGen создаст синтетические изображения CXR для дальнейшего анализа и исследований.