MedRAX: un organismo inteligente para el análisis de radiografías de tórax mediante macromodelos multimodales

Introducción general

MedRAX es una inteligencia artificial de última generación diseñada específicamente para el análisis de radiografías de tórax (CXR). MedRAX proporciona un marco unificado a través de su diseño modular y su sólida base tecnológica, lo que mejora significativamente la utilidad y el rendimiento de los sistemas automatizados de interpretación de radiografías de tórax. La plataforma también presenta ChestAgentBench, un exhaustivo banco de pruebas de 2.500 consultas médicas complejas, para evaluar sus capacidades.

Lista de funciones

• Preguntas y respuestas visualesComprensión visual compleja y razonamiento médico mediante CheXagent y LLaVA-Med.
• segmentación de imágenesAccurate anatomical structure identification using MedSAM and PSPNet models.
• localiceLocalización de hallazgos específicos en imágenes médicas con Maira-2.
• Generación de informesGeneración de informes médicos detallados mediante SwinV2 Transformer.
• Clasificación de las enfermedadesDetección de 18 categorías de patologías mediante DenseNet-121.
• Generación de películas de rayos X: Utiliza RoentGen para generar CXRs sintéticos.
• Herramientas prácticas: Incluye procesamiento DICOM, herramientas de visualización y funciones de dibujo personalizadas.

Utilizar la ayuda

condición previa

• Python 3.8+
• CUDA/GPU (mejor rendimiento)

Pasos de la instalación

1. almacén de clonesEjecute el siguiente comando en el terminal:

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. instaladorEjecute el siguiente comando para instalar la dependencia:

   pip install -e .
   

Normas de uso

1. Inicio de la interfaz de GradioEjecuta el siguiente comando para iniciar la interfaz de Gradio:

   python main.py
   

   Si tiene problemas con los permisos, puede utilizar el siguiente comando:

   sudo -E env "PATH=$PATH" python main.py
   

2. Configurar el catálogo de modelos: enmain.pyestablecermodel_dirPondere el catálogo para las herramientas que desea descargar o que ya posee. Comenta las herramientas a las que no tienes acceso.
3. Configuración de la clave API: Asegúrese de que en.envpara establecer tu clave de API de OpenAI.

Normas de uso

1. Interfaz de lanzamiento: Ejecutarpython main.pyInicie la interfaz de Gradio.
2. Datos de cargaCarga de radiografías de tórax a través de la interfaz.
3. Selección de funciones: Seleccione la función de análisis deseada en la interfaz, por ejemplo, cuestionario visual, segmentación de imágenes, etc.
4. Ver resultadosLos resultados del análisis se mostrarán en la interfaz, incluido un informe médico detallado y una anotación de la imagen.

Funcionamiento detallado

• Preguntas y respuestas visualesEl sistema se basa en CheXagent y LLaVA-Med para razonar y devolver la respuesta tras cargar una imagen de RxC e introducir una pregunta médica relevante.
• segmentación de imágenesFunción de segmentación de la imagen: Al seleccionar la función de segmentación de la imagen, el sistema identificará la estructura anatómica de la imagen utilizando los modelos MedSAM y PSPNet y anotará los resultados en la imagen.
• localiceFunción de localización: mediante la función de localización, el sistema anotará hallazgos médicos específicos en la imagen a través del Maira-2.
• Generación de informesGeneración de informes : Al seleccionar la función Generación de informes, el sistema utilizará SwinV2 Transformer para generar un informe médico detallado que incluya los resultados del diagnóstico y las recomendaciones.
• Clasificación de las enfermedadesFunción de clasificación de enfermedades: tras cargar la imagen CXR y seleccionar la función de clasificación de enfermedades, el sistema utilizará el modelo DenseNet-121 para detectar las categorías patológicas en la imagen y devolver los resultados de la clasificación.
• Generación de películas de rayos XFunción de generación de radiografías: Al seleccionar la función de generación de radiografías, el sistema utilizará RoentGen para generar imágenes sintéticas de CXR para su posterior análisis e investigación.