MedRAX : Un organisme intelligent pour l'analyse des radiographies du thorax à l'aide de macromodèles multimodaux

Introduction générale

MedRAX est une intelligence artificielle de pointe conçue spécifiquement pour l'analyse des radiographies du thorax (CXR). MedRAX fournit un cadre unifié grâce à sa conception modulaire et à sa base technologique robuste, ce qui améliore considérablement l'utilité et les performances des systèmes automatisés d'interprétation des radiographies pulmonaires. La plateforme présente également ChestAgentBench, un benchmark complet de 2 500 requêtes médicales complexes, afin d'évaluer ses capacités.

Liste des fonctions

• Questions-réponses visuellesLa compréhension visuelle complexe et le raisonnement médical à l'aide de CheXagent et de LLaVA-Med.
• segmentation des imagesLe projet d'identification des structures anatomiques à l'aide des modèles MedSAM et PSPNet est en cours de réalisation.
• localiser: Localiser des résultats spécifiques dans des images médicales avec Maira-2.
• Génération de rapportsLes rapports médicaux détaillés sont générés à l'aide de SwinV2 Transformer.
• Classification des maladiesDétection de 18 catégories de pathologies à l'aide de DenseNet-121.
• Génération de films radiographiquesLes CXR synthétiques : Utilisez RoentGen pour générer des CXR synthétiques.
• Outils pratiquesLe traitement DICOM, les outils de visualisation et les capacités de dessin personnalisé font partie des fonctionnalités du logiciel.

Utiliser l'aide

condition préalable

• Python 3.8+
• CUDA/GPU (meilleures performances)

Étapes de l'installation

1. entrepôt de clonesLa commande suivante doit être exécutée dans le terminal :

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. installateurPour installer la dépendance, exécutez la commande suivante :

   pip install -e .
   

Lignes directrices pour l'utilisation

1. Lancement de l'interface GradioLancement de l'interface Gradio : Exécutez la commande suivante pour lancer l'interface Gradio :

   python main.py
   

   Si vous rencontrez des problèmes avec les autorisations, vous pouvez utiliser la commande suivante :

   sudo -E env "PATH=$PATH" python main.py
   

2. Mise en place du catalogue de modèles: enmain.pymettre en placemodel_dirPondérez le catalogue des outils que vous souhaitez télécharger ou que vous possédez déjà. Commentez les outils auxquels vous n'avez pas accès.
3. Configuration de la clé APILe programme d'éducation et de formation des adultes (PEF) est un programme d'éducation et de formation des adultes..envpour définir votre clé API OpenAI.

Lignes directrices pour l'utilisation

1. Interface de lancement: Runpython main.pyLancez l'interface Gradio.
2. Données de chargementLes images de radiographie thoracique peuvent être téléchargées à partir de l'interface.
3. Sélection des fonctionsSélectionnez la fonction d'analyse souhaitée dans l'interface, par exemple un quiz visuel, une segmentation d'image, etc.
4. Voir les résultatsLes résultats de l'analyse seront affichés dans l'interface, y compris un rapport médical détaillé et une annotation de l'image.

Fonctionnement détaillé

• Questions-réponses visuellesAprès avoir téléchargé une image CXR et saisi une question médicale pertinente, le système utilisera CheXagent et LLaVA-Med pour raisonner et renvoyer la réponse.
• segmentation des imagesEn sélectionnant la fonction de segmentation de l'image, le système identifiera la structure anatomique de l'image à l'aide des modèles MedSAM et PSPNet et annotera les résultats sur l'image.
• localiserLa fonction de localisation permet au système d'annoter des résultats médicaux spécifiques sur l'image par l'intermédiaire du Maira-2.
• Génération de rapportsEn sélectionnant la fonction de génération de rapports, le système utilisera SwinV2 Transformer pour générer un rapport médical détaillé comprenant les résultats du diagnostic et les recommandations.
• Classification des maladiesLe système utilise le modèle DenseNet-121 pour détecter les catégories pathologiques dans l'image et renvoie les résultats de la classification après avoir téléchargé l'image CXR et sélectionné la fonction de classification des maladies.
• Génération de films radiographiquesEn sélectionnant la fonction de génération de films radiographiques, le système utilisera RoentGen pour générer des images CXR synthétiques en vue d'une analyse et d'une recherche plus approfondies.