MedRAX: Eine intelligente Einrichtung für die Analyse von Thorax-Röntgenbildern unter Verwendung multimodaler Makromodelle

Allgemeine Einführung

MedRAX ist eine hochmoderne KI-Intelligenz, die speziell für die Analyse von Röntgenaufnahmen der Brust (CXR) entwickelt wurde. Es integriert modernste CXR-Analysetools und ein multimodales, umfangreiches Sprachmodell zur dynamischen Verarbeitung komplexer medizinischer Abfragen ohne zusätzliches Training.MedRAX bietet durch seinen modularen Aufbau und seine robuste Technologiebasis ein einheitliches Framework, das den Nutzen und die Leistung automatisierter CXR-Interpretationssysteme erheblich steigert. Die Plattform führt auch ChestAgentBench ein, einen umfassenden Benchmark mit 2.500 komplexen medizinischen Abfragen, um ihre Fähigkeiten zu bewerten.

Funktionsliste

• Visuelle Fragen und AntwortenKomplexes visuelles Verständnis und medizinische Schlussfolgerungen mit CheXagent und LLaVA-Med.
• BildsegmentierungGenaue Identifizierung anatomischer Strukturen mit Hilfe von MedSAM- und PSPNet-Modellen.
• ausfindig machen.Lokalisierung spezifischer Befunde in medizinischen Bildern mit Maira-2.
• Erstellung von BerichtenGenerieren von detaillierten medizinischen Berichten mit SwinV2 Transformer.
• Klassifizierung von KrankheitenDenseNet-121: Erkennung von 18 Pathologiekategorien mit DenseNet-121.
• Erzeugung von RöntgenfilmenRoentGen verwenden, um synthetische CXRs zu erzeugen.
• Praktische WerkzeugeEnthält DICOM-Verarbeitung, Visualisierungswerkzeuge und benutzerdefinierte Zeichenfunktionen.

Hilfe verwenden

Vorbedingung

• Python 3.8+
• CUDA/GPU (beste Leistung)

Installationsschritte

1. Klon-Lager: Führen Sie den folgenden Befehl im Terminal aus:

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. Installateur: Führen Sie den folgenden Befehl aus, um die Abhängigkeit zu installieren:

   pip install -e .
   

Richtlinien für die Verwendung

1. Starten der Gradio-Schnittstelle: Führen Sie den folgenden Befehl aus, um die Gradio-Schnittstelle zu starten:

   python main.py
   

   Wenn Sie Probleme mit den Berechtigungen haben, können Sie den folgenden Befehl verwenden:

   sudo -E env "PATH=$PATH" python main.py
   

2. Einrichten des Modellkatalogs: inmain.pyaufstellenmodel_dirGewichten Sie den Katalog nach den Werkzeugen, die Sie herunterladen möchten oder bereits besitzen. Markieren Sie Werkzeuge, zu denen Sie keinen Zugang haben.
3. Konfigurieren des API-SchlüsselsSicherstellen, dass in.envDatei, um Ihren OpenAI-API-Schlüssel festzulegen.

Richtlinien für die Verwendung

1. Schnittstelle starten: Laufpython main.pyStarten Sie die Gradio-Schnittstelle.
2. Daten ladenHochladen von Röntgenbildern der Brust über die Schnittstelle.
3. Auswahl der FunktionenWählen Sie die gewünschte Analysefunktion in der Benutzeroberfläche aus, z. B. visuelles Quiz, Bildsegmentierung usw.
4. Ergebnisse anzeigenDie Ergebnisse der Analyse werden in der Benutzeroberfläche angezeigt, einschließlich eines detaillierten medizinischen Berichts und Bildkommentars.

Detaillierte Funktionsweise

• Visuelle Fragen und AntwortenNach dem Hochladen eines CXR-Bildes und der Eingabe einer relevanten medizinischen Frage verwendet das System CheXagent und LLaVA-Med, um die Antwort zu ermitteln und zurückzugeben.
• BildsegmentierungDurch Auswahl der Bildsegmentierungsfunktion identifiziert das System die anatomische Struktur des Bildes mit Hilfe von MedSAM- und PSPNet-Modellen und kommentiert die Ergebnisse auf dem Bild.
• ausfindig machen.Mit Hilfe der Lokalisierungsfunktion wird das System über die Maira-2 bestimmte medizinische Befunde im Bild vermerken.
• Erstellung von BerichtenWenn Sie die Funktion Berichtserstellung wählen, erstellt das System mithilfe von SwinV2 Transformer einen detaillierten medizinischen Bericht mit Diagnoseergebnissen und Empfehlungen.
• Klassifizierung von KrankheitenNach dem Hochladen des CXR-Bildes und der Auswahl der Krankheitsklassifizierungsfunktion verwendet das System das DenseNet-121-Modell, um die pathologischen Kategorien im Bild zu erkennen und die Klassifizierungsergebnisse zurückzugeben.
• Erzeugung von RöntgenfilmenWenn Sie die Funktion zur Erzeugung von Röntgenfilmen auswählen, wird das System RoentGen verwenden, um synthetische CXR-Bilder für weitere Analysen und Untersuchungen zu erzeugen.