MedRAX：マルチモーダル・マクロモデルを用いた胸部X線写真解析のためのインテリジェントボディ

はじめに

MedRAXは、胸部X線（CXR）解析専用に設計された最先端のAIインテリジェンスです。MedRAXは、最先端のCXR解析ツールとマルチモーダル大規模言語モデルを統合し、追加のトレーニングなしで複雑な医療クエリを動的に処理します。MedRAXは、モジュール設計と堅牢な技術基盤を通じて統一されたフレームワークを提供し、自動CXR解釈システムの実用性と性能を大幅に向上させます。MedRAXは、モジュール設計と堅牢な技術基盤によって統一されたフレームワークを提供し、CXR自動読影システムの実用性と性能を大幅に向上させます。このプラットフォームはまた、その能力を評価するために、2,500の複雑な医療クエリの包括的ベンチマークであるChestAgentBenchも導入しています。

機能一覧

• ビジュアルQ&ACheXagentとLLaVA-Medを用いた複雑な視覚理解と医療推論。
• 画像分割MedSAMとPSPNetモデルを用いた正確な解剖学的構造同定。
• 見つけるMaira-2による医用画像中の特定所見の検索。
• レポート作成SwinV2 Transformerを使用して詳細な医療レポートを作成します。
• 病気の分類DenseNet-121を用いた18の病理分類の検出。
• X線フィルムの生成RoentGenを使用して合成CXRを生成します。
• 実用ツールDICOM処理、視覚化ツール、カスタム描画機能を含む。

ヘルプの使用

前提条件

• Python 3.8+
• CUDA/GPU（最高のパフォーマンス）

インストール手順

1. クローン倉庫ターミナルで以下のコマンドを実行する：

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. インストーラ以下のコマンドを実行して、依存関係をインストールする：

   pip install -e .
   

使用ガイドライン

1. Gradioインターフェイスの起動以下のコマンドを実行し、Gradioインターフェイスを起動します：

   python main.py
   

   パーミッションに関する問題が発生した場合は、以下のコマンドを使うことができる：

   sudo -E env "PATH=$PATH" python main.py
   

2. モデルカタログの設定でmain.pyセットアップモデル・ディレクトリダウンロードを希望する、またはすでに所有しているツールのカタログを確認します。アクセスできないツールはコメントアウトしてください。
3. APIキーの設定を確認する。環境ファイルで OpenAI API キーを設定します。

使用ガイドライン

1. 起動インターフェース走るpython main.pyGradioインターフェイスを起動します。
2. 負荷データ胸部X線画像をインターフェイスからアップロードします。
3. 機能の選択ビジュアルクイズ、画像セグメンテーションなど、希望する分析機能をインターフェイスで選択します。
4. 結果を見る解析結果は、詳細な診断書と画像注釈を含むインターフェースに表示されます。

詳細な機能操作

• ビジュアルQ&ACXR画像をアップロードし、関連する医学的質問を入力すると、システムはCheXagentとLLaVA-Medを使って推論し、答えを返します。
• 画像分割画像セグメンテーション機能を選択することで、MedSAMとPSPNetモデルを用いて画像の解剖学的構造を識別し、その結果を画像に注釈する。
• 見つけるローカライゼーション機能を使用すると、Maira-2を介して画像に特定の医療所見を注釈することができます。
• レポート作成レポート作成機能を選択すると、システムはSwinV2 Transformerを使用して、診断結果や推奨事項を含む詳細な医療レポートを作成します。
• 病気の分類CXR画像をアップロードし、疾患分類機能を選択すると、システムはDenseNet-121モデルを使用して画像内の病理学的カテゴリーを検出し、分類結果を返します。
• X線フィルムの生成X線フィルム生成機能を選択すると、RoentGenを使用して、さらなる解析や研究のための合成CXR画像を生成します。