HealthGPT：医療画像解析と診断Q&Aを支援する医療ビッグモデル

はじめに

HealthGPTは最先端の医療用グランドビジュアル言語モデルであり、異種知識適応による統一的な医療用ビジュアル理解・生成能力の実現を目指している。HealthGPTは、幅広い医療理解タスクと医療生成タスクをサポートし、様々な医療画像処理シナリオで優れた性能を発揮することができる。このプロジェクトは、浙江大学、電子科技大学、アリババ、香港科技大学、シンガポール国立大学、その他多くの組織と共同開発しており、強力な研究価値と実用的価値を有している。

機能一覧

• 医療ビジュアルQ&A：Q&Aタスクのための幅広い医療画像をサポートし、ユーザーから寄せられた医療に関する質問に的確に回答します。
• 医療画像生成：医療診断や研究に役立つ高品質の医療画像を生成できる。
• タスク分類サポート：7種類の医療理解タスクと5種類の医療生成タスクをサポートし、幅広い医療応用シナリオをカバー。
• モデル・アーキテクチャ：視覚的特徴とH-LoRAプラグインを選択し、階層的視覚知覚とH-LoRAプラグインを使用してテキストと視覚コンテンツを生成する。
• マルチバージョンモデル：HealthGPT-M3とHealthGPT-L14のコンフィギュレーションは、それぞれ異なるニーズとリソースに適応するように提供されます。

ヘルプの使用

設置プロセス

1. 環境を整える
   まず、プロジェクトをクローンし、Pythonの実行環境を作成する：

   git clone https://github.com/DCDmllm/HealthGPT.git
   cd HealthGPT
   conda create -n HealthGPT python=3.10
   condaはHealthGPTをアクティブにします。
   pip install -r requirements.txt

2. トレーニング前のウェイトを準備する
   ヘルスGPT使用clip-vit-large-patch14-336ビジュアル・エンコーダとして、HealthGPT-M3とHealthGPT-L14は、それぞれ以下のものに基づいている。ファイ3ミニ4インストラクト歌で応えるピーフォー事前トレーニング
   必要なモデルウェイトをダウンロードし、適切なディレクトリに配置します：
   • ViTモデリング：ダウンロードリンク
   • HealthGPT-M3ベースモデル：ダウンロードリンク
   • HealthGPT-L14ベースモデル：ダウンロードリンク
   • VQGANモデル：ダウンロードリンク
3. H-LoRAとアダプターウエイトの調製
   H-LoRAのウェイトをダウンロードして配置することで、モデルの医療視覚的理解と生成機能を強化することができます。完全なウエイトは近日公開予定ですので、お楽しみに。

推論

メディカル・ビジョンQ&A

1. 必要書類のダウンロード
2. スクリプトパスの更新
   見せるllava/demo/com_infer.shスクリプトで、以下の変数をダウンロードしたファイルのパスに変更する：
   • MODEL_NAME_OR_PATH: ベースモデルのパスまたは識別子
   • VIT_PATH: ビジュアル・トランスフォーマ・モデルのウェイト・パス
   • HLORA_PATH：H-LoRAウェイトパスの視覚的理解
   • FUSION_LAYER_PATH: フュージョンレイヤーのウェイトパス
3. スクリプトの実行

   cd llava/demo
   bash com_infer.sh
   

   Pythonコマンドを直接実行することも可能です：

   python3 com_infer.py  \
   ---model_name_or_path "microsoft/Phi-3-mini-4k-instruct" ୧-͈ᴗ-͈
   --dtype "FP16"
   -dtype "FP16" ￤ -hlora_r "64
   ¶ --hlora_alpha "128" ¶ -dtype "FP16" ¶ -hlora_r "64" ¶
   --hlora_nums "4"  \
   --vq_idx_nums "8192"  \
   --instruct_template "phi3_instruct"  \
   --vit_path "openai/clip-vit-large-patch14-336/"  \
   --hlora_path "path/to/your/local/com_hlora_weights.bin" ୧-͈ᴗ-͈
   --fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" ୧-͈ᴗ-͈
   --question "あなたの質問"
   --img_path "path/to/image.jpg"
   

画像再構成

そうしれいかんHLORA_PATHに設定する。gen_hlora_weights.binファイルのパスを設定し、他のモデルのパスを設定する：

cd llava/demo
バッシュ gen_infer.sh

以下のPythonコマンドを直接実行することもできる：

python3 gen_infer.py  \
---model_name_or_path "microsoft/Phi-3-mini-4k-instruct"。
--dtype "FP16"
-hlora_r "256"
-hlora_alpha "512"  \
--hlora_nums "4"  \
--vq_idx_nums "8192"  \
--instruct_template "phi3_instruct"  \
--vit_path "openai/clip-vit-large-patch14-336/"  \
--hlora_path "path/to/your/local/gen_hlora_weights.bin" ୧-͈ᴗ-͈
-fusion_layer_path「path/to/your/local/fusion_layer_weights.bin」 ୧-͈ᴗ-͈⁎
--question "画像を再構築してください。" ୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)
--img_path "path/to/image.jpg"  \
---save_path "path/to/save.jpg"。