MedRAX: 利用多模态大模型进行胸部X光片分析的智能体

综合介绍

MedRAX是一个专为胸部X光片（CXR）分析设计的先进AI智能体。它集成了最先进的CXR分析工具和多模态大语言模型，能够动态处理复杂的医学查询，而无需额外训练。MedRAX通过其模块化设计和强大的技术基础，提供了一个统一的框架，显著提升了自动化CXR解读系统的实用性和性能。该平台还引入了ChestAgentBench，一个包含2500个复杂医学查询的综合基准，用于评估其能力。

功能列表

• 视觉问答：利用CheXagent和LLaVA-Med进行复杂的视觉理解和医学推理。
• 图像分割：使用MedSAM和PSPNet模型进行精确的解剖结构识别。
• 定位：通过Maira-2定位医学图像中的特定发现。
• 报告生成：使用SwinV2 Transformer生成详细的医学报告。
• 疾病分类：利用DenseNet-121检测18种病理类别。
• X光片生成：使用RoentGen生成合成CXR。
• 实用工具：包括DICOM处理、可视化工具和自定义绘图功能。

使用帮助

先决条件

• Python 3.8+
• CUDA/GPU（最佳性能）

安装步骤

1. 克隆仓库：在终端中运行以下命令：

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. 安装包：运行以下命令安装依赖：

   pip install -e .
   

使用指南

1. 启动Gradio界面：运行以下命令启动Gradio界面：

   python main.py
   

   如果遇到权限问题，可以使用以下命令：

   sudo -E env "PATH=$PATH" python main.py
   

2. 设置模型目录：在main.py中设置model_dir为你希望下载或已经拥有的工具权重目录。注释掉你没有访问权限的工具。
3. 配置API密钥：确保在.env文件中设置你的OpenAI API密钥。

使用指南

1. 启动界面：运行python main.py启动Gradio界面。
2. 加载数据：通过界面上传胸部X光片图像。
3. 选择功能：在界面中选择所需的分析功能，如视觉问答、图像分割等。
4. 查看结果：分析结果将显示在界面中，包括详细的医学报告和图像标注。

详细功能操作

• 视觉问答：上传CXR图像后，输入相关医学问题，系统将利用CheXagent和LLaVA-Med进行推理并返回答案。
• 图像分割：选择图像分割功能，系统将使用MedSAM和PSPNet模型对图像进行解剖结构识别，并在图像上标注结果。
• 定位：使用定位功能，系统将通过Maira-2在图像中标注特定的医学发现。
• 报告生成：选择报告生成功能，系统将使用SwinV2 Transformer生成详细的医学报告，包括诊断结果和建议。
• 疾病分类：上传CXR图像后，选择疾病分类功能，系统将利用DenseNet-121模型检测图像中的病理类别，并返回分类结果。
• X光片生成：选择X光片生成功能，系统将使用RoentGen生成合成的CXR图像，供进一步分析和研究使用。