MedRAX: 멀티모달 매크로 모델을 사용한 흉부 방사선 사진 분석용 지능형 바디

11.6K 00

일반 소개

MedRAX는 흉부 엑스레이(CXR) 분석을 위해 특별히 설계된 최첨단 AI 인텔리전스입니다. 최첨단 CXR 분석 도구와 멀티모달 대규모 언어 모델을 통합하여 추가 교육 없이 복잡한 의료 쿼리를 동적으로 처리하며, 모듈식 설계와 강력한 기술 기반을 통해 통합 프레임워크를 제공하여 자동화된 CXR 판독 시스템의 유용성과 성능을 크게 향상시킵니다. 이 플랫폼은 또한 2,500개의 복잡한 의료 쿼리에 대한 종합적인 벤치마크인 ChestAgentBench를 도입하여 그 기능을 평가합니다.

기능 목록

시각적 Q&A복잡한 시각적 이해와 의학적 추론을 위한 CheXagent 및 LLaVA-Med를 사용합니다.
이미지 세분화MedSAM 및 PSPNet 모델을 사용하여 정확한 해부학적 구조를 식별합니다.
찾기Maira-2로 의료 이미지에서 특정 소견을 찾습니다.
보고서 생성SwinV2 트랜스포머를 사용하여 상세한 의료 보고서를 생성합니다.
질병의 분류DenseNet-121을 사용하여 18가지 병리 범주 탐지.
X-레이 필름 생성RoentGen을 사용하여 합성 CXR을 생성합니다.
실용적인 도구DICOM 처리, 시각화 도구 및 사용자 지정 그리기 기능이 포함되어 있습니다.

도움말 사용

전제 조건

Python 3.8+
CUDA/GPU(최고 성능)

설치 단계

클론 창고터미널에서 다음 명령을 실행합니다:

git clone https://github.com/bowang-lab/MedRAX.git
cd MedRAX

설치 관리자다음 명령을 실행하여 종속성을 설치합니다:
```
pip install -e .
```

사용 가이드라인

Gradio 인터페이스 시작하기: 다음 명령을 실행하여 Gradio 인터페이스를 시작합니다:
```
python main.py
```
권한 관련 문제가 발생하면 다음 명령을 사용할 수 있습니다:
```
sudo -E env "PATH=$PATH" python main.py
```
모델 카탈로그 설정: inmain.py설정model_dir다운로드하려는 도구 또는 이미 소유하고 있는 도구의 카탈로그에 가중치를 부여합니다. 액세스 권한이 없는 도구는 주석 처리합니다.
API 키 구성에서.env파일을 설정하여 OpenAI API 키를 설정합니다.

사용 가이드라인

실행 인터페이스: 실행python main.pyGradio 인터페이스를 시작합니다.
데이터 로드인터페이스를 통해 흉부 엑스레이 이미지를 업로드합니다.
기능 선택인터페이스에서 원하는 분석 기능(예: 시각적 퀴즈, 이미지 분할 등)을 선택합니다.
결과 보기분석 결과가 상세한 의료 보고서와 이미지 주석을 포함하여 인터페이스에 표시됩니다.

세부 기능 작동

시각적 Q&ACXR 이미지를 업로드하고 관련 의료 질문을 입력하면 시스템이 CheXagent와 LLaVA-Med를 사용하여 추론하고 답변을 반환합니다.
이미지 세분화이미지 분할 기능을 선택하면 시스템이 MedSAM 및 PSPNet 모델을 사용하여 이미지의 해부학적 구조를 식별하고 그 결과를 이미지에 주석으로 표시합니다.
찾기현지화 기능을 사용하면 시스템이 Maira-2를 통해 이미지에 특정 의학적 소견에 주석을 달게 됩니다.
보고서 생성보고서 생성 기능을 선택하면 시스템이 SwinV2 트랜스포머를 사용하여 진단 결과 및 권장 사항을 포함한 상세한 의료 보고서를 생성합니다.
질병의 분류CXR 이미지를 업로드하고 질병 분류 기능을 선택하면 시스템이 DenseNet-121 모델을 사용하여 이미지에서 병리학적 범주를 감지하고 분류 결과를 반환합니다.
X-레이 필름 생성X선 필름 생성 기능을 선택하면 시스템이 RoentGen을 사용하여 추가 분석 및 연구를 위한 합성 CXR 이미지를 생성합니다.