MedRAX: um corpo inteligente para análise de radiografias de tórax usando macromodelos multimodais

Introdução geral

O MedRAX é uma inteligência de IA de última geração projetada especificamente para a análise de radiografia de tórax (CXR). Ele integra ferramentas de análise de CXR de última geração e um modelo multimodal de linguagem grande para processar dinamicamente consultas médicas complexas sem treinamento adicional. O MedRAX fornece uma estrutura unificada por meio de seu design modular e base tecnológica robusta, aumentando significativamente a utilidade e o desempenho dos sistemas automatizados de interpretação de CXR. A plataforma também apresenta o ChestAgentBench, um benchmark abrangente de 2.500 consultas médicas complexas, para avaliar seus recursos.

Lista de funções

• Perguntas e respostas visuais: Compreensão visual complexa e raciocínio médico usando CheXagent e LLaVA-Med.
• segmentação de imagensMIT: Identificação precisa da estrutura anatômica usando os modelos MedSAM e PSPNet.
• localizarLocalização de achados específicos em imagens médicas com o Maira-2.
• Geração de relatóriosGeração de relatórios médicos detalhados usando o SwinV2 Transformer.
• Classificação de doençasDetecção de 18 categorias de patologia usando a DenseNet-121.
• Geração de filmes de raios XUse o RoentGen para gerar CXRs sintéticos.
• Ferramentas práticasInclui processamento DICOM, ferramentas de visualização e recursos de desenho personalizados.

Usando a Ajuda

condição prévia

• Python 3.8+
• CUDA/GPU (melhor desempenho)

Etapas de instalação

1. armazém de clonesExecute o seguinte comando no terminal:

   git clone https://github.com/bowang-lab/MedRAX.git
   cd MedRAX
   

2. instaladorExecute o seguinte comando para instalar a dependência:

   pip install -e .
   

Diretrizes para uso

1. Iniciando a interface do GradioExecute o seguinte comando para iniciar a interface do Gradio:

   python main.py
   

   Se você tiver problemas com as permissões, poderá usar o seguinte comando:

   sudo -E env "PATH=$PATH" python main.py
   

2. Configuração do catálogo de modelos: emmain.pyconfigurardiretório_modeloPesquise no catálogo as ferramentas que você deseja baixar ou que já possui. Comente as ferramentas às quais você não tem acesso.
3. Configuração da chave de API: Assegure-se de que em.envpara definir sua chave de API da OpenAI.

Diretrizes para uso

1. Interface de lançamento: Executarpython main.pyInicie a interface do Gradio.
2. Carregar dadosCarregar imagens de raios X do tórax por meio da interface.
3. Seleção de funçõesSelecione a função de análise desejada na interface, por exemplo, questionário visual, segmentação de imagem, etc.
4. Exibir resultadosOs resultados da análise serão exibidos na interface, incluindo um relatório médico detalhado e anotação da imagem.

Operação detalhada da função

• Perguntas e respostas visuaisDescrição: Após carregar uma imagem de CXR e inserir uma pergunta médica relevante, o sistema usará o CheXagent e o LLaVA-Med para raciocinar e retornar a resposta.
• segmentação de imagensFunção de segmentação de imagem: Ao selecionar a função de segmentação de imagem, o sistema identificará a estrutura anatômica da imagem usando os modelos MedSAM e PSPNet e anotará os resultados na imagem.
• localizarUso da função de localização: usando a função de localização, o sistema anotará achados médicos específicos na imagem por meio do Maira-2.
• Geração de relatóriosSe você selecionar a função Report Generation (Geração de relatório), o sistema usará o SwinV2 Transformer para gerar um relatório médico detalhado, incluindo resultados de diagnóstico e recomendações.
• Classificação de doençasClassificação de doenças: Depois de carregar a imagem CXR e selecionar a função de classificação de doenças, o sistema usará o modelo DenseNet-121 para detectar as categorias patológicas na imagem e retornará os resultados da classificação.
• Geração de filmes de raios XFunção de geração de filme de raio X: Ao selecionar a função de geração de filme de raio X, o sistema usará o RoentGen para gerar imagens sintéticas de CXR para análise e pesquisa adicionais.