HealthGPT: Большая медицинская модель для поддержки анализа медицинских изображений и диагностических вопросов и ответов

Общее введение

HealthGPT - это современная модель визуального языка медицинских изображений, направленная на достижение единых возможностей визуального понимания и генерации медицинских изображений путем адаптации разнородных знаний. Целью проекта является интеграция возможностей медицинского визуального понимания и генерации в единую авторегрессионную структуру, что значительно повышает эффективность и точность обработки медицинских изображений. HealthGPT поддерживает широкий спектр задач медицинского понимания и генерации, и может хорошо работать в различных сценариях обработки медицинских изображений. Проект разработан совместно Чжэцзянским университетом, Университетом электронной науки и технологии, компанией Alibaba, Гонконгским университетом науки и технологии, Национальным университетом Сингапура и многими другими организациями и имеет большое исследовательское и практическое значение.

Список функций

• Медицинские визуальные вопросы и ответы: поддержка широкого спектра медицинских изображений для задач вопросов и ответов, точные ответы на медицинские вопросы, заданные пользователями.
• Генерация медицинских изображений: способна генерировать высококачественные медицинские изображения, помогающие в медицинской диагностике и исследованиях.
• Поддержка классификации задач: поддерживает 7 типов задач медицинского понимания и 5 типов задач медицинского генерирования, охватывая широкий спектр сценариев применения в медицине.
• Архитектура модели: текстовый и визуальный контент генерируется с помощью иерархического визуального восприятия и плагинов H-LoRA, выбора визуальных признаков и плагинов H-LoRA.
• Многоверсионная модель: конфигурации HealthGPT-M3 и HealthGPT-L14 предназначены для адаптации к различным потребностям и ресурсам соответственно.

Использование помощи

Процесс установки

1. Подготовка среды
   Сначала клонируйте проект и создайте среду выполнения Python:

   git clone https://github.com/DCDmllm/HealthGPT.git
   cd HealthGPT
   conda create -n HealthGPT python=3.10
   conda activate HealthGPT
   pip install -r requirements.txt

2. Подготовьте предтренировочные веса
   ЗдоровьеИспользование ГПТclip-vit-large-patch14-336В качестве визуальных кодировщиков HealthGPT-M3 и HealthGPT-L14 основаны, соответственно, наPhi-3-mini-4k-instructответить пениемphi-4Предварительная подготовка.
   Загрузите необходимые веса моделей и поместите их в соответствующую директорию:
   • ViT Моделирование:ссылка для скачивания
   • Базовая модель HealthGPT-M3:ссылка для скачивания
   • Базовая модель HealthGPT-L14:ссылка для скачивания
   • Модель VQGAN:ссылка для скачивания
3. Подготовка грузиков H-LoRA и адаптера
   Загрузите и разместите весовые коэффициенты H-LoRA, чтобы улучшить визуальное понимание и возможности генерации модели в медицине. Полная версия весов будет выпущена в ближайшее время, так что следите за новостями.

вывод

Вопросы и ответы по медицинскому зрению

1. Загрузите необходимые документы
2. Обновление пути сценария
   показать (билет)llava/demo/com_infer.shизмените следующую переменную на путь к загруженному файлу:
   • MODEL_NAME_OR_PATH: путь или идентификатор базовой модели
   • VIT_PATH: весовой путь модели визуального трансформатора
   • HLORA_PATH: визуальное понимание весовых траекторий H-LoRA
   • FUSION_LAYER_PATH: Путь весов слоя синтеза
3. Выполнение сценариев

   cd llava/demo
   bash com_infer.sh
   

   Также можно напрямую запускать команды Python:

   python3 com_infer.py \
   --model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
   --dtype "FP16" \
   --hlora_r "64" \
   --hlora_alpha "128" \
   --hlora_nums "4" \
   --vq_idx_nums "8192" \
   --instruct_template "phi3_instruct" \
   --vit_path "openai/clip-vit-large-patch14-336/" \
   --hlora_path "path/to/your/local/com_hlora_weights.bin" \
   --fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
   --question "Your question" \
   --img_path "path/to/image.jpg"
   

Восстановление изображения

главнокомандующий (военный)HLORA_PATHустановленный наgen_hlora_weights.binпуть к файлу и настроить другие пути к модели:

cd llava/demo
bash gen_infer.sh

Вы также можете выполнить следующую команду Python напрямую:

python3 gen_infer.py \
--model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
--dtype "FP16" \
--hlora_r "256" \
--hlora_alpha "512" \
--hlora_nums "4" \
--vq_idx_nums "8192" \
--instruct_template "phi3_instruct" \
--vit_path "openai/clip-vit-large-patch14-336/" \
--hlora_path "path/to/your/local/gen_hlora_weights.bin" \
--fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
--question "Reconstruct the image." \
--img_path "path/to/image.jpg" \
--save_path "path/to/save.jpg"