Moondream: 이미지 단서 단어의 일괄 역전파를 위한 오픈 소스 경량 시각 언어 모델

1.9K 00

일반 소개

Moondream 是一个开源的轻量级视觉语言模型，旨在通过深度学习和计算机视觉技术实现图像描述功能。该模型能够在各种平台上高效运行，特别适用于边缘设备。Moondream 采用先进的技术和训练数据集，能够精准捕捉并解析图像中的关键细节与场景信息，并将这些视觉元素转化成连贯的语言描述。

Moondream 是一个高效的开源视觉语言模型，结合了强大的图像理解能力和极小的模型体积。该项目由 Vikhyat 开发，旨在提供一个多功能且易于访问的解决方案，能够在各种设备和平台上运行。Moondream 提供了两个模型变体：Moondream 2B 和 Moondream 0.5B，分别适用于通用图像理解任务和资源受限的硬件设备。无论是图像描述、视觉问答还是物体检测，Moondream 都能以其卓越的性能和灵活的部署方式满足用户的需求。

Moondream：4GB VRAM运行视觉语言模型，性能接近QWen2-VL 2B

在线体验：https://moondream.ai/playground

기능 목록

이미지 설명：自动生成图像的文字描述，适用于多种应用场景。
边缘设备支持：设计为在资源有限的边缘设备上高效运行。
오픈 소스：提供完整的开源代码库，便于开发者进行二次开发和定制。
다국어 지원：支持多种语言的图像描述生成。
온라인 추론：通过 Gradio 接口实现实时图像描述推理。
배치 파일：支持批量图像描述生成，提高处理效率。

도움말 사용

설치 프로세스

코드 베이스 복제::

   git clone https://github.com/vikhyat/moondream.git
cd moondream

종속성 설치::

   pip install -r requirements.txt

运行示例脚本::

   python sample.py --image <IMAGE_PATH> --prompt <PROMPT>

라디오 인터페이스 사용

启动 Gradio 接口::

   python gradio_demo.py

使用实时推理::

   python webcam_gradio_demo.py

주요 기능

이미지 설명 생성::
- 활용 sample.py 脚本，提供图像路径和描述提示，生成图像描述。
- 示例命令：
```
 python sample.py --image example.jpg --prompt "Describe this image."
```
배치 파일::
- 활용 batch_generate_example.py 脚本，提供多个图像路径和描述提示，批量生成图像描述。
- 示例命令：
```
 python batch_generate_example.py --images image1.jpg image2.jpg --prompts "Describe image 1." "Describe image 2."
```
온라인 추론::
- 활성화(플랜) webcam_gradio_demo.py 脚本，使用摄像头实时捕捉图像并生成描述。
- 示例命令： bash python webcam_gradio_demo.py

세부 단계

종속성 설치::
- 确保已安装 Python 3.8 及以上版本。
- 활용 pip 필요한 종속성을 설치합니다:
```
 pip install transformers einops
```

모델 로드::

활용 transformers 库加载预训练模型和分词器：

 from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image
model_id = "vikhyatk/moondream2"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
image = Image.open('<IMAGE_PATH>')
enc_image = model.encode_image(image)
print(model.answer_question(enc_image, "Describe this image.", tokenizer))