Moondream : un modèle de langage visuel léger et open source pour la rétropropagation par lots de mots repères d'images

Introduction générale

Moondream 是一个开源的轻量级视觉语言模型，旨在通过深度学习和计算机视觉技术实现图像描述功能。该模型能够在各种平台上高效运行，特别适用于边缘设备。Moondream 采用先进的技术和训练数据集，能够精准捕捉并解析图像中的关键细节与场景信息，并将这些视觉元素转化成连贯的语言描述。

Moondream 是一个高效的开源视觉语言模型，结合了强大的图像理解能力和极小的模型体积。该项目由 Vikhyat 开发，旨在提供一个多功能且易于访问的解决方案，能够在各种设备和平台上运行。Moondream 提供了两个模型变体：Moondream 2B 和 Moondream 0.5B，分别适用于通用图像理解任务和资源受限的硬件设备。无论是图像描述、视觉问答还是物体检测，Moondream 都能以其卓越的性能和灵活的部署方式满足用户的需求。

Moondream：4GB VRAM运行视觉语言模型，性能接近QWen2-VL 2B

在线体验：https://moondream.ai/playground

Liste des fonctions

• 图像描述：自动生成图像的文字描述，适用于多种应用场景。
• 边缘设备支持：设计为在资源有限的边缘设备上高效运行。
• source ouverte：提供完整的开源代码库，便于开发者进行二次开发和定制。
• Prise en charge multilingue：支持多种语言的图像描述生成。
• 实时推理：通过 Gradio 接口实现实时图像描述推理。
• fichier de lot：支持批量图像描述生成，提高处理效率。

Utiliser l'aide

Processus d'installation

1. Clonage de la base de code: :

   git clone https://github.com/vikhyat/moondream.git
cd moondream

2. Installation des dépendances: :

   pip install -r requirements.txt

3. Exécuter l'exemple de script: :

   python sample.py --image <IMAGE_PATH> --prompt <PROMPT>

使用 Gradio 接口

1. 启动 Gradio 接口: :

   python gradio_demo.py

2. 使用实时推理: :

   python webcam_gradio_demo.py

Principales fonctions

1. Génération de descriptions d'images: :
   • utiliser sample.py 脚本，提供图像路径和描述提示，生成图像描述。
   • Exemple de commande :

    python sample.py --image example.jpg --prompt "Describe this image."
   

2. fichier de lot: :
   • utiliser batch_generate_example.py 脚本，提供多个图像路径和描述提示，批量生成图像描述。
   • Exemple de commande :

    python batch_generate_example.py --images image1.jpg image2.jpg --prompts "Describe image 1." "Describe image 2."
   

3. 实时推理: :
   • activer (un plan) webcam_gradio_demo.py 脚本，使用摄像头实时捕捉图像并生成描述。
   • Exemple de commande : bash
python webcam_gradio_demo.py


Étapes détaillées

1. Installation des dépendances: :
   • 确保已安装 Python 3.8 及以上版本。
   • utiliser pip Installer les dépendances nécessaires :

    pip install transformers einops
   

2. Modèles de chargement: :
   • utiliser transformers 库加载预训练模型和分词器：

    from transformers import AutoModelForCausalLM, AutoTokenizer
   from PIL import Image
   model_id = "vikhyatk/moondream2"
   model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
   tokenizer = AutoTokenizer.from_pretrained(model_id)
   image = Image.open('<IMAGE_PATH>')
   enc_image = model.encode_image(image)
   print(model.answer_question(enc_image, "Describe this image.", tokenizer))
   

3. 实时推理设置: :
   • 启动 Gradio 接口，使用摄像头进行实时图像描述： bash
python webcam_gradio_demo.py


Moondream 本地一键安装包

夸克下载

迅雷下载