Skywork-R1V：昆仑万文开源的图文混合多模态推理模型

综合介绍

Skywork-R1V 是由 SkyworkAI（昆仑万维） 团队开发的一款开源多模态推理模型，发布于 GitHub。它能同时处理图像和文字，进行多步骤逻辑推理，特别擅长分析复杂图像问题。这款模型在2025年3月18日正式推出，参数规模达38亿。它支持视觉思维链（Chain-of-Thought），可以逐步分解图像内容，帮助用户解决数学、科学等领域的问题。Skywork-R1V 的目标是推动AI技术发展，让更多人免费使用强大的推理工具。它不仅功能强大，还提供详细文档和代码，方便开发者使用和改进。

功能列表

• 视觉思维链推理：能逐步分析图像内容，分解复杂问题，提供清晰解答。
• 数学问题求解：识别图像中的数学题目并给出高精度答案。
• 科学图像解读：分析医学或科学图片，提取关键信息。
• 跨模态理解：结合文字和图像，提供更全面的推理结果。
• 开源支持：提供完整代码和模型，允许用户自由修改和部署。

使用帮助

Skywork-R1V 是一个开源项目，用户需要通过 GitHub 下载并在本地配置环境才能使用。以下是详细的操作指南，帮助你快速上手。

安装流程

1. 准备环境
   • 确保你的电脑已安装 Python 3.8 或以上版本。可以用命令 python --version 检查。
   • 需要安装 Git，用于下载代码。Windows 用户可在官网下载，Linux 或 Mac 用户可通过终端输入 sudo apt install git 或 brew install git 安装。
   • 推荐使用 GPU 环境（如 NVIDIA 显卡）以提升性能，需安装 CUDA 和 cuDNN。
2. 下载代码
   • 打开终端或命令行，输入以下命令克隆仓库：

     git clone https://github.com/SkyworkAI/Skywork-R1V.git
     

   • 进入项目文件夹：

     cd Skywork-R1V
     

3. 安装依赖
   • 项目提供了一个依赖文件 <requirements.txt>。运行以下命令安装所需库：

     pip install -r requirements.txt
     

   • 如果需要加速推理，安装 Flash Attention：

     pip install flash-attn --no-build-isolation
     

4. 下载模型
   • Skywork-R1V 的模型文件托管在 Hugging Face 上。访问 https://huggingface.co/Skywork/Skywork-R1V-38B，手动下载模型文件，或用以下命令：

     huggingface-cli download Skywork/Skywork-R1V-38B --local-dir ./model
     

   • 将下载的模型文件放入项目目录下的 model 文件夹。
5. 配置运行环境
   • 如果有多个 GPU，设置可见设备。例如使用两块 GPU：

     export CUDA_VISIBLE_DEVICES="0,1"
     

如何使用主要功能

Skywork-R1V 的核心功能是通过图像和文字进行推理。以下是操作步骤。

功能1：视觉思维链推理

• 准备输入：将需要分析的图片（如数学题目或科学图表）保存到本地，例如 image1.jpg。
• 编写问题：在代码中指定问题。例如，想问“图片中的数学题答案是什么？”。
• 运行推理：编辑 <inference_with_transformers.py> 文件，填入图片路径和问题：

  image_paths = ["image1.jpg"]
  question = "图片中的数学题答案是什么？"

• 执行命令：在终端运行：

  python inference_with_transformers.py --model_path ./model --image_paths image1.jpg --question "图片中的数学题答案是什么？"
  

• 查看结果：程序会输出逐步推理过程和最终答案。

功能2：数学问题求解

• 输入图像：上传包含数学公式的图片，例如手写或印刷的题目。
• 运行代码：与视觉思维链类似，设置问题为“求解图片中的数学问题”，然后运行：

  python inference_with_transformers.py --model_path ./model --image_paths math_image.jpg --question "求解图片中的数学问题"
  

• 结果展示：模型会识别公式，逐步计算，最后给出答案。

功能3：科学图像解读

• 上传图片：准备医学影像或科学图表，比如 X 光片或细胞显微镜图像。
• 提问：输入具体问题，如“图片中的细胞结构是什么？”。
• 运行程序：

  python inference_with_transformers.py --model_path ./model --image_paths science_image.jpg --question "图片中的细胞结构是什么？"
  

• 输出分析：模型会提取图像特征，结合问题给出详细解释。

操作注意事项

• 图片格式：支持常见格式如 JPG、PNG，建议图片清晰度高。
• 硬件需求：无 GPU 的电脑也能运行，但速度较慢。推荐至少 16GB 内存。
• 调试问题：如果遇到错误，检查 <requirements.txt> 是否完整安装，或者查看 GitHub 上的 Issues 页面寻求帮助。

通过以上步骤，你可以轻松使用 Skywork-R1V 处理图像和文字任务。更多高级用法，可以参考官方文档 <Skywork_R1V.pdf>。

应用场景

1. 教育辅助
   学生可以用 Skywork-R1V 分析数学作业中的图片题目，快速得到解答和解题步骤，帮助理解知识点。
2. 科学研究
   研究人员可以上传实验图片，让模型解读数据或图像内容，节省分析时间。
3. 医疗支持
   医生可输入 X 光片或显微镜图像，获取初步诊断建议，提高工作效率。

QA

1. Skywork-R1V 支持哪些语言？
   目前主要支持中文和英文，文字输入和输出都可以是这两种语言。
2. 需要付费吗？
   不需要。Skywork-R1V 是完全开源的，代码和模型都免费提供。
3. 没有 GPU 能用吗？
   可以，但推理速度会慢很多。建议用 CPU 时减少图片分辨率。