ModelScope Swift：高效微调和部署大模型的轻量级基础设施。

综合介绍

ModelScope Swift（简称MS-Swift）是一个高效的轻量级基础设施，专为大模型（LLM）和多模态大模型（MLLM）的微调、推理、评估和部署而设计。该框架支持超过400种LLM和100多种MLLM，提供了从模型训练、评估到应用的完整工作流程。MS-Swift不仅支持PEFT（参数高效微调）技术，还提供了丰富的适配器库，支持最新的训练技术，如NEFTune、LoRA+、LLaMA-PRO等。对于不熟悉深度学习的用户，MS-Swift还提供了基于Gradio的Web界面，便于控制训练和推理。

功能列表

• 支持350+ LLM和100+ MLLM的训练、推理、评估和部署
• 提供PEFT、LoRA+、LLaMA-PRO等最新训练技术的适配器库
• 基于Gradio的Web界面，便于控制训练和推理
• 支持多GPU训练和部署
• 提供详细的文档和深度学习课程
• 支持多种硬件环境，包括CPU、RTX系列显卡、A10/A100等计算卡
• 支持多种训练方法，如全参数微调、LoRA微调、量化训练等
• 提供多种数据集和模型的支持，适用于不同的训练任务

使用帮助

安装流程

MS-Swift可以通过以下三种方法安装：

1. 使用pip命令安装：

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U
   

2. 通过源代码安装：

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'
   

3. 使用Docker镜像安装。

使用Web界面

MS-Swift提供了基于Gradio的Web界面，用户可以通过以下命令启动：

SWIFT_UI_LANG=en swift web-ui

Web界面支持多GPU训练和部署，用户可以轻松控制训练和推理过程。

训练和推理

MS-Swift支持多种训练和推理方法，以下是一些示例命令：

• 单GPU训练：

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• 多GPU训练：

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output
  

• 推理：

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat
  

详细文档

MS-Swift提供了丰富的文档和深度学习课程，用户可以访问以下链接获取更多信息：

• 英文文档
• 中文文档

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样，是每个人的必备技能。 掌握AI会让你在求职中占据优势，在未来的工作和学习中事半功倍。

查看详情>