ModelScope Swift: 대규모 모델을 효율적으로 미세 조정하고 배포할 수 있는 경량 인프라.

일반 소개

모델스코프 스위프트(줄여서 MS-Swift)는 대규모 LLM(LLM) 및 다중모달 대규모 모델(MLLM)의 미세 조정, 추론, 평가 및 배포를 위해 설계된 효율적인 경량 인프라입니다. 이 프레임워크는 모델 훈련, 평가, 적용에 이르는 완벽한 워크플로우를 제공하는 400개 이상의 LLM과 100개 이상의 MLLM을 지원하며, MS-Swift는 PEFT(파라미터 효율 미세 조정) 기술을 지원할 뿐만 아니라 NEFTune, LoRA+, LLaMA-PRO 등 최신 훈련 기술을 지원하는 풍부한 어댑터 라이브러리도 제공합니다. 딥 러닝에 익숙하지 않은 사용자를 위해 MS-Swift는 트레이닝과 추론을 쉽게 제어할 수 있는 Gradio 기반 웹 인터페이스도 제공합니다.

기능 목록

• 350개 이상의 LLM과 100개 이상의 MLLM의 교육, 추론, 평가 및 배포 지원
• PEFT, LoRA+, LLaMA-PRO 등과 같은 최신 교육 기술을 위한 어댑터 라이브러리를 제공합니다!
• 훈련 및 추론을 쉽게 제어할 수 있는 라디오 기반 웹 인터페이스
• 멀티 GPU 교육 및 배포 지원
• 자세한 문서 및 딥러닝 과정 제공
• CPU, RTX 시리즈 그래픽 카드, A10/A100 및 기타 컴퓨팅 카드 등 다양한 하드웨어 환경을 지원합니다.
• 전체 파라미터 미세 조정, LoRA 미세 조정, 정량적 훈련 등 다양한 훈련 방법을 지원합니다.
• 다양한 훈련 작업을 위한 여러 데이터 세트 및 모델 지원 제공

도움말 사용

설치 프로세스

MS-Swift는 다음 세 가지 방법으로 설치할 수 있습니다:

1. pip 명령을 사용하여 설치합니다:

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U
   

2. 소스 코드를 통한 설치:

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'
   

3. Docker 이미지를 사용하여 설치합니다.

웹 인터페이스 사용

MS-Swift는 사용자가 다음 명령으로 실행할 수 있는 Gradio 기반 웹 인터페이스를 제공합니다:

SWIFT_UI_LANG=en swift web-ui

웹 인터페이스는 멀티 GPU 훈련 및 배포를 지원하며, 사용자는 훈련 및 추론 프로세스를 쉽게 제어할 수 있습니다.

교육 및 추론

MS-Swift는 다양한 학습 및 추론 방법을 지원하며, 다음은 몇 가지 샘플 명령어입니다:

• 단일 GPU 트레이닝:

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• 멀티 GPU 교육:

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output
  

• 추론:

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat
  

상세 문서

MS-Swift는 광범위한 문서와 딥 러닝 과정을 제공하며, 사용자는 다음 링크를 방문하여 자세한 정보를 확인할 수 있습니다:

• 영어 문서
• 중국어 문서