ModelScope Swift: легковесная инфраструктура для эффективной тонкой настройки и развертывания больших моделей.

Общее введение

ModelScope Swift (сокращенно MS-Swift) - это эффективная облегченная инфраструктура, предназначенная для тонкой настройки, обоснования, оценки и развертывания больших LLM (LLM) и мультимодальных больших моделей (MLLM). Фреймворк поддерживает более 400 LLM и более 100 MLLM, обеспечивая полный рабочий процесс от обучения модели, ее оценки до применения. MS-Swift не только поддерживает технологию PEFT (Parameter Efficient Fine-Tuning), но и предоставляет богатую библиотеку адаптеров для поддержки новейших методов обучения, таких как NEFTune, LoRA+ и LLaMA-PRO. Для пользователей, не знакомых с глубоким обучением, MS-Swift также предоставляет веб-интерфейс на базе Gradio для легкого управления обучением и выводами.

Список функций

• Поддержка в обучении, разработке выводов, оценке и развертывании 350+ LLM и 100+ MLLM
• Предоставляет библиотеки адаптеров для новейших технологий обучения, таких как PEFT, LoRA+, LLaMA-PRO и других!
• Веб-интерфейс на базе Gradio для удобного управления обучением и выводами
• Поддержка обучения и развертывания с использованием нескольких графических процессоров
• Предоставляет подробную документацию и курсы глубокого обучения
• Поддерживает широкий спектр аппаратных сред, включая процессоры, видеокарты серии RTX, A10/A100 и другие вычислительные карты.
• Поддерживает различные методы обучения, такие как точная настройка полного параметра, точная настройка LoRA, количественное обучение и т.д.
• Обеспечьте поддержку нескольких наборов данных и моделей для различных задач обучения

Использование помощи

Процесс установки

MS-Swift можно установить следующими тремя способами:

1. Для установки используйте команду pip:

   # 安装所有功能
   pip install 'ms-swift[all]' -U
   # 仅安装LLM相关功能
   pip install 'ms-swift[llm]' -U
   # 仅安装AIGC相关功能
   pip install 'ms-swift[aigc]' -U
   # 仅安装适配器相关功能
   pip install ms-swift -U
   

2. Установка через исходный код:

   git clone https://github.com/modelscope/swift.git
   cd swift
   pip install -e '.[llm]'
   

3. Установите с помощью образа Docker.

Использование веб-интерфейса

MS-Swift предоставляет веб-интерфейс на базе Gradio, который пользователи могут запустить следующей командой:

SWIFT_UI_LANG=en swift web-ui

Веб-интерфейс поддерживает обучение и развертывание на нескольких GPU, и пользователи могут легко управлять процессом обучения и вывода.

Обучение и рассуждения

MS-Swift поддерживает различные методы обучения и вывода, вот некоторые примеры команд:

• Обучение на одном GPU:

  CUDA_VISIBLE_DEVICES=0 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output --eval_steps 200
  

• Обучение с использованием нескольких графических процессоров:

  NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft --model_type qwen1half-7b-chat --dataset blossom-math-zh --num_train_epochs 5 --sft_type lora --output_dir output
  

• Рассуждения:

  CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-7b-chat
  

Подробная документация

MS-Swift предоставляет обширную документацию и курсы по глубокому обучению, и пользователи могут посетить следующие ссылки для получения дополнительной информации:

• Английский документ
• Китайский документ