GLM Edge: Smart Spectrum выпускает конечные модели большого языка и мультимодальные модели понимания для мобильных, автомобильных и персональных платформ

Общее введение

GLM-Edge - это серия больших языковых моделей и моделей мультимодального понимания, разработанных для конечных устройств Университетом Цинхуа (Smart Spectrum Light Language). Эти модели включают GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B и GLM-Edge-V-5B для платформ мобильных телефонов, автомобилей и ПК соответственно. Модели серии GLM-Edge ориентированы на простоту практического применения и скорость выводов при сохранении высокой производительности, и превосходят платформы Qualcomm Snapdragon и Intel в частности. Модели серии GLM-Edge ориентированы на простоту практического развертывания и скорость выводов при сохранении высокой производительности, особенно на платформах Qualcomm Snapdragon и Intel. Пользователи могут загружать и использовать эти модели через Huggingface, ModelScope и т. д., а также выполнять вывод модели через различные бэкенды вывода (например, трансформаторы, OpenVINO, vLLM).

Текстовая модель GLM Edge end-side

Визуальная модель GLM Edge end-side

Список функций

• Несколько вариантов моделей: Предоставляет модели диалога и мультимодальные модели понимания с различными параметрическими шкалами для широкого спектра конечных устройств.
• Эффективное рассуждение: Достижение высокой скорости вычислений на платформах Qualcomm Snapdragon и Intel с поддержкой гибридных схем квантования.
• Поддержка нескольких платформМодели доступны для загрузки на Huggingface, ModelScope и других платформах и поддерживают широкий спектр бэкендов для вывода.
• Простота развертывания: Предоставляем подробное руководство по установке и использованию, чтобы пользователи могли быстро приступить к работе.
• Поддержка тонкой настройки: Предоставьте учебники по тонкой настройке и файлы конфигурации для поддержки пользователей в тонкой настройке их моделей в соответствии с их конкретными потребностями.

Использование помощи

Установка зависимостей

Убедитесь, что у вас есть Python версии 3.10 или выше. Установите зависимости следующим образом:

pip install -r requirements.txt

моделируемое рассуждение

Мы предоставляем vLLM, OpenVINO и трансформаторы для бэкграундных выводов, и вы можете запустить модели, выполнив следующие команды:

python cli_demo.py --backend transformers --model_path THUDM/glm-edge-1.5b-chat --precision bfloat16
python cli_demo.py --backend vllm --model_path THUDM/glm-edge-1.5b-chat --precision bfloat16
python cli_demo.py --backend ov --model_path THUDM/glm-edge-1.5b-chat-ov --precision int4

Примечание: Модель версии OpenVINO должна быть преобразована, перейдите на соответствующую страницу, чтобы запустить код преобразования:

python convert_chat.py --model_path THUDM/glm-edge-1.5b-chat --precision int4
python convert.py --model_path THUDM/glm-edge-v-2b --precision int4

Тонкая настройка модели

Мы предоставляем код для тонкой настройки модели, пожалуйста, обратитесь к руководству по тонкой настройке. Ниже перечислены основные шаги по тонкой настройке:

1. Подготовьте набор данных и настройте параметры обучения.
2. Запустите скрипт тонкой настройки:

OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=8 finetune.py data/AdvertiseGen/ THUDM/glm-edge-4b-chat configs/lora.yaml

3. Если вам нужно продолжить тонкую настройку из точки сохранения, вы можете добавить четвертый параметр:

python finetune.py data/AdvertiseGen/ THUDM/glm-edge-4b-chat configs/lora.yaml yes

Запуск WebUI с помощью Gradio

Вы также можете использовать Gradio для запуска WebUI:

python cli_demo.py --backend transformers --model_path THUDM/glm-edge-1.5b-chat --precision bfloat16

Работа с API OpenAI

import openai
client = openai.Client(api_key="your_api_key", base_url="http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1")
output = client.chat.completions.create(
model="glm-edge-v",
messages=[
{"role": "user", "content": "describe this image"},
{"role": "image_url", "image_url": {"url": "img.png"}}
],
max_tokens=512,
temperature=0.7
)
print(output)