LM Studio: настольное приложение для локального запуска крупномасштабных моделей естественного языка

Последние ресурсы по искусственному интеллектуОбновлено 10 месяцев назад Круг обмена ИИ

15.3K 00

LM Studio Общее представление

LM Studio - это настольное приложение, предназначенное для локального запуска и управления большими языковыми моделями (LLM). Пользователи могут запускать такие модели, как Llama, Mistral, Phi и т. д., непосредственно на своих компьютерах без подключения к Интернету. Приложение поддерживает широкий спектр операционных систем, включая macOS, Windows и Linux, и предлагает богатый набор функций, таких как локальный чат документов, загрузка и управление моделями и многое другое.

В нем можно искать и загружать LLM с сайта Hugging Face, есть встроенный чат UI и среда выполнения для локального сервера, совместимая с OpenAI API.LM Studio не имеет открытого исходного кода, но использует популярную библиотеку llama.cpp. Она поддерживает множество моделей, совместимых с тензорной библиотекой ggml проекта llama.cpp, и требует 16 ГБ оперативной памяти.LM Studio удобна в использовании и доступна для Windows и Mac, а версия для Linux находится в разработке.

Список функций LM Studio

Запуск LLM локально: Поддержка запуска таких моделей, как Llama, Mistral, Phi и т. д., на локальных компьютерах для обеспечения конфиденциальности данных.
Инструменты диалога:Использование моделей через чат в приложении или локальные серверы, совместимые с OpenAI
Чат с документами: Пользователи могут взаимодействовать с локальными документами, чтобы получить нужную им информацию.
Загрузка и управление моделями: Через страницу открытия в приложении пользователи могут загружать и управлять различными файлами моделей.
Совместимость с различными операционными системамиПоддержка систем macOS (M1/M2/M3), Windows и Linux.
автономная работа: Он может использоваться без подключения к Интернету, обеспечивая безопасность данных.
Совместимые с OpenAI серверы: Предоставляет конечную точку локального сервера, аналогичную OpenAI, для упрощения интеграции.

Помощь LM Studio

Этапы установки

Скачать приложения: Посетите официальный сайт LM Studio и выберите подходящий установочный пакет для загрузки в соответствии с вашей операционной системой.
Установка приложений::
- macOS: После завершения загрузки откройте установочный пакет и следуйте подсказкам для установки.
- Windows (компьютер): После завершения загрузки запустите программу установки и следуйте подсказкам для завершения установки.
- Linux: После завершения загрузки распакуйте установочный пакет и следуйте инструкциям в документации.

Руководство пользователя LM Studio

запустить приложение: После завершения установки откройте приложение LM Studio.
Скачать модели::
- Перейдите на страницу "Discover" в приложении, просмотрите и выберите нужную модель.
- Нажмите кнопку загрузки и дождитесь окончания загрузки модели.
операционная модель::
- Выберите загруженную модель в приложении и нажмите кнопку Run.
- Пользователи могут взаимодействовать с моделью через встроенный чат-интерфейс или интегрировать ее через конечную точку локального сервера.
Чат с документами::
- Загружайте локальные документы в приложении.
- Используйте интерфейс чата, чтобы взаимодействовать с содержимым документа и получать нужную информацию.
модель управления::
- С помощью функций управления в приложении пользователи могут просматривать, обновлять или удалять загруженные модели.
- Поддерживает различные форматы моделей, такие как GGUF, MLX и др.

общие проблемы

Собирает ли LM Studio данные? Нет. LM Studio была разработана для защиты конфиденциальности пользователей, и все данные хранятся локально.
Каковы минимальные требования к оборудованию? Требуется процессор, поддерживающий набор инструкций AVX2, для macOS требуется чип M1/M2/M3, а для Windows и Linux - архитектура x64/ARM64.
Поддерживает ли она коммерческое использование? Бесплатно для личного использования, для коммерческого использования, пожалуйста, свяжитесь с официальным представителем для получения лицензии.