llamafile: Распространение и запуск LLM с помощью одного файла, упрощение развертывания LLM, кросс-платформенная поддержка LLM

Общее введение

llamafile - это инструмент из проекта Mozilla Builders, предназначенный для упрощения развертывания и работы с Большой языковой моделью (LLM). Объединяя llama.cpp В сочетании с Cosmopolitan Libc, llamafile упрощает сложный процесс развертывания LLM в один исполняемый файл, который поддерживает локальный запуск на широком спектре операционных систем без необходимости установки. Инструмент не только поддерживает текстовые диалоги, но и обрабатывает изображения для обеспечения конфиденциальности данных.

Список функций

• Работа с одним файлом: Упаковывает модель LLM и среду выполнения в один исполняемый файл.
• Кросс-платформенная совместимостьПоддерживаются Windows, macOS, Linux, FreeBSD, OpenBSD и NetBSD.
• локальная операцияДля обеспечения конфиденциальности и безопасности не требуется подключение к Интернету, а вся обработка данных осуществляется локально.
• мультимодальная поддержка: Поддерживает ввод текста и изображений, обеспечивая богатые интерактивные возможности.
• Совместимость с API OpenAI: Предоставляет интерфейс, совместимый с OpenAI API, для легкой интеграции с существующими приложениями.
• высокая производительность: Оптимизированное ядро умножения матриц для более быстрой работы на CPU и GPU.
• проект с открытым исходным кодом: Открытый исходный код, активное участие сообщества, постоянные обновления и оптимизация.

Использование помощи

Установка и эксплуатация

1. Скачать llamafile: Доступ Страница на GitHub Загрузите последнюю версию llamafile.
2. Делегирование исполнительных полномочий(для пользователей macOS, Linux, BSD):

   chmod +x path/to/llamafile
   

3. Запустите llamafile::
   • Для пользователей macOS, Linux, BSD:

     ./path/to/llamafile
     

   • Для пользователей Windows: переименуйте файл в .exe суффикс и запустите:

     .\path\to\llamafile.exe
     

Функциональное управление

1. Запуск веб-интерфейса: После запуска llamafile браузер автоматически откроет экран чата (если этого не произошло, зайдите в него вручную). http://127.0.0.1:8080/).
2. Использование интерфейса API OpenAI: llamafile предоставляет интерфейс, совместимый с OpenAI API, и поддерживает общие случаи использования API. Его можно вызвать с помощью следующих команд:

   curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
   "model": "LLaMA_CPP",
   "messages": [{"role": "user", "content": "Hello, world!"}]
   }'
   

3. ввод изображения: Загружайте изображения и задавайте о них вопросы, например:

   curl -X POST http://localhost:8080/v1/images -F "image=@path/to/image.jpg" -F "prompt=Describe this image"
   

4. режим командной строки: llamafile также поддерживает режим командной строки для выполнения скриптовых операций:

   ./path/to/llamafile --cli -p "Your prompt here"
   

общие проблемы

• Вопросы компетенции: Если у вас возникли проблемы с правами доступа, убедитесь, что файл имеет права на выполнение (используя chmod +x команда).
• Ограничение на размер файла: Пользователи Windows должны помнить, что размер одного исполняемого файла не может превышать 4 ГБ, и для решения этой проблемы можно использовать внешние файлы-весы.
• проблема зависимости: пользователям macOS необходимо установить Xcode Команда Line Tools, пользователям Linux может потребоваться установить CUDA SDK или ROCm SDK для поддержки ускорения GPU.