Ollama: нативное развертывание больших языковых моделей с открытым исходным кодом одним щелчком мыши

Оллама Общее представление

ollama - это легкий фреймворк для запуска нативных языковых моделей, позволяющий пользователям легко создавать и запускать большие языковые модели. Он предлагает несколько вариантов быстрого запуска и установки, поддерживает Docker и включает богатый набор библиотек на выбор пользователей. Он прост в использовании, предоставляет REST API и имеет множество плагинов и расширений, которые интегрируются с сообществом.

ollama - это чистый инструмент командной строки для персональных компьютеров, рекомендуемый для развертывания локальных чат-интерфейсов, таких как Open WebUI, Lobe Chat, NextChat.

Измените каталог установки по умолчанию: https://github.com/ollama/ollama/issues/2859

Список характеристик Ollama

Быстрое создание больших языковых моделей
Поддержка macOS, Windows, Linux
Предоставляет библиотеки, такие как ollama-python, ollama-js и т.д.
Включая ламу 2. МистральПредварительно сконструированная модель, Гемма и др.
Поддерживает локальные и Docker-установки
Обеспечение индивидуальной функциональности модели
Поддержка преобразования моделей из GGUF и PyTorch
Предоставьте руководство по работе с CLI
Обеспечьте поддержку REST API

Часто используемые команды ollama

Модель тяги: ollama pull llama3.1

Работающая модель: llama run llama3.1

Удалить модель: llama rm llama3.1

Список всех доступных моделей: ollama list

Адрес службы запросов API: ollama serve (по умолчанию http://localhost:11434/).

Помощь Олламы

Скрипты и руководства по установке доступны на сайте ollama и на странице GitHub.
Установка с помощью предоставленного образа Docker
Создание, извлечение, удаление и копирование моделей с помощью операций CLI
Инициализация и запуск локальной сборки
Запустите модель и взаимодействуйте с ней

Некоторые из моделей, поддерживаемых Ollama

Оллама Скачать