Ollama : Déploiement natif en un clic de grands modèles linguistiques Open Source

Ollama Introduction générale

ollama est un framework léger pour l'exécution de modèles de langage natifs, permettant aux utilisateurs de construire et d'exécuter facilement de grands modèles de langage. Il offre de multiples options de démarrage et d'installation rapides, prend en charge Docker et inclut un riche ensemble de bibliothèques parmi lesquelles les utilisateurs peuvent choisir. Il est facile à utiliser, fournit une API REST et dispose d'une variété de plugins et d'extensions qui s'intègrent à la communauté.

ollama est un outil en ligne de commande pure pour les ordinateurs personnels, recommandé pour déployer des interfaces de chat locales, telles que : Open WebUI, Lobe Chat, NextChat.

Ollama:本地一键部署开源大语言模型

Modifier le répertoire d'installation par défaut : https://github.com/ollama/ollama/issues/2859

 

Ollama:本地一键部署开源大语言模型

 

 

Liste des caractéristiques d'Ollama

Mettre en place et faire fonctionner rapidement de grands modèles linguistiques
Prise en charge des systèmes macOS, Windows et Linux
Fournit des bibliothèques telles que ollama-python, ollama-js, etc.
Y compris le lama 2. MistralGemma et al. Modèle préconstruit
Prise en charge des installations locales et Docker
Fournir des fonctionnalités de modèle personnalisées
Prise en charge de la conversion de modèles à partir de GGUF et PyTorch
Fournir un guide d'utilisation du CLI
Assurer la prise en charge de l'API REST

 

Commandes ollama couramment utilisées

Modèle de tirage : ollama pull llama3.1

Modèle en cours d'exécution : llama run llama3.1

Supprimer le modèle : llama rm llama3.1

Liste de tous les modèles disponibles : liste ollama

Demander l'adresse du service API : ollama serve (par défaut http://localhost:11434/)

 

 

Aide Ollama

Les scripts d'installation et les guides sont disponibles sur le site web d'ollama et sur la page GitHub.
Installation à l'aide de l'image Docker fournie
Création, extraction, suppression et copie de modèles via des opérations CLI
Initialisation et exécution d'une compilation locale
Exécuter le modèle et interagir avec lui

 

 

Quelques-uns des modèles pris en charge par Ollama

 

ModèleParamètresTailleTélécharger
Lama 27B3,8 GOollama run llama2
Mistral7B4.1GBollama run mistral
Dolphin Phi2.7B1.6GBollama run dolphin-phi
Phi-22.7B1.7GBollama run phi
Chat neuronal7B4.1GBollama run neural-chat
Étourneau7B4.1GBollama run starling-lm
Code Llama7B3,8 GOollama run codellama
Llama 2 Uncensored7B3,8 GOollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
Vicuna7B3,8 GOollama run vicuna
LLaVA7B4.5GBollama run llava
Gemma2B1.4GBollama run gemma:2b
Gemma7B4,8 GOollama run gemma:7b

 

 

Ollama Télécharger

© déclaration de droits d'auteur
AiPPT

Articles connexes

Pas de commentaires

Vous devez être connecté pour participer aux commentaires !
S'inscrire maintenant
aucun
Pas de commentaires...