Ollama: Native Ein-Klick-Bereitstellung von Open Source Big Language-Modellen

Ollama Allgemeine Einführung

ollama ist ein leichtgewichtiges Framework für die Ausführung von nativen Sprachmodellen, mit dem Benutzer problemlos große Sprachmodelle erstellen und ausführen können. Es bietet mehrere Schnellstart- und Installationsoptionen, unterstützt Docker und enthält eine Vielzahl von Bibliotheken, aus denen die Benutzer auswählen können. Es ist einfach zu bedienen, bietet eine REST-API und verfügt über eine Vielzahl von Plugins und Erweiterungen, die sich in die Community integrieren lassen.

ollama ist ein reines Befehlszeilentool für PCs, das für die Bereitstellung lokaler Chat-Schnittstellen empfohlen wird, wie z. B. Open WebUI, Lobe Chat, NextChat.

Ändern Sie das Standard-Installationsverzeichnis: https://github.com/ollama/ollama/issues/2859

Ollama Funktionsliste

Große Sprachmodelle schnell zum Laufen bringen
Unterstützt macOS, Windows, Linux System
Stellt Bibliotheken wie ollama-python, ollama-js, etc. zur Verfügung.
Einschließlich Llama 2. MistralGemma et al. Vorkonstruiertes Modell
Unterstützt sowohl lokale als auch Docker-Installationen
Bereitstellung maßgeschneiderter Modellfunktionen
Unterstützung für die Konvertierung von Modellen aus GGUF und PyTorch
Bereitstellung einer CLI-Bedienungsanleitung
REST-API-Unterstützung bereitstellen

Häufig verwendete ollama-Befehle

Pull-Modell: ollama pull llama3.1

Laufendes Modell: llama run llama3.1

Modell löschen: llama rm llama3.1

Liste aller verfügbaren Modelle: ollama list

Abfrage der API-Dienstadresse: ollama serve (Standard http://localhost:11434/)

Ollama Hilfe

Installationsskripte und Anleitungen sind über die ollama-Website und die GitHub-Seite verfügbar
Installation mit dem mitgelieferten Docker-Image
Erstellen, Ziehen, Entfernen und Kopieren von Modellen über CLI-Operationen
Initialisierung und Ausführung eines lokalen Builds
Das Modell ausführen und mit ihm interagieren

Einige der von Ollama unterstützten Modelle

Ollama herunterladen