Ollama Installation und Konfiguration - Docker-Artikel

kurz

In diesem Abschnitt erfahren Sie, wie Sie die Docker Ollama Die Installation und Konfiguration des

Docker ist eine virtualisierte Containertechnologie, die auf Images basiert und verschiedene Container in Sekundenschnelle starten kann. Jeder dieser Container ist eine vollständige Laufzeitumgebung, die eine Isolierung zwischen den Containern ermöglicht.

Ollama Herunterladen: https://ollama.com/download

Die offizielle Homepage von Ollama: https://ollama.com

Ollama offizielles GitHub Quellcode-Repository: https://github.com/ollama/ollama/

Offizielle Anleitung zur Installation von Docker: https://hub.docker.com/r/ollama/ollama

I. Ziehen des Ollama-Spiegels

Der Autor hat Docker vorher auf Windows heruntergeladen 👉.docker installation download offizielle website

Weg 1: Suche und Download von Docker-Software in der Visualisierungsoberfläche

Weg 2: Die offizielle Website empfiehlt die direkte Verwendung des folgenden Befehls, um das Download-Image zu ziehen, dieses Projekt kann nur auf der CPU ausgeführt werden.

# CPU oder Nvidia GPU
docker pull ollama/ollama

# AMD-GPU
docker pull ollama/ollama:rocm

Hinweis: Wenn der Leser eine bestimmte Version des Abbilds verwenden möchte, die die Laufzeitumgebung angibt, kann der folgende Befehl verwendet werden.

# CPU oder Nvidia GPU herunterladen ollama 0.3.0
docker pull ollama/ollama:0.3.0
# AMD GPU herunterladen ollama 0.3.0
docker pull ollama/ollama:0.3.0-rocm

II. Ausführen des Ollama-Images

Weg 1: Docker führt das Image über eine visuelle Schnittstelle aus

• Sobald der Download abgeschlossen ist, finden Sie ihn im Bereich Bilderden Nagel auf den Kopf treffen Ollama Spiegeln, klicken laufen. Beachten Sie, dass Sie vor der Ausführung eine Portnummer (z. B. 8089) im Popup-Fenster mit den optionalen Einstellungen auswählen.

• existieren Behältnisse Finden Sie den Spiegel in der OLLM Zugang zur Ollama-Schnittstelle

• Überprüfen Sie, ob die Installation abgeschlossen ist, im Exec Eingabe unter:

ollama-h

Die Ausgabe sieht wie folgt aus: Das bedeutet, dass die Installation erfolgreich ist🎉.

Großer Sprachmodell-Läufer
Verwendung: ollama [flags
ollama [Flaggen]
ollama [Befehl]
Verfügbare Befehle: serve Start ollama
serve Start ollama
create Erzeugen eines Modells aus einer Modeldatei
show Zeigt Informationen zu einem Modell an
run Ausführen eines Modells
pull Ziehen eines Modells aus einer Registry
push Pusht ein Modell in eine Registry
ps Laufende Modelle auflisten
ps Laufende Modelle auflisten
cp Kopieren eines Modells
rm Entfernen eines Modells
help Hilfe zu einem beliebigen Befehl
Flags: -h, --help Hilfe für ollama
-h, --help Hilfe zu ollama
-v, --version Versionsinformationen anzeigen

• Terminal Verwendung Ollama.

Die folgenden Befehle werden von Ollama häufig verwendet:

ollama servieren # ollama starten
ollama create # Modell aus Modelldatei erstellen
ollama show # zeigt Modellinformationen an
ollama run # führt das Modell aus
ollama pull # Modell aus der Registry ziehen
ollama push # Pusht das Modell in die Registry
ollama list # listet Modelle auf
ollama cp # kopiert das Modell
ollama rm # Modell löschen
ollama help 1TP5Hilfeinformationen zu einem beliebigen Befehl abrufen

Bibliothek (ollama.com) Hier ist die Modellbibliothek von Ollama, suchen Sie das gewünschte Modell und starten Sie es direkt!

ollama run llama3

Die Download-Geschwindigkeit hängt von Ihrer Bandbreite ab und ist einsatzbereit ✌Denken Sie daran, die Kontrolle + D Chat beenden

Weg 2: Start über die Befehlszeile

• CPU-Version:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama