Verwendung der Ollama-API in C++

Dieser Artikel beschreibt, wie man die Ollama API . Dieses Dokument soll C++-Entwicklern helfen, sich schnell zurechtzufinden und die Möglichkeiten von Ollama voll auszuschöpfen. Wenn Sie dieses Dokument studieren, können Sie Ollama leicht in Ihre Projekte integrieren.

Beachten Sie, dass die Community und die Dokumentation von Ollama eher auf die Integration von Python mit anderen Hochsprachen ausgerichtet sind. Wenn große Modelle in C++-Projekten verwendet werden, ist es üblich, die Llama.cpp (Lama.cpp-Tutorial) Llama.cpp ist ein von Georgi Gerganov entwickeltes Open-Source-Projekt, das eine effiziente C/C++-Implementierung der LLaMa-Architektur von Meta bereitstellt und sich auf den Schlussfolgerungsprozess für Large Language Models (LLMs) konzentriert.

I. Vorbereitung der Umwelt

Die Entwicklungsumgebung für C++-Projekte wird hier nicht behandelt, sondern nur die Integration von Ollama. Vergewissern Sie sich, dass Ollama installiert ist und läuft und dass Sie die erforderlichen Modelle heruntergeladen haben (siehe Kapitel 2 für weitere Informationen).

II. der Aufruf der Ollama-API

Ein direkter Aufruf der Ollama-API ist umständlich, daher hier zwei Ideen.

• Verwenden Sie gepackte C++-Klassenbibliotheken.
• Rufen Sie das Modell von Ollama über Python auf.

1. die Verwendung von C++-Paketbibliotheken

Sie können gepackte C++-Bibliotheken auf Github finden, die einfach durch die Einführung von Header-Dateien verwendet werden können, um zu vermeiden, dass Räder immer wieder neu gebaut werden müssen. Hier ist ein Beispiel für eine ollama-hpp Ein Beispiel:

#include "ollama.hpp"
std::cout << ollama::generate("ollama3.1:latest", "how to use ollama in a cpp project?") << std::endl;

Derzeit gibt es nur eine C++-Klassenbibliothek, die auf Github gekapselt ist, und es gibt einige Fehler, die während des Testprozesses manuell behoben werden müssen, daher wird diese Methode nicht empfohlen.

2. das Modell von Ollama über Python aufzurufen

Die Integration der Ollama-Funktionalität in ein C++-Projekt ermöglicht es Ihnen, die Ollama-Modelle von Python aus aufzurufen und die Ergebnisse an ein C++-Programm zu übergeben:

1. Schreiben von Python-Code zum Aufrufen der Ollama-API: Schreiben Sie Code in Python, um das gewünschte Modell aufzurufen, um Text zu erzeugen oder einen Dialog über die von Ollama bereitgestellte API-Schnittstelle zu führen. Nachfolgend finden Sie ein einfaches Beispiel für einen Python-Aufruf:

   importiert Anfragen
   def call_ollama_api(prompt, model_name="llama3.1:latest"):: url = "".
   url = "http://localhost:11434/api/generate"
   headers = {"Content-Type": "application/json"}
   payload = {
   "model": model_name,
   "prompt": prompt, "stream": False
   "stream": False
   }
   response = requests.post(url, json=payload, headers=headers)
   return response.json()
   # Beispiel-Aufruf
   response = call_ollama_api("Macht Black Myth Spaß?")
   print(response)
   

2. Aufrufen von Python-Skripten aus C++: In einem C++-Programm können Sie Systemaufrufe verwenden, um Python-Skripte auszuführen und den erforderlichen Text oder die Fragen als Argumente an das Python-Skript zu übergeben. Ein Python-Skript kann zum Beispiel auf folgende Weise von C++ aus aufgerufen werden:

   #include 
   int main() {
   system("python call_ollama.py 'Macht Black Myth Spaß?'") ;
   return 0;
   }
   

Referenzdokument

• ollama-hpp
• llama.cpp Tutorial