Utilización de la API de Ollama en C

Este artículo describe cómo utilizar la función Ollama API . Este documento está diseñado para ayudar a los desarrolladores de C++ a ponerse al día rápidamente y aprovechar al máximo las capacidades de Ollama. Estudiando este documento, podrá integrar fácilmente Ollama en sus proyectos.

Ten en cuenta que la comunidad y la documentación de Ollama pueden estar más centradas en la integración de Python con otros lenguajes de alto nivel. Cuando se usan modelos grandes en proyectos C++, es común usar la función Llama.cpp (tutorial llama.cpp) Llama.cpp es un proyecto de código abierto desarrollado por Georgi Gerganov que proporciona una implementación eficiente en C/C++ de la arquitectura LLaMa de Meta, centrada en el proceso de razonamiento para grandes modelos lingüísticos (LLM).

I. Preparación medioambiental

Aquí no se trata el entorno de desarrollo para proyectos C++, sino sólo cómo integrar Ollama. asegúrese de que tiene Ollama instalado y en funcionamiento, y de que ha descargado los modelos necesarios (consulte el Capítulo 2 para más información).

II. Llamada a la API de Ollama

Llamar directamente a la API de Ollama es engorroso, así que aquí tienes dos ideas.

• Utilizar bibliotecas de clases C++ empaquetadas.
• Llama al modelo de Ollama a través de Python.

1. Uso de bibliotecas C++ empaquetadas

Puedes encontrar librerías C++ empaquetadas en Github, que pueden usarse simplemente introduciendo ficheros de cabecera para evitar construir ruedas una y otra vez. Aquí tienes un ejemplo de ollama-hpp A modo de ejemplo:

#include "ollama.hpp"
std::cout << ollama::generate("llama3.1:latest", "how to use ollama in a cpp project?") << std::endl;

Actualmente, sólo hay una biblioteca de clases C++ encapsulada en Github, y hay algunos errores que deben corregirse manualmente durante el proceso de prueba, por lo que no se recomienda utilizar este método.

2. Llamada al modelo de Ollama mediante Python

Integrar la funcionalidad de Ollama en un proyecto C++ permite llamar a los modelos de Ollama desde Python y pasar los resultados a un programa C++:

1. Escribir código Python para llamar a la API de Ollama: Escriba código en Python para llamar al modelo deseado para generar texto o mantener un diálogo a través de la interfaz API proporcionada por Ollama. A continuación se muestra un ejemplo sencillo de llamada en Python:

   import requests
   def call_ollama_api(prompt, model_name="llama3.1:latest"):
   url = "http://localhost:11434/api/generate"
   headers = {"Content-Type": "application/json"}
   payload = {
   "model": model_name,
   "prompt": prompt,
   "stream": False
   }
   response = requests.post(url, json=payload, headers=headers)
   return response.json()
   # 示例调用
   response = call_ollama_api("黑神话好玩吗？")
   print(response)
   

2. Llamada a scripts de Python desde C++: En un programa C++, se pueden utilizar llamadas al sistema para ejecutar scripts de Python y pasar el texto o las preguntas requeridas como argumentos al script de Python. Por ejemplo, se puede llamar a un script Python desde C++ de la siguiente manera:

   #include <cstdlib>
   int main() {
   system("python call_ollama.py '黑神话好玩吗？'");
   return 0;
   }
   

documento de referencia

• ollama-hpp
• llama.cpp Tutorial