Verwendung der Ollama-API in Java

Dieser Artikel beschreibt, wie man die Ollama Dieses Dokument soll Entwicklern helfen, sich schnell zurechtzufinden und die Möglichkeiten von Ollama voll auszuschöpfen. Sie können die Ollama-API direkt aus Ihrer Anwendung heraus aufrufen, oder Sie können Ollama von Spring AI-Komponenten aus aufrufen. Wenn Sie dieses Dokument lesen, können Sie Ollama leicht in Ihre Projekte integrieren.

I. Vorbereitung der Umwelt

Um die Ollama-API in Java zu verwenden, müssen Sie sicherstellen, dass Sie die folgende Umgebung und die folgenden Werkzeuge bereit haben:

• Java-Entwicklungskit (JDK) Installieren Sie JDK Version 1.8 oder höher.
• Bauwerkzeuge : wie z.B. Maven oder Gradle, für die Verwaltung von Projektabhängigkeiten.
• HTTP-Client-Bibliothek Wählen Sie eine geeignete HTTP-Client-Bibliothek, z. B. Apache HttpClient oder OkHttp.

II. direkte Verwendung von Ollama

Es gibt viele von Drittanbietern entwickelte Komponenten auf github, die es einfach machen, Ollama in Ihre Anwendung zu integrieren, hier ist ein Beispiel mit dem Asedem Zum Beispiel können die folgenden 3 Schritte befolgt werden (Maven wird hier für das Projektmanagement verwendet):

1. Hinzufügen der ollama-Abhängigkeit in pom.xml

<repositories>
<repository>
<id>jitpack.io</id>
<url>https://jitpack.io</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>com.github.Asedem</groupId>
<artifactId>OllamaJavaAPI</artifactId>
<version>master-SNAPSHOT</version>
</dependency>
</dependencies>

2. Initialisierung von Ollama

// 默认情况下，它将连接到 localhost:11434
Ollama ollama = Ollama.initDefault();
// 对于自定义值
Ollama ollama = Ollama.init("http://localhost", 11434);

3. Ollama verwenden

• Dialoge

String model = "llama2:latest"; // 指定模型
String prompt = "为什么天空是蓝色的？"; // 提供提示
GenerationResponse response = ollama.generate(new GenerationRequest(model, prompt));
// 打印生成的响应
System.out.println(response.response());

• Liste lokaler Modelle

List<Model> models = ollama.listModels(); // 返回 Model 对象的列表

• Anzeige von Modellinformationen

ModelInfo modelInfo = ollama.showInfo("llama2:latest"); // 返回 ModelInfo 对象

• Replikationsmodelle

boolean success = ollama.copy("llama2:latest", "llama2-backup"); // 如果复制过程成功返回 true

• Modell löschen

boolean success = ollama.delete("llama2-backup"); // 如果删除成功返回 true

Ollama mit Spring AI anrufen

Einführung in Spring AI

Spring AI ist ein Anwendungsframework, das für die KI-Entwicklung entwickelt wurde. Die wichtigsten Funktionen sind unten aufgeführt:

• API-Unterstützung für verschiedene KI-Anbieter: Spring AI bietet eine Reihe portabler APIs, die die Interaktion mit Chats, Text-zu-Bild- und eingebetteten Modellen von verschiedenen KI-Anbietern unterstützen.
• Synchrone und Streaming-API-Optionen: Das Framework unterstützt synchrone und Streaming-APIs und bietet Entwicklern flexible Interaktionsmethoden.
• Zugriff auf modellspezifische Funktionen: Ermöglicht Entwicklern den Zugriff auf modellspezifische Funktionen über Konfigurationsparameter und bietet so eine genauere Kontrolle.

Verwendung von Spring AI

1. Hinzufügen der Spring AI-Abhängigkeit in pom.xml

<dependencies>
<dependency>
<groupId>io.springboot.ai</groupId>
<artifactld>spring-ai-ollama-spring-boot-starter</artifactld>
<version>1.0.3</version>
</dependency>
</dependencies>

Hinweis: Wenn Sie IDEA verwenden, um ein Projekt zu erstellen, können Sie die Abhängigkeiten direkt angeben. Das System vervollständigt die pom.xml-Datei automatisch, Sie müssen sie nicht manuell ändern, wie in der folgenden Abbildung gezeigt:

2. Fügen Sie die Konfiguration für Spring AI und Ollama in die Konfigurationsdatei Ihrer Spring Boot-Anwendung ein. Beispiel:

ai:
ollama:
base-url: http://localhost:11434
chat:
options:
model: llama3.1:latest

3. Verwenden Sie Ollama zur Texterstellung oder für Dialoge:

Erstellen Sie zunächst einen Spring Boot-Controller, um die Ollama-API aufzurufen:

import jakarta.annotation.Resource;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class OllamaController {
@Resource
private OllamaChatModel ollamaChatModel;
@RequestMapping(value = "/ai/ollama")
public Object ollama(@RequestParam(value = "msg")String msg){
ChatResponse chatResponse=ollamaChatModel.call(new Prompt(msg, OllamaOptions.create()
.withModel("llama3.1:latest")//指定使用哪个大模型
.withTemperature(0.5F)));
System.out.println(chatResponse.getResult().getOutput().getContent());
return chatResponse.getResult().getOutput().getContent();
}
}

Starten Sie dann das Projekt und geben Sie die URL in Ihrem Browser ein http://localhost:8080/ai/ollama?msg="提示词" Das Ergebnis ist unten dargestellt:

Referenzdokument

• Frühling AI
• Ollama Java API