Utiliser l'API Ollama en Java

Cet article décrit comment utiliser la fonction Ollama Ce document est conçu pour aider les développeurs à se familiariser rapidement avec les capacités d'Ollama et à en tirer le meilleur parti. Vous pouvez appeler l'API Ollama directement depuis votre application, ou vous pouvez appeler Ollama depuis les composants Spring AI. En étudiant ce document, vous pourrez facilement intégrer Ollama dans vos projets.

I. Préparation de l'environnement

Pour utiliser l'API Ollama en Java, assurez-vous que vous disposez de l'environnement et des outils suivants :

• Kit de développement Java (JDK) Installation de la version 1.8 du JDK ou d'une version ultérieure.
• Outils de construction Le système de gestion des dépendances est un outil de gestion des dépendances : Maven ou Gradle, par exemple, pour la gestion des dépendances d'un projet.
• Bibliothèque client HTTP Choisir une bibliothèque client HTTP appropriée, telle que Apache HttpClient ou OkHttp.

II. utilisation directe de l'Ollama

Il existe de nombreux composants développés par des tiers sur github qui facilitent l'intégration d'Ollama dans votre application, voici un exemple avec le composant Asedem Par exemple, les 3 étapes suivantes peuvent être suivies (maven est utilisé ici pour la gestion de projet) :

1. Ajouter la dépendance ollama dans pom.xml

<repositories>
<repository>
<id>jitpack.io</id>
<url>https://jitpack.io</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>com.github.Asedem</groupId>
<artifactId>OllamaJavaAPI</artifactId>
<version>master-SNAPSHOT</version>
</dependency>
</dependencies>

2. Initialisation d'Ollama

// 默认情况下，它将连接到 localhost:11434
Ollama ollama = Ollama.initDefault();
// 对于自定义值
Ollama ollama = Ollama.init("http://localhost", 11434);

3. Utilisation d'Ollama

• dialogues

String model = "llama2:latest"; // 指定模型
String prompt = "为什么天空是蓝色的？"; // 提供提示
GenerationResponse response = ollama.generate(new GenerationRequest(model, prompt));
// 打印生成的响应
System.out.println(response.response());

• Liste des modèles locaux

List<Model> models = ollama.listModels(); // 返回 Model 对象的列表

• Affichage des informations sur le modèle

ModelInfo modelInfo = ollama.showInfo("llama2:latest"); // 返回 ModelInfo 对象

• Modèles de réplication

boolean success = ollama.copy("llama2:latest", "llama2-backup"); // 如果复制过程成功返回 true

• Supprimer le modèle

boolean success = ollama.delete("llama2-backup"); // 如果删除成功返回 true

Appeler Ollama avec Spring AI

Introduction à l'IA de printemps

Spring AI est un cadre d'application conçu pour l'ingénierie de l'IA. Les principales caractéristiques sont énumérées ci-dessous :

• Prise en charge des API par les différents fournisseurs de services d'IA : Spring AI fournit un ensemble d'API portables qui prennent en charge l'interaction avec les modèles de chat, de conversion texte-image et les modèles intégrés de plusieurs fournisseurs de services d'IA.
• Options d'API synchrones et en continu : le cadre prend en charge les API synchrones et en continu, offrant aux développeurs des méthodes d'interaction flexibles.
• Accès aux fonctions spécifiques au modèle : permet aux développeurs d'accéder aux fonctions spécifiques au modèle via les paramètres de configuration, offrant ainsi un contrôle plus granulaire.

Utilisation de Spring AI

1. Ajouter la dépendance Spring AI dans pom.xml

<dependencies>
<dependency>
<groupId>io.springboot.ai</groupId>
<artifactld>spring-ai-ollama-spring-boot-starter</artifactld>
<version>1.0.3</version>
</dependency>
</dependencies>

Note : Lorsque vous utilisez IDEA pour créer un projet, vous pouvez directement spécifier les dépendances, le système complète automatiquement le fichier pom.xml, vous n'avez pas besoin de le modifier manuellement, comme le montre la figure suivante :

2. Ajoutez la configuration pour Spring AI et Ollama au fichier de configuration de votre application Spring Boot. Exemple :

ai:
ollama:
base-url: http://localhost:11434
chat:
options:
model: llama3.1:latest

3. Utilisez Ollama pour la génération de textes ou de dialogues :

Créez d'abord un contrôleur Spring Boot pour appeler l'API Ollama :

import jakarta.annotation.Resource;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class OllamaController {
@Resource
private OllamaChatModel ollamaChatModel;
@RequestMapping(value = "/ai/ollama")
public Object ollama(@RequestParam(value = "msg")String msg){
ChatResponse chatResponse=ollamaChatModel.call(new Prompt(msg, OllamaOptions.create()
.withModel("llama3.1:latest")//指定使用哪个大模型
.withTemperature(0.5F)));
System.out.println(chatResponse.getResult().getOutput().getContent());
return chatResponse.getResult().getOutput().getContent();
}
}

Lancez ensuite le projet et entrez l'URL dans votre navigateur http://localhost:8080/ai/ollama?msg="提示词" C'est tout, le résultat est illustré ci-dessous :

document de référence

• Printemps AI
• Ollama Java API