Использование API Ollama в Java

В этой статье описано, как использовать Оллама Этот документ призван помочь разработчикам быстро освоиться и использовать все возможности Ollama. Вы можете вызывать API Ollama непосредственно из своего приложения или из компонента Spring AI. Изучив этот документ, вы сможете легко интегрировать Ollama в свои проекты.

I. Подготовка окружающей среды

Чтобы использовать Ollama API в Java, убедитесь, что у вас есть следующее окружение и инструменты:

• Комплект средств разработки Java (JDK) : Установите JDK версии 1.8 или более поздней.
• Строительные инструменты : такие как Maven или Gradle, для управления зависимостями проекта.
• Библиотека HTTP-клиента : Выберите подходящую библиотеку HTTP-клиента, например Apache HttpClient или OkHttp.

II. Прямое использование Олламы

На github есть множество компонентов, разработанных сторонними разработчиками, которые позволяют легко интегрировать Ollama в ваше приложение, вот пример с Аседем Например, можно выполнить следующие 3 шага (maven здесь используется для управления проектом):

1. Добавьте зависимость ollama в pom.xml

<repositories>
<repository>
<id>jitpack.io</id>
<url>https://jitpack.io</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>com.github.Asedem</groupId>
<artifactId>OllamaJavaAPI</artifactId>
<version>master-SNAPSHOT</version>
</dependency>
</dependencies>

2. Инициализация Ollama

// 默认情况下，它将连接到 localhost:11434
Ollama ollama = Ollama.initDefault();
// 对于自定义值
Ollama ollama = Ollama.init("http://localhost", 11434);

3. Использование Олламы

• диалоги

String model = "llama2:latest"; // 指定模型
String prompt = "为什么天空是蓝色的？"; // 提供提示
GenerationResponse response = ollama.generate(new GenerationRequest(model, prompt));
// 打印生成的响应
System.out.println(response.response());

• Список местных моделей

List<Model> models = ollama.listModels(); // 返回 Model 对象的列表

• Отображение информации о модели

ModelInfo modelInfo = ollama.showInfo("llama2:latest"); // 返回 ModelInfo 对象

• Модели репликации

boolean success = ollama.copy("llama2:latest", "llama2-backup"); // 如果复制过程成功返回 true

• Удалить модель

boolean success = ollama.delete("llama2-backup"); // 如果删除成功返回 true

Вызов Ollama с помощью Spring AI

Введение в весенний искусственный интеллект

Spring AI - это прикладной фреймворк, предназначенный для разработки искусственного интеллекта. Основные возможности перечислены ниже:

• Поддержка API разных поставщиков услуг ИИ: Spring AI предоставляет переносимый набор API, поддерживающий взаимодействие с чатами, превращение текста в изображение и встроенные модели от разных поставщиков услуг ИИ.
• Синхронные и потоковые API: фреймворк поддерживает синхронные и потоковые API, предоставляя разработчикам гибкие методы взаимодействия.
• Доступ к функциям конкретной модели: позволяет разработчикам получать доступ к функциям конкретной модели через параметры конфигурации, обеспечивая более детальный контроль.

Использование Spring AI

1. Добавьте зависимость Spring AI в pom.xml

<dependencies>
<dependency>
<groupId>io.springboot.ai</groupId>
<artifactld>spring-ai-ollama-spring-boot-starter</artifactld>
<version>1.0.3</version>
</dependency>
</dependencies>

Примечание: При использовании IDEA для создания проекта вы можете напрямую указать зависимости, система автоматически заполнит файл pom.xml, его не нужно будет изменять вручную, как показано на следующем рисунке:

2. Добавьте конфигурацию для Spring AI и Ollama в файл конфигурации вашего приложения Spring Boot. Пример:

ai:
ollama:
base-url: http://localhost:11434
chat:
options:
model: llama3.1:latest

3. Используйте Ollama для создания текста или диалога:

Сначала создайте контроллер Spring Boot для вызова API Ollama:

import jakarta.annotation.Resource;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class OllamaController {
@Resource
private OllamaChatModel ollamaChatModel;
@RequestMapping(value = "/ai/ollama")
public Object ollama(@RequestParam(value = "msg")String msg){
ChatResponse chatResponse=ollamaChatModel.call(new Prompt(msg, OllamaOptions.create()
.withModel("llama3.1:latest")//指定使用哪个大模型
.withTemperature(0.5F)));
System.out.println(chatResponse.getResult().getOutput().getContent());
return chatResponse.getResult().getOutput().getContent();
}
}

Затем запустите проект и введите URL-адрес в браузере http://localhost:8080/ai/ollama?msg="提示词" Результат показан ниже:

справочный документ

• Весенний ИИ
• Ollama Java API