Lokaler Agent mit Ollama+LlamaIndex

kurz

Dieses Dokument beschreibt die Verwendung des LlamaIndex in der ReActAgent Kombination Ollama Implementieren Sie einen einfachen lokalen Agenten.

Das in diesem Dokument verwendete LLM ist das Modell qwen2:0.5b. Da verschiedene Modelle unterschiedliche Fähigkeiten zum Aufrufen von Tools haben, können Sie versuchen, Agent mit verschiedenen Modellen zu implementieren.

Hinweis: Dieses Dokument enthält wichtige Codeschnipsel und ausführliche Erläuterungen. Der vollständige Code ist zu finden unter Notizbuch .

1. importierte Abhängigkeiten

from llama_index.core.tools.import FunctionTool
from llama_index.core.agent import ReActAgent
from llama_index.llms.ollama import Ollama

2. initialisieren Sie das Agententool

# Werkzeuge definieren
def multiply(a: float, b: float) -> float.
"""Zwei Ganzzahlen multiplizieren und das Ergebnis zurückgeben integer""""
return a * b
# FunctionTool-Instanzen erzeugen
multiply_tool = FunctionTool.from_defaults(
fn=multiply,
name="MultiplyTool", description="Ein Werkzeug, das multipliziert
fn=multiply, name="MultiplyTool", description="Ein Werkzeug, das zwei Gleitkommazahlen multipliziert.", return_direct=True
return_direct=True
)

3. initialisieren Sie LLM und Agent

# LLM initialisieren
llm = Ollama(model="qwen2:0.5b", request_timeout=360.0)
# Initialisieren ReAct agent mit Werkzeugen
agent = ReActAgent.from_tools([multiply_tool], llm=llm, verbose=True)

4. das Führen des Dialogs

• Verwenden Sie den LLM-Dialog direkt.

# direkte Antwort
res_llm = llm.complete("Was ist 2,3 × 4,8? Berechne Schritt für Schritt")
print(res_llm)

Ergebnisse der Ausgabe:

Um \( 2,3 \mal 4,8 \) zu berechnen, können Sie die folgenden Schritte ausführen.
1. **Multiplizieren Sie die Multiplikation:** Wenn Sie Dezimalzahlen multiplizieren, multiplizieren Sie einfach die Zähler (die oberen Zahlen), um den Zähler des Produkts zu erhalten.
\[
2,3 \mal 4,8 = 9,44
\] 2. **Multiplizieren
2. **Multiplizieren Sie die Nenner (die unteren Zahlen)**.
Der Nenner von \(4,8\) wird durch die Multiplikation nicht beeinflusst, da er keinen Faktor enthält, der seinen Wert beeinflussen oder das Ergebnis bestimmen kann. 3. **Berechnen Sie den Nenner von \(4,8\), da er keinen Faktor enthält, der seinen Wert beeinflussen oder das Ergebnis bestimmen kann.
3. **Berechnen Sie das Produkt** Da es keine gemeinsamen Faktoren zwischen dem Produkt und seinem Wert gibt, ist es nicht möglich, das Ergebnis zu bestimmen.
Da es keine gemeinsamen Faktoren zwischen dem Zähler und dem Nenner gibt, lautet die Berechnung.
**Berechnen Sie das Produkt** Da es keine gemeinsamen Faktoren zwischen Zähler und Nenner gibt, lautet die Berechnung
9,44 = 2,3 \mal 2,3
\]
Diese Multiplikation ergibt keine neue Zahl, denn \(2,3\) und \(2,3\) sind bereits multipliziert und ergeben 5,6.
Also, \(2,3 \mal 4,8 = 9,44\).

• LLM ruft den Agentendialog auf.

# Agent verwenden
response = agent.chat("Wie viel ist 2,3 × 4,8? Berechnen Sie Schritt für Schritt")
antwort.antwort

Ergebnisse der Ausgabe:

> Laufschritt 9227846e-d630-4ce2-a760-c8e90366dc6c. Schritteingabe: Wie viel ist 2,3 × 4,8? Berechne Schritt für Schritt
Gedanke: Die Aufgabe verlangt die Multiplikation von zwei Zahlen, 2.3 und 4.8, und die schrittweise Berechnung dieser Multiplikation.
Aktion: MultiplyTool
Aktion Eingabe: {'a': 2.3, 'b': 4.8}
Beobachtung: 11.04

Referenz: https://docs.llamaindex.ai/en/stable/examples/agent/react_agent/