Agent Service Toolkit: ein komplettes Toolset zum Aufbau von KI-Intelligenzen auf der Grundlage von LangGraph

Allgemeine Einführung

Das AI Agent Service Toolkit ist ein komplettes Toolset, das auf LangGraph, FastAPI und Streamlit aufbaut und Entwicklern hilft, KI-Agentendienste schnell zu erstellen und auszuführen. Das Toolkit bietet ein flexibles Framework, das benutzerdefinierte Agentenfunktionen und Interaktionen für eine Vielzahl von Anwendungsszenarien unterstützt. Ob bei der Entwicklung von Chatbots, Datenanalysetools oder anderen KI-basierten Diensten - mit dem Toolkit können Anwender diese schnell implementieren. Das Toolkit wurde mit Blick auf Benutzerfreundlichkeit und Erweiterbarkeit entwickelt, so dass Benutzer die erforderlichen Funktionen durch einfache Konfiguration und Codeänderungen leicht integrieren können.

Erfahrung: https://agent-service-toolkit.streamlit.app/

Architektur des Agentendienst-Toolkits

Funktionsliste

• LangGraph Agent Benutzerdefinierte Agenten, die das LangGraph-Framework verwenden.
• FastAPI-Dienste Bietet Dienste für Streaming- und Non-Streaming-Endpunkte.
• Erweiterte Streaming-Verarbeitung Unterstützt token- und nachrichtenbasiertes Streaming.
• Inhaltliche Prüfung LlamaGuard für die Inhaltskontrolle implementieren (erforderlich) Groq (API-Schlüssel).
• Streamlit-Schnittstelle Bietet eine benutzerfreundliche Chat-Schnittstelle für die Interaktion mit Agenten.
• Unterstützung von Multi-Agenten Mehrere Proxys im Dienst ausführen und sie über URL-Pfade aufrufen.
• asynchrone Ausführung Effiziente Handhabung gleichzeitiger Anfragen mit async/await.
• Feedback-Mechanismen Enthält ein in LangSmith integriertes, auf Sternen basierendes Feedbacksystem.
• Dynamische Metadaten Der Endpunkt : /info liefert dynamische Konfigurationsmetadaten über Dienste und verfügbare Agenten und Modelle.
• Docker-Unterstützung Enthält Dockerfiles und Docker-Compose-Dateien für eine einfache Entwicklung und Bereitstellung.
• Prüfung (Maschinen usw.) Umfassende Unit- und Integrationstests.

Hilfe verwenden

Ablauf der Installation

1. Direkt in Python ausführen ::
   • Stellen Sie sicher, dass Sie mindestens einen LLM-API-Schlüssel haben:

   echo 'OPENAI_API_KEY=Ihr_openai_api_key' >> .env
   

   • Installieren Sie die Abhängigkeiten und synchronisieren Sie:

   pip installieren uv
   uv . -gefroren
   

   • Aktivieren Sie die virtuelle Umgebung und führen Sie den Dienst aus:

   Quelle .venv/bin/activate
   python src/run_service.py
   

   • Aktivieren Sie die virtuelle Umgebung in einem anderen Terminal und führen Sie die Streamlit-Anwendung aus:

   Quelle .venv/bin/activate
   streamlit ausführen src/streamlit_app.py
   

2. Betrieb mit Docker ::
   • Stellen Sie sicher, dass Sie mindestens einen LLM-API-Schlüssel haben:
     bash echo 'OPENAI_API_KEY=Ihr_openai_api_key' >> .env
   • Führen Sie es mit Docker Compose aus:
     bash docker compose up

Funktion Betriebsablauf

1. LangGraph Agent ::
   • Definieren Sie den Proxy: in der Datei src/agents/ Katalog zur Definition von Agenten mit unterschiedlichen Fähigkeiten.
   • Konfigurieren des Proxys: Verwenden Sie die langgraph.json Datei konfiguriert das Verhalten und die Einstellungen des Agenten.
2. FastAPI-Dienste ::
   • Starten Sie den Dienst: run src/dienst/dienst.py Starten Sie den FastAPI-Dienst.
   • Zugang zu Endpunkten: über /strom im Gesang antworten /nicht-stream Endpoint Access Proxy Service.
3. Streamlit-Schnittstelle ::
   • Startbildschirm: Ausführen src/streamlit_app.py Starten Sie die Streamlit-Anwendung.
   • Interaktive Nutzung: Interaktion mit dem Agenten über eine benutzerfreundliche Chat-Schnittstelle.
4. Inhaltliche Prüfung ::
   • LlamaGuard konfigurieren: Im Menü .env um den Groq-API-Schlüssel hinzuzufügen, um die Inhaltsprüfung zu aktivieren.
5. Unterstützung von Multi-Agenten ::
   • Konfigurieren Sie mehrere Proxys: in der Datei src/agents/ Verzeichnis, um mehrere Proxys zu definieren und sie über verschiedene URL-Pfade aufzurufen.
6. Feedback-Mechanismen ::
   • Integriertes Feedbacksystem: Ein sternförmiges Feedbacksystem ist in den Agentendienst integriert, um Nutzerfeedback zur Verbesserung des Dienstes zu sammeln.
7. Dynamische Metadaten ::
   • Zugang zu Metadaten: über /info Endpunkte erhalten dynamische Konfigurationsmetadaten über Dienste und verfügbare Agenten und Modelle.
8. Prüfung (Maschinen usw.) ::
   • Führen Sie den Test durch: in der Tests/ Katalog zur Durchführung von Unit- und Integrationstests, um die Stabilität und Zuverlässigkeit des Dienstes zu gewährleisten.