AI Personal Learning
und praktische Anleitung
Sitzsack Marscode1

Langfuse: Open-Source-Beobachtungs- und Debugging-Plattform für LLM-Anwendungen

Allgemeine Einführung

Langfuse ist eine quelloffene LLM (Large Language Model) Entwicklungsplattform. Sie hilft Entwicklern, LLM-Anwendungen zu verfolgen, zu debuggen und zu optimieren, indem sie Werkzeuge für die Beobachtung von Aufrufen, die Verwaltung von Prompts, die Durchführung von Experimenten und die Auswertung von Ergebnissen bereitstellt. Die Plattform wurde vom Langfuse-Team entwickelt und unterstützt Frameworks wie LangChain, OpenAI usw. Sie steht unter der MIT-Lizenz und hat eine aktive Community. Sie kann schnell selbst gehostet werden, lokal oder in der Cloud, und ist ideal für Teams, die zusammenarbeiten, um zuverlässige KI-Anwendungen zu entwickeln. langfuse bietet Cloud-Dienste (mit kostenlosen Paketen) und selbst gehostete Optionen, und ist einfach zu implementieren und in Produktionsumgebungen bewährt.

Für Agenten und RAG Die Laufzeit wird, ähnlich wie bei LangSmith, visualisiert und beobachtet.

Langfuse: Open-Source-Plattform zur Beobachtung und Fehlersuche von LLM-Anwendungen-1

 

Funktionsliste

  • Angewandte BeobachtungVerfolgen Sie jeden Aufruf der LLM-Anwendung und zeichnen Sie Eingaben und Ausgaben, Latenz und Kosten auf.
  • Queue-VerwaltungZentralisierte Speicherung von Stichwörtern zur Unterstützung der Versionskontrolle und der Anpassung der Teamarbeit.
  • Verwaltung von DatensätzenErstellen Sie Testdatensätze und führen Sie Experimente durch, um Modelle oder Cue-Effekte zu vergleichen.
  • Bewertungsinstrumente:: Unterstützung von Benutzer-Feedback, manueller Beschriftung und automatischer Auswertung zur Überprüfung der Qualität der Ausgabe.
  • Unterstützung bei der FehlersucheDetaillierte Protokolle und Benutzersitzungen anzeigen, um Probleme schnell zu lokalisieren.
  • Experimenteller SpielplatzTesten Sie Prompt-Wörter und Modellkonfigurationen, um Entwicklungsiterationen zu beschleunigen.
  • Multi-Framework-UnterstützungKompatibel mit LangChain, OpenAI SDK, LiteLLM und mehr.
  • API-IntegrationBietet eine umfassende API zur Anpassung von LLMOps-Workflows.

 

Hilfe verwenden

Installation und Einsatz

Cloud-Dienst

  1. Registrieren Sie sich für ein Konto:: Zugang Langfuse WolkeKlicken Sie auf "Anmelden", um sich zu registrieren.
  2. Ein Projekt erstellenNach dem Einloggen klicken Sie auf "Neues Projekt" und geben den Projektnamen ein.
  3. Holen Sie sich den Schlüssel:: Erzeugt in den Projekteinstellungen PUBLIC_KEY im Gesang antworten GEHEIM_SCHLÜSSEL.
  4. anfangen zu benutzenKeine Installation erforderlich, Verbindung zu Cloud-Diensten direkt über das SDK.

Lokale Bereitstellung (Docker Compose)

  1. Vorbereiten der UmgebungVergewissern Sie sich, dass Docker und Docker Compose installiert sind, die Sie von der Docker-Website herunterladen können.
  2. Klonen von Code: In einem Terminal ausführen git clone https://github.com/langfuse/langfuse.gitGeben Sie dann den Katalog ein cd langfuse.
  3. Neue Dienste: Eingabe docker compose upund warten Sie, bis der Startvorgang abgeschlossen ist; die Standardadresse lautet http://localhost:3000.
  4. validieren (eine Theorie): Browser-Zugang http://localhost:3000Wenn Sie die Anmeldeseite sehen, haben Sie es geschafft.
  5. Konfigurieren des SchlüsselsGenerierung des Schlüssels in der UI für SDK nach der Registrierung.

Kubernetes-Bereitstellung (Empfehlungen für die Produktion)

  1. Vorbereiten des ClustersErstellen Sie einen Kubernetes-Cluster mit Minikube (für lokale Tests) oder einem Cloud-Dienst wie AWS.
  2. Helm hinzufügen: Laufen helm repo add langfuse https://langfuse.github.io/langfuse-k8s im Gesang antworten helm repo update.
  3. konfigurieren.: Erstellen Werte.yamlDie Datenbank und die Schlüsselinformationen werden ausgefüllt (siehe die offizielles Dokument).
  4. Einsätze: Eingabe helm install langfuse langfuse/langfuse -f values.yamlWarten Sie, bis es zu Ende ist.
  5. InterviewsKonfigurieren Sie den Zugriff auf die Dienstadresse auf der Grundlage des Ingress.

Bereitstellung von virtuellen Maschinen

  • Ausführung auf einer einzigen virtuellen Maschine docker compose upDie Schritte sind dieselben wie bei der lokalen Bereitstellung.

Hauptfunktionen

Angewandte Beobachtung

  1. Installieren des SDK: Python-Projektlauf pip install langfuseJS/TS-Projektlauf npm install langfuse.
  2. InitialisierungKonfigurieren Sie Schlüssel und Hosts im Code:
    from langfuse import Langfuse
    langfuse = Langfuse(public_key="pk-lf-xxx", secret_key="sk-lf-xxx", host="http://localhost:3000")
  1. Anruf aufzeichnen: Verwenden Sie Dekorateure oder eine manuelle Verfolgung:
    from langfuse.decorators import observe
    @observe()
    def chat(input).
    return openai.chat.completions.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": input}])
    chat("Hallo")
    
  2. auscheckenÜberprüfen Sie die Anrufdetails auf der Seite "Traces" der Benutzeroberfläche.

Queue-Verwaltung

  1. Neuer TippAuf der Seite "Prompts" der Benutzeroberfläche klicken Sie auf "New Prompt" und geben Sie einen Namen und einen Inhalt ein, z. B:
    System: Sie sind ein Helfer, der die Fragen direkt beantwortet.
    Benutzer: {{Frage}}
    
  2. Tipps für die VerwendungAufrufe im Code langfuse.get_prompt("prompt-name").
  3. VersionsverwaltungAutomatisches Speichern der Version nach Änderung der Eingabeaufforderungen, die zurückgesetzt werden kann.

Datensätze und Experimente

  1. Erstellen eines DatensatzesAuf der Seite "Datasets" der Benutzeroberfläche klicken Sie auf "Create Dataset" und benennen Sie es als "qa-test".
  2. Daten hinzufügenEingabe oder Hochladen einer CSV-Datei, zum Beispiel:
    Eingabe: "Wie viel ist 1+1?" Erwartet: "2"
    
  3. laufendes Experiment:: Test im Code:
    datensatz = langfuse.get_datensatz("qa-test")
    for item in dataset.items: result = chat(item.input)
    ergebnis = chat(item.input)
    item.link(langfuse.trace({"output": result})), "test-1")
    
  4. analysiertAnzeige der Versuchsergebnisse in der Benutzeroberfläche.

Spielplatz

  1. gehen inKlicken Sie in der Benutzeroberfläche auf "Playground" und geben Sie die Eingabeaufforderung und die Modellparameter ein.
  2. Prüfung (Maschinen usw.)Klicken Sie auf Ausführen, um die Ausgabe anzuzeigen, die Parameter anzupassen und zu speichern.
  3. springenDirekt aus dem "Traces"-Fehlerergebnis Spielplatz Modifizierung.

Featured Function Bedienung

Debugging-Protokoll

  • Klicken Sie auf der Seite "Traces" auf einen Aufruf, um die Eingaben, Ausgaben und den Kontext zu sehen.
  • Zeigen Sie Benutzersitzungen unter "Sitzungen" an, um Gespräche über mehrere Runden zu analysieren.

Auswertung Output

  • handbetätigtBewerten Sie die Ausgabe (0-1) auf der Seite "Scores".
  • AutomatisierungBewertungen über API hinzufügen:
    langfuse.score(trace_id="xxx", name="accuracy", value=0.95)
    

API-Verwendung

  • Aufgerufen über die OpenAPI-Spezifikation oder ein SDK (z. B. Python/JS), z. B. zur Erstellung eines Trace:
    curl -X POST "http://localhost:3000/api/traces" -H "Authorization: Bearer sk-lf-xxx" -d '{"id": "trace-1", "name": "test"}'
    

 

Anwendungsszenario

  1. RAG-Prozessvisualisierung - Verfolgung
    • Visuelle Verfolgung des Gesamtprozesses von Stichwortabruf, Vektorabruf, Abruffusion, Neuordnung, Antwort
  2. Entwicklung eines intelligenten Kundendienstes
    • Das Team nutzt Langfuse, um Gespräche zu verfolgen, die Qualität der Antworten zu optimieren und das Kundenerlebnis zu verbessern.
  3. Leistungsvergleich der Modelle
    • Der Entwickler erstellt Datensätze, um die Leistung mehrerer LLMs bei einer Quizaufgabe zu testen.
  4. Vor-Ort-Einsatz
    • Das Unternehmen hostet Langfuse selbst, um sensible Daten zu schützen und interne KI-Anwendungen zu debuggen.

 

QA

  1. Welche Sprachen und Frameworks werden unterstützt?
    • Unterstützt Python und JS/TS und ist kompatibel mit LangChain, OpenAI, LlamaIndex und anderen.
  2. Was ist die Mindestkonfiguration für das Selbst-Hosting?
    • Kleinere Projekte benötigen eine 2-Kern-CPU und 4 GB RAM, für größere Projekte werden 8 Kerne und 16 GB empfohlen.
  3. Wie kann ich die Telemetrie deaktivieren?
    • Das Setzen der Umgebungsvariablen in der TELEMETRY_ENABLED=false.

Darf nicht ohne Genehmigung vervielfältigt werden:Chef-KI-Austauschkreis " Langfuse: Open-Source-Beobachtungs- und Debugging-Plattform für LLM-Anwendungen

Chef-KI-Austauschkreis

Der Chief AI Sharing Circle konzentriert sich auf das KI-Lernen und bietet umfassende KI-Lerninhalte, KI-Tools und praktische Anleitungen. Unser Ziel ist es, den Nutzern dabei zu helfen, die KI-Technologie zu beherrschen und gemeinsam das unbegrenzte Potenzial der KI durch hochwertige Inhalte und den Austausch praktischer Erfahrungen zu erkunden. Egal, ob Sie ein KI-Anfänger oder ein erfahrener Experte sind, dies ist der ideale Ort für Sie, um Wissen zu erwerben, Ihre Fähigkeiten zu verbessern und Innovationen zu verwirklichen.

Kontaktieren Sie uns
de_DE_formalDeutsch (Sie)