Langfuse: eine Open-Source-Plattform zur Beobachtung und Fehlersuche von LLM-Anwendungen

🚀 Einladung zum Erleben: Chinas erste KI-IDE Intelligente Programmiersoftware Trae Chinesische Version downloadDer DeepSeek-R1 und Doubao-pro sind unbegrenzt verfügbar!

Allgemeine Einführung

Langfuse ist eine quelloffene LLM (Large Language Model) Entwicklungsplattform. Sie hilft Entwicklern, LLM-Anwendungen zu verfolgen, zu debuggen und zu optimieren, indem sie Werkzeuge für die Beobachtung von Aufrufen, die Verwaltung von Prompts, die Durchführung von Experimenten und die Auswertung von Ergebnissen bereitstellt. Die Plattform wurde vom Langfuse-Team entwickelt und unterstützt Frameworks wie LangChain, OpenAI usw. Sie steht unter der MIT-Lizenz und hat eine aktive Community. Sie kann schnell selbst gehostet werden, lokal oder in der Cloud, und ist ideal für Teams, die zusammenarbeiten, um zuverlässige KI-Anwendungen zu entwickeln. langfuse bietet Cloud-Dienste (mit kostenlosen Paketen) und selbst gehostete Optionen, und ist einfach zu implementieren und in Produktionsumgebungen bewährt.

Für Agenten und RAG Die Laufzeit wird, ähnlich wie bei LangSmith, visualisiert und beobachtet.

Langfuse: Open-Source-Plattform zur Beobachtung und Fehlersuche von LLM-Anwendungen-1

Funktionsliste

Angewandte BeobachtungVerfolgen Sie jeden Aufruf der LLM-Anwendung und zeichnen Sie Eingaben und Ausgaben, Latenz und Kosten auf.
Queue-VerwaltungZentralisierte Speicherung von Stichwörtern zur Unterstützung der Versionskontrolle und der Anpassung der Teamarbeit.
Verwaltung von DatensätzenErstellen Sie Testdatensätze und führen Sie Experimente durch, um Modelle oder Cue-Effekte zu vergleichen.
Bewertungsinstrumente:: Unterstützung von Benutzer-Feedback, manueller Beschriftung und automatischer Auswertung zur Überprüfung der Qualität der Ausgabe.
Unterstützung bei der FehlersucheDetaillierte Protokolle und Benutzersitzungen anzeigen, um Probleme schnell zu lokalisieren.
Experimenteller SpielplatzTesten Sie Prompt-Wörter und Modellkonfigurationen, um Entwicklungsiterationen zu beschleunigen.
Multi-Framework-UnterstützungKompatibel mit LangChain, OpenAI SDK, LiteLLM und mehr.
API-IntegrationBietet eine umfassende API zur Anpassung von LLMOps-Workflows.

Hilfe verwenden

Installation und Einsatz

Cloud-Dienst

Registrieren Sie sich für ein Konto:: Zugang Langfuse WolkeKlicken Sie auf "Anmelden", um sich zu registrieren.
Ein Projekt erstellenNach dem Einloggen klicken Sie auf "Neues Projekt" und geben den Projektnamen ein.
Holen Sie sich den Schlüssel:: Erzeugt in den Projekteinstellungen PUBLIC_KEY im Gesang antworten GEHEIM_SCHLÜSSEL.
anfangen zu benutzenKeine Installation erforderlich, Verbindung zu Cloud-Diensten direkt über das SDK.

Lokale Bereitstellung (Docker Compose)

Vorbereiten der UmgebungVergewissern Sie sich, dass Docker und Docker Compose installiert sind, die Sie von der Docker-Website herunterladen können.
Klonen von Code: In einem Terminal ausführen git clone https://github.com/langfuse/langfuse.gitGeben Sie dann den Katalog ein cd langfuse.
Neue Dienste: Eingabe docker compose upund warten Sie, bis der Startvorgang abgeschlossen ist; die Standardadresse lautet http://localhost:3000.
validieren (eine Theorie): Browser-Zugang http://localhost:3000Wenn Sie die Anmeldeseite sehen, haben Sie es geschafft.
Konfigurieren des SchlüsselsGenerierung des Schlüssels in der UI für SDK nach der Registrierung.

Kubernetes-Bereitstellung (Empfehlungen für die Produktion)

Vorbereiten des ClustersErstellen Sie einen Kubernetes-Cluster mit Minikube (für lokale Tests) oder einem Cloud-Dienst wie AWS.
Helm hinzufügen: Laufen helm repo add langfuse https://langfuse.github.io/langfuse-k8s im Gesang antworten helm repo update.
konfigurieren.: Erstellen Werte.yamlDie Datenbank und die Schlüsselinformationen werden ausgefüllt (siehe die offizielles Dokument).
Einsätze: Eingabe helm install langfuse langfuse/langfuse -f values.yamlWarten Sie, bis es zu Ende ist.
InterviewsKonfigurieren Sie den Zugriff auf die Dienstadresse auf der Grundlage des Ingress.

Bereitstellung von virtuellen Maschinen

Ausführung auf einer einzigen virtuellen Maschine docker compose upDie Schritte sind dieselben wie bei der lokalen Bereitstellung.

Hauptfunktionen

Angewandte Beobachtung

Installieren des SDK: Python-Projektlauf pip install langfuseJS/TS-Projektlauf npm install langfuse.

InitialisierungKonfigurieren Sie Schlüssel und Hosts im Code:

from langfuse import Langfuse
langfuse = Langfuse(public_key="pk-lf-xxx", secret_key="sk-lf-xxx", host="http://localhost:3000")

Anruf aufzeichnen: Verwenden Sie Dekorateure oder eine manuelle Verfolgung:

from langfuse.decorators import observe
@observe()
def chat(input).
return openai.chat.completions.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": input}])
chat("Hallo")

auscheckenÜberprüfen Sie die Anrufdetails auf der Seite "Traces" der Benutzeroberfläche.

Queue-Verwaltung

Neuer TippAuf der Seite "Prompts" der Benutzeroberfläche klicken Sie auf "New Prompt" und geben Sie einen Namen und einen Inhalt ein, z. B:
```
System: Sie sind ein Helfer, der die Fragen direkt beantwortet.
Benutzer: {{Frage}}
```
Tipps für die VerwendungAufrufe im Code langfuse.get_prompt("prompt-name").
VersionsverwaltungAutomatisches Speichern der Version nach Änderung der Eingabeaufforderungen, die zurückgesetzt werden kann.

Datensätze und Experimente

Erstellen eines DatensatzesAuf der Seite "Datasets" der Benutzeroberfläche klicken Sie auf "Create Dataset" und benennen Sie es als "qa-test".
Daten hinzufügenEingabe oder Hochladen einer CSV-Datei, zum Beispiel:
```
Eingabe: "Wie viel ist 1+1?" Erwartet: "2"
```

laufendes Experiment:: Test im Code:

datensatz = langfuse.get_datensatz("qa-test")
for item in dataset.items: result = chat(item.input)
ergebnis = chat(item.input)
item.link(langfuse.trace({"output": result})), "test-1")

analysiertAnzeige der Versuchsergebnisse in der Benutzeroberfläche.

Spielplatz

gehen inKlicken Sie in der Benutzeroberfläche auf "Playground" und geben Sie die Eingabeaufforderung und die Modellparameter ein.
Prüfung (Maschinen usw.)Klicken Sie auf Ausführen, um die Ausgabe anzuzeigen, die Parameter anzupassen und zu speichern.
springenDirekt aus dem "Traces"-Fehlerergebnis Spielplatz Modifizierung.

Featured Function Bedienung

Debugging-Protokoll

Klicken Sie auf der Seite "Traces" auf einen Aufruf, um die Eingaben, Ausgaben und den Kontext zu sehen.
Zeigen Sie Benutzersitzungen unter "Sitzungen" an, um Gespräche über mehrere Runden zu analysieren.

Auswertung Output

handbetätigtBewerten Sie die Ausgabe (0-1) auf der Seite "Scores".

AutomatisierungBewertungen über API hinzufügen:

langfuse.score(trace_id="xxx", name="accuracy", value=0.95)

API-Verwendung

Aufgerufen über die OpenAPI-Spezifikation oder ein SDK (z. B. Python/JS), z. B. zur Erstellung eines Trace:

curl -X POST "http://localhost:3000/api/traces" -H "Authorization: Bearer sk-lf-xxx" -d '{"id": "trace-1", "name": "test"}'

Anwendungsszenario

RAG-Prozessvisualisierung - Verfolgung
- Visuelle Verfolgung des Gesamtprozesses von Stichwortabruf, Vektorabruf, Abruffusion, Neuordnung, Antwort
Entwicklung eines intelligenten Kundendienstes
- Das Team nutzt Langfuse, um Gespräche zu verfolgen, die Qualität der Antworten zu optimieren und das Kundenerlebnis zu verbessern.
Leistungsvergleich der Modelle
- Der Entwickler erstellt Datensätze, um die Leistung mehrerer LLMs bei einer Quizaufgabe zu testen.
Vor-Ort-Einsatz
- Das Unternehmen hostet Langfuse selbst, um sensible Daten zu schützen und interne KI-Anwendungen zu debuggen.

QA

Welche Sprachen und Frameworks werden unterstützt?
- Unterstützt Python und JS/TS und ist kompatibel mit LangChain, OpenAI, LlamaIndex und anderen.
Was ist die Mindestkonfiguration für das Selbst-Hosting?
- Kleinere Projekte benötigen eine 2-Kern-CPU und 4 GB RAM, für größere Projekte werden 8 Kerne und 16 GB empfohlen.
Wie kann ich die Telemetrie deaktivieren?
- Das Setzen der Umgebungsvariablen in der TELEMETRY_ENABLED=false.