LangWatch: ein Visualisierungstool zur Überwachung und Optimierung von LLM-Prozessen basierend auf dem DSPy-Framework

🚀 Einladung zum Erleben: Chinas erste KI-IDE Intelligente Programmiersoftware Trae Chinesische Version downloadDer DeepSeek-R1 und Doubao-pro sind unbegrenzt verfügbar!

Allgemeine Einführung

LangWatch ist eine umfassende Plattform für den Betrieb von Large Language Models (LLM), die Überwachung, Analyse, Auswertung, Datensatzverwaltung und Cue-Optimierung bietet. Die Plattform basiert auf dem DSPy-Framework der Stanford University und wurde entwickelt, um Nutzern zu helfen, LLM-Pipelines besser zu verwalten und zu optimieren.LangWatch bietet eine intuitive Drag-and-Drop-Oberfläche, die es Nutzern ermöglicht, Experimente einfach zu verfolgen und die Versionskontrolle durchzuführen. Darüber hinaus unterstützt die Plattform mehrere Evaluierungswerkzeuge und benutzerdefinierte Evaluierungsbausteine, um die Modellqualität und -konformität sicherzustellen. Ob für Echtzeit-Debugging, Leistungsverfolgung oder Benutzeranalyse, LangWatch bietet eine umfassende Lösung.

LangWatch: ein Visualisierungstool zur Überwachung und Optimierung von LLM-Prozessen auf der Grundlage des DSPy-Frameworks-1

Funktionsliste

Visuelle Schnittstelle: Bietet eine Drag-and-Drop-Schnittstelle für die LLM-Pipeline-Optimierung.
Basierend auf dem DSPy-Framework: Aufbauend auf dem DSPy-Framework der Stanford University.
Auto-Generierung: Generiert automatisch Tipps und einige Beispiele.
Experimentverfolgung: Visuelle Experimentverfolgung und Versionskontrolle.
Evaluatoren: Mehr als 30 Standard-Evaluatoren sind verfügbar, und benutzerdefinierte Evaluationsersteller werden unterstützt.
Dataset Management: Bietet vollständige Funktionen für das Dataset Management.
Konformitätsprüfungen: Bietet Konformitäts- und Sicherheitsprüfungen.
DSPy-Visualisierungswerkzeuge: Eingebaute DSPy-Visualisierungswerkzeuge.

Hilfe verwenden

Installation und Einrichtung

lokale Installation

Klon-Lager::

   git clone https://github.com/langwatch/langwatch.git

Kopieren Sie die Umgebungskonfigurationsdatei::

   cp langwatch/.env.example langwatch/.env

Erstellen und Starten des Containers::

   docker compose up --build

Zugangsplattformen: Öffnen Sie Ihren Browser und besuchen Sie http://localhost:5560.

Einstellungen der Entwicklungsumgebung

Starten der Datenbank::

   docker compose up redis postgres opensearch

Installieren Sie die Abhängigkeiten und starten Sie die Plattform::

   make install
make start

Funktion Betriebsanleitung

Optimierungs-Studio

Drag-and-Drop-SchnittstelleMit Drag-and-Drop-Komponenten können Benutzer LLM-Pipelines einfach erstellen und optimieren.
Experimentelle VerfolgungAufzeichnung detaillierter Informationen über jedes Experiment zur Versionskontrolle und zum Vergleich der Ergebnisse.

Qualitätssicherung (QA)

Eingebaute BewertungswerkzeugeDie Plattform verfügt über mehr als 30 integrierte Bewertungsinstrumente, die es den Nutzern ermöglichen, die für ihre Bedürfnisse geeignete Bewertungsmethode auszuwählen.
Custom Evaluation BuilderBenutzer können die Bewertungskriterien und die Methodik an ihre spezifischen Bedürfnisse anpassen.

Verwaltung von Datensätzen

Hochladen und Verwaltung von DatenBenutzer können ihre eigenen Datensätze hochladen und verwalten, und die Plattform bietet umfassende Prüfungen der Datenkonformität.
DatensicherheitSicherheit der Daten bei der Übermittlung und Speicherung gewährleisten.

Überwachung und Analyse

Echtzeit-FehlerbehebungBereitstellung von Echtzeit-Debugging-Tools, die den Benutzern helfen, Probleme schnell zu finden und zu beheben.
LeistungsverfolgungDetaillierte Dokumentation der Leistungskennzahlen des Modells zur Unterstützung der Benutzer bei der Optimierung ihrer Modelle.
NutzeranalyseBereitstellung von Werkzeugen zur Analyse des Nutzerverhaltens, damit die Nutzer verstehen, wie das Modell genutzt wird.
Maßgeschneiderte GeschäftsmetrikenBenutzer können die Überwachungsmetriken und -warnungen entsprechend den Geschäftsanforderungen anpassen.

LangWatch Cloud

Registrieren & AnmeldenBenutzer können sich für ein kostenloses Konto auf der LangWatch Cloud Platform registrieren und sich anmelden, um die volle Funktionalität der Plattform zu nutzen.
Cloud-DienstBietet hochverfügbare Cloud-Services, so dass sich die Nutzer nicht um die Wartung und Verwaltung der Infrastruktur kümmern müssen.

Selbstgehostete Unterstützung

Unterstützung für UnternehmenLangWatch bietet kommerziellen Support an, um den Nutzern zu helfen, die Plattform selbst auf ihrer eigenen Infrastruktur zu hosten.
Ausführliche DokumentationDie Plattform bietet eine detaillierte, selbst gehostete Dokumentation, die den Benutzern hilft, die Installation und Konfiguration erfolgreich abzuschließen.