LangWatch: ein Visualisierungstool zur Überwachung und Optimierung von LLM-Prozessen auf der Grundlage des DSPy-Frameworks

Allgemeine Einführung

LangWatch ist eine umfassende Plattform für den Betrieb von Large Language Models (LLM), die Überwachung, Analyse, Auswertung, Datensatzverwaltung und Cue-Optimierung bietet. Die Plattform basiert auf dem DSPy-Framework der Stanford University und wurde entwickelt, um Nutzern zu helfen, LLM-Pipelines besser zu verwalten und zu optimieren.LangWatch bietet eine intuitive Drag-and-Drop-Oberfläche, die es Nutzern ermöglicht, Experimente einfach zu verfolgen und die Versionskontrolle durchzuführen. Darüber hinaus unterstützt die Plattform mehrere Evaluierungswerkzeuge und benutzerdefinierte Evaluierungsbausteine, um die Modellqualität und -konformität sicherzustellen. Ob für Echtzeit-Debugging, Leistungsverfolgung oder Benutzeranalyse, LangWatch bietet eine umfassende Lösung.

Funktionsliste

• Visuelle Schnittstelle: Bietet eine Drag-and-Drop-Schnittstelle für die LLM-Pipeline-Optimierung.
• Basierend auf dem DSPy-Framework: Aufbauend auf dem DSPy-Framework der Stanford University.
• Auto-Generierung: Generiert automatisch Tipps und einige Beispiele.
• Experimentverfolgung: Visuelle Experimentverfolgung und Versionskontrolle.
• Evaluatoren: Mehr als 30 Standard-Evaluatoren sind verfügbar, und benutzerdefinierte Evaluationsersteller werden unterstützt.
• Dataset Management: Bietet vollständige Funktionen für das Dataset Management.
• Konformitätsprüfungen: Bietet Konformitäts- und Sicherheitsprüfungen.
• DSPy-Visualisierungswerkzeuge: Eingebaute DSPy-Visualisierungswerkzeuge.

Hilfe verwenden

Installation und Einrichtung

lokale Installation

1. Klon-Lager::

   git clone https://github.com/langwatch/langwatch.git

2. Kopieren Sie die Umgebungskonfigurationsdatei::

   cp langwatch/.env.example langwatch/.env

3. Erstellen und Starten des Containers::

   docker compose up --build

4. Zugangsplattformen: Öffnen Sie Ihren Browser und besuchen Sie http://localhost:5560.

Einstellungen der Entwicklungsumgebung

1. Starten der Datenbank::

   docker compose up redis postgres opensearch

2. Installieren Sie die Abhängigkeiten und starten Sie die Plattform::

   make install
make start

Funktion Betriebsanleitung

Optimierungs-Studio

• Drag-and-Drop-SchnittstelleMit Drag-and-Drop-Komponenten können Benutzer LLM-Pipelines einfach erstellen und optimieren.
• Experimentelle VerfolgungAufzeichnung detaillierter Informationen über jedes Experiment zur Versionskontrolle und zum Vergleich der Ergebnisse.

Qualitätssicherung (QA)

• Eingebaute BewertungswerkzeugeDie Plattform verfügt über mehr als 30 integrierte Bewertungsinstrumente, die es den Nutzern ermöglichen, die für ihre Bedürfnisse geeignete Bewertungsmethode auszuwählen.
• Custom Evaluation BuilderBenutzer können die Bewertungskriterien und die Methodik an ihre spezifischen Bedürfnisse anpassen.

Verwaltung von Datensätzen

• Hochladen und Verwaltung von DatenBenutzer können ihre eigenen Datensätze hochladen und verwalten, und die Plattform bietet umfassende Prüfungen der Datenkonformität.
• DatensicherheitSicherheit der Daten bei der Übermittlung und Speicherung gewährleisten.

Überwachung und Analyse

• Echtzeit-FehlerbehebungBereitstellung von Echtzeit-Debugging-Tools, die den Benutzern helfen, Probleme schnell zu finden und zu beheben.
• LeistungsverfolgungDetaillierte Dokumentation der Leistungskennzahlen des Modells zur Unterstützung der Benutzer bei der Optimierung ihrer Modelle.
• NutzeranalyseBereitstellung von Tools zur Analyse des Nutzerverhaltens, damit die Nutzer verstehen, wie das Modell genutzt wird.
• Maßgeschneiderte GeschäftsmetrikenBenutzer können die Überwachungsmetriken und -warnungen entsprechend den Geschäftsanforderungen anpassen.

LangWatch Cloud

• Registrieren & AnmeldenBenutzer können sich für ein kostenloses Konto auf der LangWatch Cloud Platform registrieren und sich anmelden, um die volle Funktionalität der Plattform zu nutzen.
• Cloud-DienstBietet hochverfügbare Cloud-Services, so dass sich die Nutzer nicht um die Wartung und Verwaltung der Infrastruktur kümmern müssen.

Selbstgehostete Unterstützung

• Unterstützung für UnternehmenLangWatch bietet kommerziellen Support an, um den Nutzern zu helfen, die Plattform selbst auf ihrer eigenen Infrastruktur zu hosten.
• Ausführliche DokumentationDie Plattform bietet eine detaillierte, selbst gehostete Dokumentation, die den Benutzern hilft, die Installation und Konfiguration erfolgreich abzuschließen.