LangWatch : un outil de visualisation pour le suivi et l'optimisation des processus LLM basé sur le cadre DSPy

Introduction générale

LangWatch est une plateforme complète conçue pour les opérations de grands modèles de langage (LLM), offrant des fonctions de surveillance, d'analyse, d'évaluation, de gestion des ensembles de données et d'optimisation des repères. La plateforme est basée sur le cadre DSPy de l'Université de Stanford et est conçue pour aider les utilisateurs à mieux gérer et optimiser les pipelines LLM. LangWatch offre une interface intuitive de type "glisser-déposer" qui permet aux utilisateurs d'effectuer facilement le suivi des expériences et le contrôle des versions. En outre, la plateforme prend en charge de nombreux outils d'évaluation et des constructeurs d'évaluation personnalisés pour garantir la qualité et la conformité des modèles. Que ce soit pour le débogage en temps réel, le suivi des performances ou l'analyse des utilisateurs, LangWatch offre une solution complète.

Liste des fonctions

• Interface visuelle : fournit une interface "glisser-déposer" pour l'optimisation du pipeline LLM.
• Basé sur le cadre DSPy : Construit sur le cadre DSPy de l'Université de Stanford.
• Génération automatique : génère automatiquement des conseils et quelques exemples.
• Suivi des expériences : suivi visuel des expériences et contrôle des versions.
• Évaluateurs : plus de 30 évaluateurs prêts à l'emploi sont disponibles, et les créateurs d'évaluations personnalisées sont pris en charge.
• Gestion des ensembles de données : fournit une fonctionnalité complète de gestion des ensembles de données.
• Contrôles de conformité : fournit des contrôles de conformité et de sécurité.
• Outils de visualisation DSPy : Outils de visualisation DSPy intégrés.

Utiliser l'aide

Installation et configuration

installation locale

1. entrepôt de clones: :

   git clone https://github.com/langwatch/langwatch.git

2. Copier le fichier de configuration de l'environnement: :

   cp langwatch/.env.example langwatch/.env

3. Construire et démarrer le conteneur: :

   docker compose up --build

4. Plateformes d'accès: Ouvrez votre navigateur et visitez le site http://localhost:5560.

Paramètres de l'environnement de développement

1. Démarrage de la base de données: :

   docker compose up redis postgres opensearch

2. Installer les dépendances et lancer la plateforme: :

   make install
make start

Guide d'utilisation des fonctions

Studio d'optimisation

• interface "glisser-déposer" (drag and drop)Les utilisateurs peuvent facilement construire et optimiser les pipelines LLM grâce à des composants à glisser-déposer.
• Suivi expérimentalLes expériences sont enregistrées de manière détaillée pour chaque expérience, afin de permettre le contrôle des versions et la comparaison des résultats.

l'assurance qualité (AQ)

• Outils d'évaluation intégrésLa plateforme dispose de plus de 30 outils d'évaluation intégrés, ce qui permet aux utilisateurs de choisir la méthode d'évaluation appropriée en fonction de leurs besoins.
• Constructeur d'évaluations personnaliséesLes utilisateurs peuvent personnaliser les critères d'évaluation et la méthodologie en fonction de leurs besoins spécifiques.

Gestion des ensembles de données

• Téléchargement et gestion des donnéesLes utilisateurs peuvent télécharger et gérer leurs propres ensembles de données et la plateforme fournit des contrôles complets de conformité des données.
• la sécurité des donnéesLes données doivent être conservées dans un endroit sûr, à l'abri des regards indiscrets, afin de garantir la sécurité des données lors de leur transmission et de leur stockage.

Suivi et analyse

• débogage en temps réelLes outils de débogage en temps réel aident les utilisateurs à localiser et à résoudre rapidement les problèmes.
• Suivi des performancesLes utilisateurs peuvent ainsi optimiser leurs modèles grâce à une documentation détaillée des mesures de performance des modèles.
• analyse des utilisateursLes utilisateurs doivent pouvoir disposer d'outils d'analyse du comportement des utilisateurs pour les aider à comprendre comment le modèle est utilisé.
• Mesures commerciales personnaliséesLes utilisateurs peuvent personnaliser les mesures de surveillance et les alertes en fonction des besoins de l'entreprise.

LangWatch Cloud

• S'inscrire et se connecterLes utilisateurs peuvent s'inscrire pour obtenir un compte gratuit sur la plateforme LangWatch Cloud et se connecter pour accéder à l'ensemble des fonctionnalités de la plateforme.
• service en nuageLe système de gestion de l'infrastructure : il fournit des services en nuage à haute disponibilité, de sorte que les utilisateurs n'ont pas à se préoccuper de la maintenance et de la gestion de l'infrastructure.

Soutien à l'auto-hébergement

• Soutien aux entreprisesLangWatch fournit un support commercial pour aider les utilisateurs à héberger eux-mêmes la plateforme sur leur propre infrastructure.
• Documentation détailléeLa plate-forme fournit une documentation détaillée et autonome pour aider les utilisateurs à mener à bien l'installation et la configuration.