LangWatch: una herramienta de visualización para supervisar y optimizar los procesos de LLM basada en el marco DSPy

Introducción general

LangWatch es una plataforma integral diseñada para operaciones de modelos lingüísticos extensos (LLM), que proporciona supervisión, análisis, evaluación, gestión de conjuntos de datos y optimización de pistas. La plataforma se basa en el marco DSPy de la Universidad de Stanford y está diseñada para ayudar a los usuarios a gestionar y optimizar mejor los conductos LLM.LangWatch proporciona una interfaz intuitiva de arrastrar y soltar que permite a los usuarios realizar fácilmente el seguimiento de experimentos y el control de versiones. Además, la plataforma admite múltiples herramientas de evaluación y constructores de evaluación personalizados para garantizar la calidad y la conformidad de los modelos. Ya sea para depuración en tiempo real, seguimiento del rendimiento o análisis de usuarios, LangWatch ofrece una solución completa.

Lista de funciones

• Interfaz visual: proporciona una interfaz de arrastrar y soltar para la optimización de canalizaciones LLM.
• Basado en el marco DSPy: Construido sobre el marco DSPy de la Universidad de Stanford.
• Autogeneración: Genera automáticamente consejos y algunos ejemplos.
• Seguimiento de experimentos: seguimiento visual de experimentos y control de versiones.
• Evaluadores: hay disponibles más de 30 evaluadores estándar y se admiten creadores de evaluaciones personalizadas.
• Gestión de conjuntos de datos: Ofrece una completa funcionalidad de gestión de conjuntos de datos.
• Comprobaciones de conformidad: proporciona comprobaciones de conformidad y seguridad.
• Herramientas de visualización DSPy: Herramientas de visualización DSPy integradas.

Utilizar la ayuda

Instalación y configuración

instalación local

1. almacén de clones::

   git clone https://github.com/langwatch/langwatch.git

2. Copiar el fichero de configuración del entorno::

   cp langwatch/.env.example langwatch/.env

3. Construir e iniciar el contenedor::

   docker compose up --build

4. Plataformas de acceso: Abra su navegador y visite http://localhost:5560.

Configuración del entorno de desarrollo

1. Inicio de la base de datos::

   docker compose up redis postgres opensearch

2. Instalar dependencias e iniciar la plataforma::

   make install
make start

Guía de funcionamiento

Estudio de optimización

• interfaz de arrastrar y soltar: Gracias a los componentes de arrastrar y soltar, los usuarios pueden construir y optimizar fácilmente conductos LLM.
• Seguimiento experimentalRegistre información detallada sobre cada experimento para el control de versiones y la comparación de resultados.

garantía de calidad (GC)

• Herramientas de evaluación integradasLa plataforma cuenta con más de 30 herramientas de evaluación integradas, que permiten a los usuarios elegir el método de evaluación adecuado a sus necesidades.
• Constructor de evaluaciones personalizadasLos usuarios pueden personalizar los criterios y la metodología de evaluación en función de sus necesidades específicas.

Gestión de conjuntos de datos

• Carga y gestión de datosLos usuarios pueden cargar y gestionar sus propios conjuntos de datos, y la plataforma ofrece comprobaciones exhaustivas de la conformidad de los datos.
• seguridad de los datos: Garantizar la seguridad de los datos durante su transmisión y almacenamiento.

Control y análisis

• depuración en tiempo real: Proporciona herramientas de depuración en tiempo real para ayudar a los usuarios a localizar y resolver problemas rápidamente.
• Seguimiento del rendimientoDocumentación detallada de los parámetros de rendimiento de los modelos para ayudar a los usuarios a optimizarlos.
• análisis de usuariosHerramientas de análisis del comportamiento de los usuarios: Proporcionan herramientas de análisis del comportamiento de los usuarios para ayudarles a comprender cómo se utiliza el modelo.
• Métricas empresariales personalizadasLos usuarios pueden personalizar las métricas de supervisión y las alertas en función de las necesidades de la empresa.

Nube LangWatch

• Registro e inicio de sesiónLos usuarios pueden registrarse para obtener una cuenta gratuita en la plataforma en nube LangWatch e iniciar sesión para acceder a todas las funciones de la plataforma.
• servicio en la nube: Proporciona servicios en la nube de alta disponibilidad para que los usuarios no tengan que preocuparse del mantenimiento y la gestión de la infraestructura.

Soporte autoalojado

• Apoyo a las empresasLangWatch ofrece soporte comercial para ayudar a los usuarios a autoalojar la plataforma en su propia infraestructura.
• Documentación detalladaLa plataforma proporciona documentación detallada para ayudar a los usuarios a completar con éxito la instalación y la configuración.