LangWatch: uma ferramenta de visualização para monitorar e otimizar os processos de LLM com base na estrutura DSPy

Introdução geral

O LangWatch é uma plataforma abrangente projetada para operações de LLM (Large Language Model), fornecendo monitoramento, análise, avaliação, gerenciamento de conjuntos de dados e otimização de dicas. A plataforma é baseada na estrutura DSPy da Universidade de Stanford e foi projetada para ajudar os usuários a gerenciar e otimizar melhor os pipelines de LLM. O LangWatch oferece uma interface intuitiva de arrastar e soltar que permite aos usuários realizar facilmente o rastreamento de experimentos e o controle de versões. Além disso, a plataforma suporta várias ferramentas de avaliação e construtores de avaliação personalizados para garantir a qualidade e a conformidade do modelo. Seja para depuração em tempo real, acompanhamento do desempenho ou análise do usuário, o LangWatch oferece uma solução abrangente.

Lista de funções

• Interface visual: fornece uma interface de arrastar e soltar para otimização de pipeline LLM.
• Baseado na estrutura DSPy: construído sobre a estrutura DSPy da Universidade de Stanford.
• Geração automática: gera automaticamente dicas e alguns exemplos.
• Rastreamento de experimentos: rastreamento visual de experimentos e controle de versões.
• Avaliadores: mais de 30 avaliadores prontos para uso estão disponíveis, e há suporte para criadores de avaliações personalizadas.
• Gerenciamento de conjunto de dados: fornece funcionalidade completa de gerenciamento de conjunto de dados.
• Verificações de conformidade: fornece verificações de conformidade e segurança.
• Ferramentas de visualização DSPy: ferramentas de visualização DSPy integradas.

Usando a Ajuda

Instalação e configuração

instalação local

1. armazém de clones::

   git clone https://github.com/langwatch/langwatch.git

2. Copie o arquivo de configuração do ambiente::

   cp langwatch/.env.example langwatch/.env

3. Crie e inicie o contêiner::

   docker compose up --build

4. Plataformas de acesso: Abra seu navegador e acesse http://localhost:5560.

Configurações do ambiente de desenvolvimento

1. Iniciando o banco de dados::

   docker compose up redis postgres opensearch

2. Instale as dependências e inicie a plataforma::

   make install
make start

Guia de operação de funções

Estúdio de otimização

• Interface de arrastar e soltarCom componentes de arrastar e soltar, os usuários podem criar e otimizar pipelines LLM com facilidade.
• Rastreamento experimentalRegistre informações detalhadas sobre cada experimento para controle de versão e comparação de resultados.

garantia de qualidade (QA)

• Ferramentas de avaliação incorporadasA plataforma tem mais de 30 ferramentas de avaliação incorporadas, permitindo que os usuários escolham o método de avaliação apropriado de acordo com suas necessidades.
• Criador de avaliações personalizadasOs usuários podem personalizar os critérios e a metodologia de avaliação de acordo com suas necessidades específicas.

Gerenciamento do conjunto de dados

• Upload e gerenciamento de dadosOs usuários podem carregar e gerenciar seus próprios conjuntos de dados e a plataforma oferece verificações abrangentes de conformidade de dados.
• segurança de dadosSegurança de dados: Garanta a segurança dos dados durante a transmissão e o armazenamento.

Monitoramento e análise

• depuração em tempo realFornecer ferramentas de depuração em tempo real para ajudar os usuários a localizar e resolver problemas rapidamente.
• Rastreamento de desempenhoDocumentação detalhada das métricas de desempenho do modelo para ajudar os usuários a otimizar seus modelos.
• análise de usuáriosForneça ferramentas de análise do comportamento do usuário para ajudar os usuários a entender como o modelo está sendo usado.
• Métricas de negócios personalizadasOs usuários podem personalizar as métricas e os alertas de monitoramento de acordo com as necessidades da empresa.

Nuvem LangWatch

• Registro e loginOs usuários podem se registrar para obter uma conta gratuita na LangWatch Cloud Platform e fazer login para acessar a funcionalidade completa da plataforma.
• serviço de nuvemFornece serviços de nuvem de alta disponibilidade para que os usuários não precisem se preocupar com a manutenção e o gerenciamento da infraestrutura.

Suporte auto-hospedado

• Suporte aos negóciosLangWatch fornece suporte comercial para ajudar os usuários a hospedar a plataforma em sua própria infraestrutura.
• Documentação detalhadaDocumentação: A plataforma fornece documentação detalhada auto-hospedada para ajudar os usuários a concluir com êxito a instalação e a configuração.