LangWatch：基于DSPy 框架监控与优化LLM流程的可视化工具

综合介绍

LangWatch 是一个专为大语言模型（LLM）操作而设计的综合平台，提供监控、分析、评估、数据集管理和提示优化等功能。该平台基于斯坦福大学的 DSPy 框架，旨在帮助用户更好地管理和优化 LLM 管道。LangWatch 提供了一个直观的拖放界面，使用户能够轻松进行实验跟踪和版本控制。此外，平台还支持多种评估工具和自定义评估构建器，确保模型的质量和合规性。无论是实时调试、性能跟踪，还是用户分析，LangWatch 都能提供全面的解决方案。

功能列表

• 可视化界面： 提供拖放式界面，用于 LLM 管道优化。
• 基于 DSPy 框架： 构建于斯坦福大学的 DSPy 框架之上。
• 自动生成： 自动生成提示和少量示例。
• 实验跟踪： 可视化实验跟踪和版本控制。
• 评估器： 提供 30 多个现成的评估器，并支持自定义评估构建器。
• 数据集管理： 提供完整的数据集管理功能。
• 合规性检查： 提供合规性和安全性检查。
• DSPy 可视化工具： 内置 DSPy 可视化工具。

使用帮助

安装与设置

本地安装

1. 克隆仓库：

   git clone https://github.com/langwatch/langwatch.git

2. 复制环境配置文件：

   cp langwatch/.env.example langwatch/.env

3. 构建并启动容器：

   docker compose up --build

4. 访问平台：打开浏览器，访问 http://localhost:5560。

开发环境设置

1. 启动数据库：

   docker compose up redis postgres opensearch

2. 安装依赖并启动平台：

   make install
make start

功能操作指南

优化工作室

• 拖放界面：通过拖放组件，用户可以轻松构建和优化LLM管道。
• 实验跟踪：记录每次实验的详细信息，便于版本控制和结果对比。

质量保证

• 内置评估工具：平台内置了30多种评估工具，用户可以根据需要选择合适的评估方法。
• 自定义评估构建器：用户可以根据具体需求，自定义评估标准和方法。

数据集管理

• 数据上传与管理：用户可以上传和管理自己的数据集，平台提供全面的数据合规性检查。
• 数据安全：确保数据在传输和存储过程中的安全性。

监控与分析

• 实时调试：提供实时调试工具，帮助用户快速定位和解决问题。
• 性能跟踪：详细记录模型的性能指标，帮助用户优化模型。
• 用户分析：提供用户行为分析工具，帮助用户了解模型的使用情况。
• 自定义业务指标：用户可以根据业务需求，自定义监控指标和警报。

LangWatch 云

• 注册与登录：用户可以在LangWatch云平台上免费注册账号，登录后即可使用平台的全部功能。
• 云端服务：提供高可用性的云端服务，用户无需担心基础设施的维护和管理。

自托管支持

• 商业支持：LangWatch提供商业支持，帮助用户在自己的基础设施上自托管平台。
• 详细文档：平台提供详细的自托管文档，帮助用户顺利完成安装和配置。