Laminar：开源AI产品工程化平台，轻松实现数据可视化追踪与评估

综合介绍

Laminar是一个开源的AI工程优化平台，专注于从第一原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高LLM（大型语言模型）应用的质量。Laminar提供了全面的可观测性、文本分析、评估和提示链管理功能，支持用户构建和优化复杂的AI产品。无论是数据追踪、在线评估还是数据集构建，Laminar都能提供强大的支持，帮助用户实现高效的AI开发和部署。

其现代化的开源技术栈包括 Rust、RabbitMQ、Postgres、Clickhouse 等，确保高性能和低开销。用户可以通过 Docker Compose 快速部署，或使用托管平台享受完整功能。

DEMO：https://www.lmnr.ai/

功能列表

• 数据追踪：记录LLM应用的每一步执行过程，收集宝贵数据，用于更好的评估和微调。
• 在线评估：设置LLM作为评判者或使用Python脚本评估器，对每个接收到的跨度进行评估。
• 数据集构建：从追踪数据中构建数据集，用于评估、微调和提示工程。
• 提示链管理：支持构建和托管复杂的提示链，包括代理混合或自反思的LLM管道。
• 开源和自托管：完全开源，易于自托管，只需几个命令即可开始。

使用帮助

安装流程

1. 克隆GitHub仓库：

   git clone https://github.com/lmnr-ai/lmnr
   

2. 进入项目目录：

   cd lmnr
   

3. 使用Docker Compose启动：

   docker compose up -d
   

功能操作指南

数据追踪

• 初始化：在代码中导入Laminar并初始化项目API密钥。

  from lmnr import Laminar, observe
  Laminar.initialize(project_api_key="...")
  

• 注释函数：使用@observe注释需要追踪的函数。

  @observe()
  def my_function():
  ...
  

在线评估

• 设置评估器：可以设置LLM作为评判者或使用Python脚本评估器，对每个接收到的跨度进行评估和标记。

  # 示例代码
  evaluator = LLMJudge()
  evaluator.evaluate(span)
  

数据集构建

• 创建数据集：从追踪数据中构建数据集，用于后续的评估和微调。

  dataset = create_dataset_from_traces(traces)
  

提示链管理

• 构建提示链：支持构建复杂的提示链，包括代理混合或自反思的LLM管道。

  chain = PromptChain()
  chain.add_prompt(prompt)
  

自托管

• 自托管步骤：只需几个命令即可开始自托管，确保环境中已安装Docker和Docker Compose。

  git clone https://github.com/lmnr-ai/lmnr
  cd lmnr
  docker compose up -d