Laminar: plataforma de código abierto de ingeniería de productos de IA para facilitar el seguimiento y la evaluación de la visualización de datos

Introducción general

Laminar es una plataforma de optimización de ingeniería de IA de código abierto centrada en la ingeniería de IA desde los primeros principios. Ayuda a los usuarios a recopilar, comprender y utilizar datos para mejorar la calidad de las aplicaciones LLM (Large Language Model). Laminar proporciona capacidades completas de observabilidad, análisis de texto, evaluación y gestión de la cadena de pistas para ayudar a los usuarios a crear y optimizar productos de IA complejos. Ya se trate de seguimiento de datos, evaluación en línea o creación de conjuntos de datos, Laminar proporciona un potente soporte para ayudar a los usuarios a lograr un desarrollo y despliegue eficientes de la IA.

Su moderna pila de tecnología de código abierto incluye Rust, RabbitMQ, Postgres, Clickhouse y más, garantizando un alto rendimiento y una baja sobrecarga. Los usuarios pueden desplegar rápidamente con Docker Compose o disfrutar de todas las funcionalidades mediante una plataforma alojada.

DEMO: https://www.lmnr.ai/

Lista de funciones

• Seguimiento de datosDocumentar cada paso de la ejecución de la aplicación LLM y recopilar datos valiosos para una mejor evaluación y puesta a punto.
• Evaluación en líneaPara cada tramo recibido, configure LLM como evaluador o utilice un evaluador de script Python.
• Construcción del conjunto de datos: Construcción de conjuntos de datos a partir de datos de seguimiento para evaluar, afinar e impulsar la ingeniería.
• Gestión de la cadena del taco: Soporte para construir y alojar cadenas de cue complejas, incluyendo pipelines LLM híbridos o autorreflexivos de agentes.
• Código abierto y autoalojamientoSoftware de código abierto: Completamente de código abierto, fácilmente autoalojable y listo para funcionar con sólo unos pocos comandos.

Utilizar la ayuda

Proceso de instalación

1. Clonación de repositorios GitHub:

   git clone https://github.com/lmnr-ai/lmnr
   

2. Vaya al catálogo de proyectos:

   cd lmnr
   

3. Empezar con Docker Compose:

   docker compose up -d
   

Guía de funcionamiento

Seguimiento de datos

• inicializaciónImportar Laminar en el código e inicializar la clave API del proyecto.

  from lmnr import Laminar, observe
  Laminar.initialize(project_api_key="...")
  

• función de comentario: Uso@observeAnote las funciones que deben rastrearse.

  @observe()
  def my_function():
  ...
  

Evaluación en línea

• Configuración del evaluadorEl LLM puede configurarse para actuar como juez o utilizar un evaluador de script Python para evaluar y marcar cada tramo recibido.

  # 示例代码
  evaluator = LLMJudge()
  evaluator.evaluate(span)
  

Construcción del conjunto de datos

• Creación de un conjunto de datos: Construye conjuntos de datos a partir de los datos de seguimiento para su posterior evaluación y ajuste.

  dataset = create_dataset_from_traces(traces)
  

Gestión de la cadena del taco

• Construir una cadena de tacos: Soporte para la construcción de cadenas de pistas complejas, incluyendo la mezcla de agentes o los conductos LLM autorreflexivos.

  chain = PromptChain()
  chain.add_prompt(prompt)
  

autoalojado

• Pasos autogestionadosPara empezar a autoalojarse con unos pocos comandos, asegúrese de que Docker y Docker Compose están instalados en su entorno.

  git clone https://github.com/lmnr-ai/lmnr
  cd lmnr
  docker compose up -d