Observers: una biblioteca ligera para la observabilidad de la IA que rastrea los datos de las solicitudes de API compatibles con OpenAI.

Introducción general

Observers es un SDK de Python de código abierto diseñado para proporcionar una capacidad de observación completa para las API de IA generativa. La biblioteca permite a los usuarios rastrear y registrar fácilmente interacciones con modelos de IA y almacenar estas observaciones en múltiples backends. Tanto si se trata de OpenAI como de otro proveedor de LLM que implemente el formato de mensajes de la API de OpenAI, los observadores pueden supervisarse y registrarse de forma eficiente. Al integrarse con backends de almacenamiento como DuckDB y conjuntos de datos de Hugging Face, los usuarios pueden consultar y analizar fácilmente los datos de interacción de la IA.

Lista de funciones

• IA Generativa Supervisión de APISoporte para OpenAI y otros proveedores LLM que implementan el formato de mensaje de la API OpenAI.
• Almacenamiento múltiple de datos back-endSoporte para DuckDB, conjuntos de datos Hugging Face y muchos otros backends de almacenamiento.
• Vigilancia de la información documental: Soporte para múltiples formatos de documentos como PDF, DOCX, PPTX, XLSX, Imágenes, HTML, AsciiDoc y Markdown a través de la integración con Docling.
• Soporte de telemetría de código abiertoSoporte para múltiples proveedores de telemetría a través de la integración de OpenTelemetry.
• interfaz unificada: Proporciona una interfaz API LLM unificada a través de AISuite y Litellm.

Utilizar la ayuda

montaje

En primer lugar, puede instalar el SDK de observador utilizando pip:

pip install observers

Si desea utilizar otro proveedor LLM a través de AISuite o Litellm, puede instalarlo utilizando el siguiente comando:

pip install observers[aisuite]  # 或者 observers[litellm]

Si necesita observar la información de un documento, puede utilizar la integración Docling:

pip install observers[docling]

Para el soporte de telemetría de código abierto, se puede instalar lo siguiente:

pip install observers[opentelemetry]

utilizar

La biblioteca de observadores distingue entre observadores y almacenamiento. Los observadores empaquetan API de IA generativa (por ejemplo, OpenAI o llama-index) y realizan un seguimiento de sus interacciones. La clase de almacenamiento, por su parte, sincroniza estas observaciones con un backend de almacenamiento diferente (por ejemplo, DuckDB o el conjunto de datos Hugging Face).

código de ejemplo (informática)

A continuación se muestra un sencillo código de ejemplo que muestra cómo enviar solicitudes y registrar interacciones utilizando la biblioteca Observer:

from observers.observers import wrap_openai
from observers.stores import DuckDBStore
from openai import OpenAI
store = DuckDBStore()
openai_client = OpenAI()
client = wrap_openai(openai_client, store=store)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Tell me a joke."}],
)

El código envía la solicitud a un punto final sin servidor y registra la interacción en un conjunto de datos Hub utilizando el almacenamiento predeterminado DatasetsStore. El conjunto de datos se enviará a su espacio de trabajo personal (por ejemplo, http://hf.co/{your_username}).

Configuración Almacenamiento

Para configurar un backend de almacenamiento diferente, puede consultar el siguiente ejemplo:

• Almacenamiento DuckDBDuckDB: El almacenamiento predeterminado es DuckDB, que se puede ver y consultar mediante la CLI de DuckDB.
• Almacenamiento del conjunto de datos Cara abrazada: Los conjuntos de datos pueden visualizarse y consultarse mediante el Visor de conjuntos de datos de Cara Abrazada.
• Almacén de ArgillaPermite sincronizar las observaciones con Argilla.
• Almacenamiento OpenTelemetryPermite sincronizar las observaciones con cualquier proveedor compatible con OpenTelemetry.