Observers : une bibliothèque légère pour l'observabilité de l'IA qui suit les données des requêtes d'API compatibles avec OpenAI

Introduction générale

Observers est un SDK Python open source conçu pour fournir une observabilité complète pour les API d'IA générative. La bibliothèque permet aux utilisateurs de suivre et d'enregistrer facilement les interactions avec les modèles d'IA et de stocker ces observations dans plusieurs backends. Qu'il s'agisse d'OpenAI ou d'un autre fournisseur LLM qui met en œuvre le format de message de l'API OpenAI, les observateurs peuvent être surveillés et enregistrés de manière efficace. En intégrant des backends de stockage tels que DuckDB et Hugging Face datasets, les utilisateurs peuvent facilement interroger et analyser les données d'interaction de l'IA.

Liste des fonctions

• Surveillance de l'API par l'IA générativeSupport pour OpenAI et d'autres fournisseurs de LLM qui implémentent le format de message de l'API OpenAI.
• Stockage multiple de données en arrière-planPrise en charge de DuckDB, des ensembles de données Hugging Face et de nombreux autres systèmes de stockage.
• Veille documentairePrise en charge de plusieurs formats de documents tels que PDF, DOCX, PPTX, XLSX, Images, HTML, AsciiDoc et Markdown grâce à l'intégration de Docling.
• Support de télémétrie open sourceSupport de plusieurs fournisseurs de télémétrie grâce à l'intégration d'OpenTelemetry.
• interface unifiéeLe système de gestion de l'interface LLM : fournit une interface API LLM unifiée par l'intermédiaire d'AISuite et de Litellm.

Utiliser l'aide

montage

Tout d'abord, vous pouvez installer le SDK de l'observateur à l'aide de pip :

pip install observers

Si vous souhaitez utiliser un autre fournisseur LLM via AISuite ou Litellm, vous pouvez l'installer à l'aide de la commande suivante :

pip install observers[aisuite]  # 或者 observers[litellm]

Si vous avez besoin d'observer des informations sur des documents, vous pouvez utiliser l'intégration Docling :

pip install observers[docling]

Pour la prise en charge de la télémétrie open source, les éléments suivants peuvent être installés :

pip install observers[opentelemetry]

utiliser

La bibliothèque d'observateurs fait la distinction entre les observateurs et le stockage. Les observateurs intègrent des API d'IA générative (par exemple OpenAI ou llama-index) et suivent leurs interactions. La classe de stockage, quant à elle, synchronise ces observations avec un backend de stockage différent (par exemple DuckDB ou Hugging Face dataset).

exemple de code (informatique)

Vous trouverez ci-dessous un exemple de code simple montrant comment envoyer des requêtes et enregistrer des interactions à l'aide de la bibliothèque Observer :

from observers.observers import wrap_openai
from observers.stores import DuckDBStore
from openai import OpenAI
store = DuckDBStore()
openai_client = OpenAI()
client = wrap_openai(openai_client, store=store)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Tell me a joke."}],
)

Le code envoie la demande à un point de terminaison sans serveur et enregistre l'interaction dans un jeu de données Hub en utilisant le stockage par défaut DatasetsStore. L'ensemble de données sera poussé vers votre espace de travail personnel (par exemple http://hf.co/{votre_nom_d'utilisateur}).

Stockage des configurations

Pour configurer un autre système de stockage, vous pouvez vous référer à l'exemple suivant :

• Stockage DuckDBLe stockage par défaut est DuckDB, qui peut être consulté et interrogé à l'aide de la CLI DuckDB.
• Stockage de l'ensemble de données sur les visages étreintsLes ensembles de données peuvent être visualisés et interrogés à l'aide du visualiseur d'ensembles de données Hugging Face.
• Argilla StoragePermet de synchroniser les observations avec Argilla.
• Stockage OpenTelemetryPermet de synchroniser les observations avec n'importe quel fournisseur compatible avec OpenTelemetry.