Observers: eine leichtgewichtige Bibliothek für KI-Beobachtung, die OpenAI-kompatible API-Anfragedaten verfolgt

Allgemeine Einführung

Observers ist ein quelloffenes Python-SDK, das umfassende Beobachtungsmöglichkeiten für generative KI-APIs bietet. Die Bibliothek ermöglicht es Benutzern, Interaktionen mit KI-Modellen einfach zu verfolgen und aufzuzeichnen und diese Beobachtungen in mehreren Backends zu speichern. Unabhängig davon, ob es sich um OpenAI oder einen anderen LLM-Anbieter handelt, der das OpenAI-API-Nachrichtenformat implementiert, können Beobachter effizient überwacht und protokolliert werden. Durch die Integration mit Speicher-Backends wie DuckDB und Hugging Face Datasets können Nutzer KI-Interaktionsdaten einfach abfragen und analysieren.

Funktionsliste

• Generative AI API-ÜberwachungUnterstützung für OpenAI und andere LLM-Anbieter, die das OpenAI-API-Nachrichtenformat implementieren.
• Mehrere Backend-DatenspeicherUnterstützung für DuckDB, Hugging Face-Datensätze und viele andere Speicher-Backends.
• Dokument Information WatchUnterstützung für mehrere Dokumentformate wie PDF, DOCX, PPTX, XLSX, Bilder, HTML, AsciiDoc und Markdown durch Docling-Integration.
• Open-Source-Telemetrie-UnterstützungUnterstützung für mehrere Telemetrieanbieter durch OpenTelemetry-Integration.
• einheitliche SchnittstelleBietet eine einheitliche LLM-API-Schnittstelle durch AISuite und Litellm.

Hilfe verwenden

Montage

Zuerst können Sie das Observer SDK mit pip installieren:

pip install Beobachter

Wenn Sie einen anderen LLM-Anbieter über AISuite oder Litellm verwenden möchten, können Sie ihn mit dem folgenden Befehl installieren:

pip install observers[aisuite] # oder observers[litellm]

Wenn Sie Dokumentinformationen beobachten müssen, können Sie die Docling-Integration nutzen:

pip install observers [docling]

Zur Unterstützung der Open-Source-Telemetrie kann Folgendes installiert werden:

pip install observers[opentelemetry]

ausnutzen

In der Beobachterbibliothek wird zwischen Beobachtern und Speichern unterschieden. Beobachter verpacken generative KI-APIs (z. B. OpenAI oder llama-index) und verfolgen ihre Interaktionen. Die Speicherklasse hingegen synchronisiert diese Beobachtungen mit einem anderen Speicher-Backend (z. B. DuckDB oder Hugging Face Dataset).

Beispielcode (Rechnen)

Nachfolgend finden Sie ein einfaches Codebeispiel, das zeigt, wie Sie mit der Observer Library Anfragen senden und Interaktionen protokollieren können:

from observers.observers import wrap_openai
from observers.stores import DuckDBStore
von openai importieren OpenAI
store = DuckDBStore()
openai_client = OpenAI()
client = wrap_openai(openai_client, store=store)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Erzähl mir einen Witz."}], )
)

Der Code sendet die Anfrage an einen serverlosen Endpunkt und protokolliert die Interaktion in einem Hub-Dataset unter Verwendung des Standardspeichers DatasetsStore. Das Dataset wird in Ihren persönlichen Arbeitsbereich gepusht (z. B. http://hf.co/{Ihr_Benutzername}).

Konfiguration Speicherung

Um ein anderes Speicher-Backend zu konfigurieren, können Sie das folgende Beispiel heranziehen:

• DuckDB SpeicherungDuckDB: Der Standardspeicher ist DuckDB, der über die DuckDB CLI angezeigt und abgefragt werden kann.
• Speicherung des Datensatzes "Hugging FaceDatensätze können mit dem Hugging Face Datasets Viewer angesehen und abgefragt werden.
• Argilla LagerungErmöglicht die Synchronisierung von Beobachtungen mit Argilla.
• OpenTelemetry SpeicherungOpenTelemetry: Ermöglicht die Synchronisierung von Beobachtungen mit jedem OpenTelemetry-fähigen Anbieter.