옵저버: OpenAI 호환 API 요청 데이터를 추적하는 AI 통합 가시성을 위한 경량 라이브러리입니다.

2.3K 00

일반 소개

Observers는 생성형 AI API를 위한 포괄적인 관찰 기능을 제공하도록 설계된 오픈 소스 Python SDK입니다. 이 라이브러리를 통해 사용자는 AI 모델과의 상호작용을 쉽게 추적 및 기록하고 이러한 관찰 결과를 여러 백엔드에 저장할 수 있습니다. OpenAI든 OpenAI API 메시지 형식을 구현하는 다른 LLM 제공업체든 관계없이 관찰자를 효율적으로 모니터링하고 기록할 수 있습니다. DuckDB 및 Hugging Face 데이터세트와 같은 스토리지 백엔드와의 통합을 통해 사용자는 AI 상호 작용 데이터를 쉽게 쿼리하고 분석할 수 있습니다.

Observers：用于AI可观测性的轻量级库，可追踪OpenAI兼容的API请求数据

기능 목록

생성형 AI API 모니터링OpenAI 및 OpenAI API 메시지 형식을 구현하는 기타 LLM 제공업체를 지원합니다.
여러 백엔드 데이터 스토리지DuckDB, 허깅 페이스 데이터세트 및 기타 여러 스토리지 백엔드 지원.
문서 정보 보기Docling 통합을 통해 PDF, DOCX, PPTX, XLSX, 이미지, HTML, AsciiDoc, 마크다운 등 여러 문서 형식을 지원합니다.
오픈 소스 원격 분석 지원오픈텔레메트리 통합을 통해 여러 원격 분석 제공업체를 지원합니다.
통합 인터페이스AISuite 및 Litellm을 통해 통합된 LLM API 인터페이스를 제공합니다.

도움말 사용

마운팅

먼저 pip를 사용하여 옵저버 SDK를 설치할 수 있습니다:

pip install observers

AISuite 또는 Litellm을 통해 다른 LLM 제공업체를 사용하려는 경우 다음 명령을 사용하여 설치할 수 있습니다:

pip install observers[aisuite]  # 或者 observers[litellm]

문서 정보를 관찰해야 하는 경우 Docling 통합 기능을 사용할 수 있습니다:

pip install observers[docling]

오픈 소스 원격 분석 지원을 위해 다음을 설치할 수 있습니다:

pip install observers[opentelemetry]

활용

옵저버 라이브러리는 옵저버와 스토리지를 구분합니다. 옵저버는 생성형 AI API(예: OpenAI 또는 llama-index)를 패키징하고 상호작용을 추적합니다. 반면에 스토리지 클래스는 이러한 관찰을 다른 스토리지 백엔드(예: DuckDB 또는 Hugging Face 데이터세트)에 동기화합니다.

샘플 코드(컴퓨팅)

다음은 옵저버 라이브러리를 사용하여 요청을 전송하고 상호작용을 기록하는 방법을 보여주는 간단한 예제 코드입니다:

from observers.observers import wrap_openai
from observers.stores import DuckDBStore
from openai import OpenAI
store = DuckDBStore()
openai_client = OpenAI()
client = wrap_openai(openai_client, store=store)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Tell me a joke."}],
)

이 코드는 요청을 서버리스 엔드포인트로 보내고 기본 저장소인 DatasetsStore를 사용하여 허브 데이터세트에 상호 작용을 기록합니다. 데이터 세트는 개인 워크스페이스(예: http://hf.co/{your_username})로 푸시됩니다.