LangWatch: DSPy 프레임워크에 기반한 LLM 프로세스 모니터링 및 최적화를 위한 시각화 도구

일반 소개

LangWatch는 대규모 언어 모델(LLM) 작업을 위해 설계된 종합 플랫폼으로 모니터링, 분석, 평가, 데이터 세트 관리 및 큐 최적화를 제공합니다. 이 플랫폼은 스탠포드 대학의 DSPy 프레임워크를 기반으로 하며 사용자가 LLM 파이프라인을 더 잘 관리하고 최적화할 수 있도록 설계되었으며, 사용자가 실험 추적 및 버전 관리를 쉽게 수행할 수 있는 직관적인 드래그 앤 드롭 인터페이스를 제공합니다. 또한 이 플랫폼은 여러 평가 툴과 맞춤형 평가 빌더를 지원하여 모델 품질과 규정 준수를 보장합니다. 실시간 디버깅, 성능 추적, 사용자 분석 등 어떤 용도로 사용하든 LangWatch는 종합적인 솔루션을 제공합니다.

기능 목록

• 시각적 인터페이스: LLM 파이프라인 최적화를 위한 드래그 앤 드롭 인터페이스를 제공합니다.
• DSPy 프레임워크 기반: 스탠포드 대학교의 DSPy 프레임워크를 기반으로 구축되었습니다.
• 자동 생성: 팁과 몇 가지 예시를 자동으로 생성합니다.
• 실험 추적: 시각적 실험 추적 및 버전 관리.
• 평가자: 30개 이상의 기성 평가자를 사용할 수 있으며 사용자 지정 평가 빌더가 지원됩니다.
• 데이터 세트 관리: 완벽한 데이터 세트 관리 기능을 제공합니다.
• 규정 준수 확인: 규정 준수 및 보안 확인 기능을 제공합니다.
• DSPy 시각화 도구: 내장된 DSPy 시각화 도구.

도움말 사용

설치 및 설정

로컬 설치

1. 클론 창고::

   git clone https://github.com/langwatch/langwatch.git

2. 환경 구성 파일을 복사합니다.::

   cp langwatch/.env.example langwatch/.env

3. 컨테이너 빌드 및 시작::

   docker compose up --build

4. 플랫폼 액세스브라우저를 열고 http://localhost:5560 을 방문하세요.

개발 환경 설정

1. 데이터베이스 시작하기::

   docker compose up redis postgres opensearch

2. 종속성 설치 및 플랫폼 시작::

   make install
make start

기능 작동 가이드

최적화 스튜디오

• 드래그 앤 드롭 인터페이스드래그 앤 드롭 컴포넌트를 사용하면 LLM 파이프라인을 쉽게 빌드하고 최적화할 수 있습니다.
• 실험적 추적버전 관리 및 결과 비교를 위해 각 실험에 대한 자세한 정보를 기록합니다.

품질 보증(QA)

• 기본 제공 평가 도구플랫폼에는 30개 이상의 평가 도구가 내장되어 있어 사용자가 필요에 따라 적절한 평가 방법을 선택할 수 있습니다.
• 사용자 지정 평가 빌더평가 기준 및 방법론: 사용자는 특정 요구 사항에 따라 평가 기준 및 방법론을 사용자 지정할 수 있습니다.

데이터 집합 관리

• 데이터 업로드 및 관리사용자가 직접 데이터 세트를 업로드하고 관리할 수 있으며, 플랫폼은 포괄적인 데이터 규정 준수 검사를 제공합니다.
• 데이터 보안전송 및 저장 중 데이터의 보안을 보장합니다.

모니터링 및 분석

• 실시간 디버깅실시간 디버깅 도구 제공: 사용자가 문제를 빠르게 찾아 해결할 수 있도록 실시간 디버깅 도구를 제공합니다.
• 성과 추적사용자가 모델을 최적화하는 데 도움이 되는 모델 성능 메트릭에 대한 자세한 문서입니다.
• 사용자 분석사용자 행동 분석 도구 제공: 사용자가 모델이 어떻게 사용되고 있는지 이해할 수 있도록 도와줍니다.
• 맞춤형 비즈니스 지표사용자는 비즈니스 요구 사항에 따라 모니터링 지표 및 알림을 사용자 지정할 수 있습니다.

LangWatch 클라우드

• 등록 및 로그인랭워치 클라우드 플랫폼에서 무료 계정을 등록하고 로그인하여 플랫폼의 모든 기능을 이용할 수 있습니다.
• 클라우드 서비스고가용성 클라우드 서비스를 제공하므로 사용자가 인프라 유지 및 관리에 대해 걱정할 필요가 없습니다.

셀프 호스팅 지원

• 비즈니스 지원LangWatch는 사용자가 자체 인프라에서 플랫폼을 자체 호스팅할 수 있도록 상용 지원을 제공합니다.
• 상세 문서플랫폼은 사용자가 설치 및 구성을 성공적으로 완료할 수 있도록 자세한 자체 호스팅 문서를 제공합니다.