에이전트 서비스 툴킷: LangGraph 기반 AI 인텔리전스 구축을 위한 완벽한 툴셋

일반 소개

AI 에이전트 서비스 툴킷은 개발자가 AI 에이전트 서비스를 빠르게 구축하고 실행할 수 있도록 설계된 LangGraph, FastAPI 및 Streamlit에 기반한 완전한 도구 세트입니다. 이 툴킷은 다양한 애플리케이션 시나리오를 위한 사용자 정의 에이전트 기능과 상호작용을 지원하는 유연한 프레임워크를 제공합니다. 챗봇, 데이터 분석 도구 또는 기타 AI 기반 서비스를 개발하든, 사용자는 툴킷을 사용하여 빠르게 구현할 수 있습니다. 이 툴킷은 사용 편의성과 확장성을 염두에 두고 설계되어 사용자가 간단한 구성과 코드 수정을 통해 필요한 기능을 쉽게 통합할 수 있습니다.

체험: https://agent-service-toolkit.streamlit.app/

에이전트 서비스 툴킷 아키텍처

기능 목록

• LangGraph 에이전트 사용 LangGraph 프레임워크에 구축된 사용자 지정 가능한 상담원.
• FastAPI 서비스 스트리밍 및 비스트리밍 엔드포인트를 위한 서비스를 제공합니다.
• 고급 스트리밍 처리 토큰 및 메시지 기반 스트리밍을 지원합니다.
• 콘텐츠 감사 : 콘텐츠 감사를 위한 LlamaGuard 구현(필수) Groq (API 키)를 입력합니다.
• 스트림라이트 인터페이스 상담원과 상호작용할 수 있는 사용자 친화적인 채팅 인터페이스를 제공합니다.
• 멀티 에이전트 지원 서비스에서 여러 프록시를 실행하고 URL 경로를 통해 호출합니다.
• 비동기식 설계 비동기/대기 기능으로 동시 요청을 효율적으로 처리합니다.
• 피드백 메커니즘 랭스미스와 통합된 별 기반 피드백 시스템이 포함되어 있습니다.
• 동적 메타데이터 /info 엔드포인트는 서비스 및 사용 가능한 상담원 및 모델에 대한 동적 구성 메타데이터를 제공합니다.
• 도커 지원 간편한 개발 및 배포를 위한 Docker파일 및 Docker 컴포즈 파일이 포함되어 있습니다.
• 테스트(기계 등) 전체 단위 및 통합 테스트를 포함합니다.

도움말 사용

설치 프로세스

1. 파이썬에서 직접 실행 ::
   • 하나 이상의 LLM API 키가 있는지 확인하세요:

   echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
   

   • 종속성을 설치하고 동기화합니다:

   pip install uv
   uv sync --frozen
   

   • 가상 환경을 활성화하고 서비스를 실행합니다:

   source .venv/bin/activate
   python src/run_service.py
   

   • 다른 터미널에서 가상 환경을 활성화하고 Streamlit 애플리케이션을 실행합니다:

   source .venv/bin/activate
   streamlit run src/streamlit_app.py
   

2. Docker로 실행하기 ::
   • 하나 이상의 LLM API 키가 있는지 확인하세요:
     bash echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
   • Docker Compose로 실행하세요:
     bash docker compose up

기능 작동 흐름

1. LangGraph 에이전트 ::
   • 프록시 정의: 프록시를 정의하려면 src/agents/ 다양한 기능을 가진 상담원을 정의하는 카탈로그입니다.
   • 프록시 구성: 프록시 구성 시 langgraph.json 파일은 에이전트의 동작과 설정을 구성합니다.
2. FastAPI 서비스 ::
   • 서비스 시작: 실행 src/service/service.py FastAPI 서비스를 시작합니다.
   • 엔드포인트에 액세스: 다음을 통해 /stream 노래로 응답 /non-stream 엔드포인트 액세스 프록시 서비스.
3. 스트림라이트 인터페이스 ::
   • 시작 화면: 실행 src/streamlit_app.py Streamlit 애플리케이션을 실행합니다.
   • 대화형 사용: 사용자 친화적인 채팅 인터페이스를 통해 상담원과 상호작용할 수 있습니다.
4. 콘텐츠 감사 ::
   • 라마가드 구성: 라마가드 설정에서 .env 파일을 추가하여 콘텐츠 감사를 활성화하는 Groq API 키를 추가합니다.
5. 멀티 에이전트 지원 ::
   • 여러 개의 프록시 구성 src/agents/ 디렉토리를 사용하여 여러 프록시를 정의하고 다른 URL 경로를 통해 호출할 수 있습니다.
6. 피드백 메커니즘 ::
   • 통합 피드백 시스템: 별점 기반 피드백 시스템이 상담원 서비스에 통합되어 사용자 피드백을 수집하여 서비스를 개선합니다.
7. 동적 메타데이터 ::
   • 메타데이터에 액세스: 다음을 통해 /info 엔드포인트는 서비스 및 사용 가능한 에이전트 및 모델에 대한 동적 구성 메타데이터를 얻습니다.
8. 테스트(기계 등) ::
   • 테스트 실행: 테스트 실행 tests/ 서비스의 안정성과 신뢰성을 보장하기 위해 단위 및 통합 테스트를 실행하는 카탈로그입니다.