LLManager: 지능형 자동 프로세스 승인과 인간 감사를 결합한 관리 도구

일반 소개

LLManager는 LangChain의 오픈 소스 지능형 승인 관리 도구입니다. LangGraph 승인 요청 처리를 자동화하는 동시에 사람의 검토와 함께 의사 결정을 최적화하는 데 중점을 두고 개발된 프레임워크입니다. 시맨틱 검색, 샘플 적은 학습, 반영 메커니즘을 통해 과거 승인 내역을 학습하여 승인 정확도를 높입니다. 사용자는 상담원 받은 편지함 요청 보기 및 응답, 사용자 지정 승인 및 거부 기준 지원, 여러 언어 모델(예: OpenAI, Anthropic)에 적응할 수 있는 LLManager는 기업의 예산 승인, 프로젝트 관리 및 규정 준수 검토 시나리오에 적합하며, 코드가 GitHub에서 호스팅되므로 개발자가 기능을 자유롭게 확장할 수 있습니다. 이 도구는 AI와 인간의 협업을 강조하며 효율성과 신뢰성의 균형을 맞추고 있습니다.

기능 목록

• 자동화된 승인사용자 정의 승인 및 거부 기준에 따라 승인 권장 사항을 자동으로 생성합니다.
• 인적 감사정확한 의사 결정을 위해 AI가 생성한 승인을 수동으로 수락, 수정 또는 거부할 수 있도록 지원합니다.
• 시맨틱 검색: 과거 요청에서 의미적으로 유사한 샘플 10개를 추출하여 승인의 문맥적 관련성을 개선합니다.
• 더 적은 샘플로 학습과거 승인 데이터를 기반으로 모델의 향후 의사 결정 기능을 최적화합니다.
• 반사 메커니즘수정된 승인 결과를 분석하고 반영 보고서를 생성하여 모델 성능을 개선합니다.
• 모델 사용자 지정도구 호출 기능 지원으로 OpenAI, Anthropic 등의 모델을 지원합니다.
• 상담원 받은 편지함 대화형: 승인 요청을 보고, 응답하고, 관리할 수 있는 직관적인 인터페이스를 제공합니다.
• 동적 큐 빌딩다양한 승인 시나리오에 맞게 요청에 따라 프롬프트를 동적으로 조정합니다.
• 엔드투엔드 평가테스트 사례를 실행하여 워크플로의 안정성과 정확성을 검증합니다.

도움말 사용

설치 프로세스

LLManager는 LangChain 및 LangGraph 오픈 소스 프로젝트를 기반으로 하며 로컬에 배포해야 합니다. 자세한 설치 단계는 다음과 같습니다:

1. 코드 베이스 복제::
   터미널에서 다음 명령을 실행하여 LLManager 코드를 가져옵니다:

   git clone https://github.com/langchain-ai/llmanager.git
   cd llmanager
   

2. 종속성 설치::
   시스템에 Python 3.11 이상 및 Node.js(Yarn용)가 설치되어 있는지 확인합니다. 가상 환경을 만들고 종속 요소를 설치합니다:

   python3 -m venv venv
   source venv/bin/activate
   yarn install
   

   기본 종속성에는 LangChain과 Anthropic/OpenAI 통합 패키지가 포함됩니다. 다른 모델(예: Google GenAI)을 사용하는 경우 추가 설치가 필요합니다:

   yarn install @langchain/google-genai
   

3. 환경 변수 구성::
   샘플 환경 파일을 복사하고 필요한 정보를 입력합니다:

   cp .env.example .env
   

   컴파일러 .env 파일에 LangSmith API 키와 인류학 API 키(Anthropic 모델을 사용하는 경우)를 입력합니다:

   LANGCHAIN_PROJECT="default"
   LANGCHAIN_API_KEY="lsv2_..."
   LANGCHAIN_TRACING_V2="true"
   LANGSMITH_TEST_TRACKING="true"
   ANTHROPIC_API_KEY="your_anthropic_key"
   

   LangSmith는 추적 및 디버깅에 사용되며 활성화하는 것이 좋습니다.

4. 개발 서버 시작::
   다음 명령을 실행하여 LangGraph 서버를 시작합니다:

   yarn dev
   

   서버는 기본적으로 http://localhost:2024프로덕션 환경에서는 클라우드 서버에 배포하고 URL을 업데이트합니다. 프로덕션 환경에서는 클라우드 서버에 배포하고 URL을 업데이트합니다.

사용법

LLManager의 핵심은 상담원 수신함을 통해 승인 요청을 관리하고 응답하는 것입니다. 아래는 자세한 작업 흐름입니다:

1. 엔드투엔드 평가 실행::
   • 다음 명령을 실행하여 새 승인 도우미를 생성하고 25개의 테스트 케이스를 실행합니다:

     yarn test:single evals/e2e.int.test.ts
     

   • 터미널은 새 어시스턴트의 UUID를 출력하여 상담원 받은 편지함 구성을 위해 이 ID를 기록합니다.
   • 동일한 어시스턴트를 재사용해야 하는 경우 다음과 같이 수정할 수 있습니다. evals/e2e.int.test.ts고정 도우미 ID를 사용하는 경우에는 고정 도우미 ID를 사용하세요.
2. 승인 규칙 구성::
   • 존재 config.json 에서 승인 및 거부 기준을 설정합니다. 예제에서 승인 및 거부 기준을 설정합니다:

     {
     "approvalCriteria": "请求需包含详细预算和时间表",
     "rejectionCriteria": "缺少必要文件或预算超标",
     "modelId": "anthropic/claude-3-7-sonnet-latest"
     }
     

   • 규칙이 설정되지 않은 경우 LLManager는 과거 데이터를 기반으로 학습하지만 규칙을 설정하면 모델 적응 속도가 빨라집니다.
   • modelId 지원 provider/model_name 형식과 같은 openai/gpt-4o 어쩌면 anthropic/claude-3-5-sonnet-latest.
3. 상담원 받은 편지함 사용::
   • dev.agentinbox.ai로 이동하여 "받은 편지함 추가"를 클릭합니다.
   • 다음 정보를 입력합니다:
     • 어시스턴트/그래프 ID엔드 투 엔드 평가에 의해 생성된 UUID입니다.
     • 배포 URL::http://localhost:2024(개발 환경).
     • 이름: 이름을 사용자 지정합니다(예 LLManager.
   • 제출 후 받은 편지함을 새로 고침하여 보류 중인 요청을 확인합니다.
   • 각 요청에 대해 상담원 받은 편지함이 표시됩니다:
     • AI가 생성한 승인 추천 및 추론 보고서.
     • 작업 옵션: 수락, 수정(제안 또는 지침 수정) 또는 거부(이유 제공).
   • 수정되거나 수락된 요청은 후속 승인을 최적화하기 위해 샘플 예제 라이브러리에 자동으로 저장됩니다.
4. 승인 내역 보기 및 최적화::
   • 상담원 수신함에서 처리된 요청을 클릭하여 승인 세부 정보, AI 추론 보고서 및 수동 수정 로그를 확인합니다.
   • 시스템은 시맨틱 검색을 통해 문맥 입력 모델과 유사한 요청을 기록에서 추출합니다.
   • 수정된 요청은 리플렉션 메커니즘을 트리거하여 리플렉션 저장소에 저장되고 모델 개선에 사용되는 리플렉션 보고서를 생성합니다.

주요 기능 작동

• 시맨틱 검색새 요청이 도착하면 시스템은 승인 정확도를 높이기 위해 기록에서 의미적으로 유사한 요청 10건(요청 내용, 최종 답변, 설명 포함)을 추출하여 프롬프트 컨텍스트로 표시합니다.
• 반사 메커니즘::
  • 매뉴얼이 설명만 수정하는 경우(정답은 맞지만 추론이 틀린 경우), 다음과 같이 트리거합니다. explanation_reflection 노드를 사용하여 추론 오류를 분석하고 새로운 리플렉션을 생성합니다.
  • 답안과 설명이 모두 수정된 경우 다음을 트리거합니다. full_reflection 노드를 사용하여 전체 오류를 분석하고 리플렉션을 생성합니다.
  • 리플렉션 보고서는 후속 추론을 최적화하기 위해 리플렉션 뱅크에 보관됩니다.
• 동적 큐 빌딩요청 콘텐츠와 기록 데이터를 기반으로 프롬프트를 동적으로 조정하여 다양한 시나리오에 맞게 승인이 이루어지도록 합니다.
• 모델 전환를 수정하여 config.json 정곡을 찌르세요 modelId을 클릭하고 도구 호출을 지원하는 모델로 전환합니다(예 openai/gpt-4o), 해당 통합 패키지가 설치되어 있는지 확인해야 합니다.

워크플로 설명

LLManager의 승인 절차에는 다음 단계가 포함됩니다:

1. 추론::
   • 시맨틱 검색을 통한 과거 반영 및 적은 수의 샘플 예제 추출.
   • 요청을 승인해야 하는지 여부를 분석하는 추론 보고서를 생성하지만 최종 결정은 내리지 않습니다.
2. 답변 생성::
   • 추론 보고서와 컨텍스트를 결합하여 최종 승인 권장 사항(승인 또는 거부)과 설명을 생성합니다.
3. 휴먼 리뷰::
   • 워크플로를 일시 중단하고 상담원 수신함을 통해 수동 검토를 기다립니다.
   • 사람은 제안을 수락, 수정 또는 거부할 수 있으며, 수정된 내용은 하위 샘플 예제 라이브러리에 저장됩니다.
4. 반사::
   • 권장 사항이 수정되면 반영 메커니즘이 트리거되어 개선에 대한 권장 사항을 생성합니다.
   • 수정되지 않은 요청은 이 단계를 건너뜁니다.

주의

• LangSmith API 키가 유효한지, 개발 환경과 프로덕션 환경 모두 네트워크가 안정적인지 확인하세요.
• OpenAI/인공지능이 아닌 모델은 추가 통합 패키지를 설치해야 합니다(LangChain 설명서를 참조하세요).
• 프로덕션 배포를 하려면 LangGraph 서버를 클라우드로 이동하고 상담원 수신함의 URL을 업데이트해야 합니다.

애플리케이션 시나리오

1. 기업 예산 승인
   LLManager는 사전 정의된 규칙(예: 예산 한도, 프로젝트 유형)에 따라 권장 사항을 생성하여 직원의 예산 요청 처리를 자동화합니다. 재무팀은 에이전트 받은 편지함을 통해 결과를 검토, 수정 또는 확인하여 반복적인 작업을 줄입니다.
2. 프로젝트 작업 할당
   프로젝트 관리자는 LLManager를 사용하여 작업 할당 요청을 승인합니다. 시스템은 작업 우선순위와 리소스 요구 사항을 분석하여 할당 권장 사항을 생성합니다. 관리자는 요청을 수동으로 검토하여 효율적이고 합리적인 작업 할당을 보장합니다.
3. 규정 준수 검토
   LLManager는 제출된 문서의 규정 준수 여부를 확인하고 잠재적인 문제를 표시합니다. 규정 준수 팀은 받은 편지함을 통해 결과를 확인하거나 조정하여 검토의 효율성을 높입니다.
4. 고객 요청 관리
   고객 서비스 팀은 LLManager를 사용하여 고객 환불 또는 서비스 요청을 승인합니다. 시스템은 과거 데이터를 기반으로 권장 사항을 생성하고, 팀은 이를 수동으로 검토하여 공정하고 일관성 있는 결정을 내릴 수 있도록 합니다.

QA

1. LLManager는 어떤 모델을 지원하나요?
   OpenAI, Anthropic 등과 같은 지원 모델은 도구 호출 기능을 지원해야 합니다. 기본값이 아닌 모델은 다음과 같은 LangChain 통합 패키지를 설치해야 합니다. @langchain/google-genai.
2. 동일한 어시스턴트를 재사용하려면 어떻게 해야 하나요?
   수정 evals/e2e.int.test.ts고정된 도우미 ID를 사용하거나 평가를 실행하기 전에 기존 ID를 검색하는 경우에는 새 도우미를 생성하지 마세요.
3. 프로덕션 환경에서는 어떻게 배포되나요?
   클라우드 서버에 LangGraph를 배포하고, 상담원 수신함의 배포 URL을 업데이트하고, LangSmith를 사용하여 워크플로 성능을 모니터링하세요.
4. 워크플로를 사용자 지정하려면 어떻게 하나요?
   추론 하위 그래프(프롬프트 생성 로직 조정) 또는 반영 하위 그래프(반영 생성 규칙 제어)를 편집하여 특정 승인 시나리오에 맞게 조정합니다.