Bambo: 지능형 기관을 위한 가볍고 유연한 프레임워크로, 역할과 도구를 간단하게 구성하여 여러 작업을 처리할 수 있습니다.

10.4K 00

일반 소개

Bambo는 주류 프레임워크보다 가볍고 유연하며 다양한 로드 작업을 처리할 수 있는 새로운 유형의 프록시 프레임워크로, 도구 카탈로그의 모든 도구를 정의하고 비동기 사용자 정의 함수를 사용하여 효율적인 프록시 기능을 구현합니다. 사용자는 llm_client.py 파일에서 호출해야 하는 모델과 클라이언트 파라미터를 정의한 다음 예제 폴더에서 자체 테스트 스크립트를 만들 수 있으며, Bambo의 목표는 다양한 애플리케이션 시나리오에 효율적이고 유연한 프록시 솔루션을 제공하는 것입니다.

기존 에이전트 프레임워크는 각 역할이 독립적인 에이전트이며, 업무를 조정하는 '슈퍼바이저'가 필요하고, 역할 전환 시 복잡한 인수인계 과정을 거쳐야 하며, LLM 호출 수가 상대적으로 많아 응답 속도와 부드러움이 떨어집니다.
Bambo는 롤플레잉을 통해 이 문제를 해결합니다. Bambo를 기반으로 노트북과 유사한 효과를 구현합니다. 이 효과에는 TTS가 없으므로 필요한 경우 테스트 스크립트에 해당 코드를 추가하면 됩니다.

기능 목록

가볍고 유연한 프록시 프레임워크
다양한 부하 처리
비동기 사용자 지정 함수 지원
필요한 모델 및 클라이언트 매개변수 정의 및 호출
테스트 스크립트 만들기 및 실행
다중 캐릭터 시나리오 지원
코드 실행 및 분석 기능

도움말 사용

설치 프로세스

복제 창고:

git clone https://github.com/LB-Young/Bambo.git
cd Bambo

종속성을 설치합니다:
```
pip install -r requirements.txt
```
PyTorch를 수동으로 설치합니다(필요한 경우):
```
pip3 install torch torchvision torchaudio
```

설정 및 구성

도구 카탈로그에 있는 모든 도구를 정의하고 사용자 지정 함수가 비동기식인지 확인하세요.
llm_client.py 파일에서 필요한 호출에 대한 모델 및 클라이언트 매개 변수를 정의합니다.
예제 폴더에서 필요한 역할과 도구를 정의하여 나만의 테스트 스크립트를 만드세요.

Bambo 객체를 초기화하고 필요한 매개변수를 전달합니다:

from src.bambo import Bambo
from src.llm_client import client, model
from src.tools.code_execute import code_execute
roles = {
"finance_expert": "金融专家",
"law_expert": "法律专家",
"medical_expert": "医疗专家",
"computer_expert": "计算机专家",
}
tools = {}
bambo = Bambo(client=client, bambo_role=None, roles=roles, tools=tools, agents=None, model=model)
query = "我是高考生，现在想要选专业，但是不知道选什么专业。请你介绍一下金融、法律和计算机三个专业分别有什么优点和缺点。"
async for item in bambo.execute(query=query):
print(item, end="", flush=True)

Bambo 사용

Bambo 인터페이스를 실행합니다:
```
python examples/notebooklm.py
```
를 클릭하거나 백그라운드에서 에이전트를 실행하세요:
```
nohup python examples/multi_roles.py &> multi_roles.log &
```
대화형 메뉴에서 다음 옵션을 안내합니다:
- 교육 데이터 세트 생성/업데이트
- 교육 모델
- 에이전트 실행
- 전체 워크플로 실행
- 중단