Bambo: легкий и гибкий фреймворк для интеллектуальных органов, с простой конфигурацией ролей и инструментами для решения множества задач

Общее введение

Bambo - это новый тип прокси-фреймворка, который легче и гибче основных фреймворков и способен решать широкий спектр задач по нагрузке.Bambo достигает эффективной функциональности прокси за счет определения всех инструментов в каталоге инструментов и использования асинхронных пользовательских функций. Пользователи могут определить параметры модели и клиента, которые им нужно вызвать, в файле llm_client.py, а затем создать свои собственные тестовые сценарии в папке examples.Цель Bambo - предоставить эффективное и гибкое прокси-решение для различных сценариев применения.

В традиционной системе агентов каждая роль является независимым агентом, необходим "супервайзер" для координации работы, переключение ролей должно проходить через сложный процесс передачи, количество вызовов LLM относительно велико, что приводит к низкой скорости и плавности реагирования.

Bambo решает эту проблему с помощью ролевой игры. На основе Bambo реализован аналогичный эффект notebooklm. В эффекте нет TTS, поэтому при необходимости вы можете добавить соответствующий код в тестовый скрипт.

Список функций

• Легкий и гибкий прокси-фреймворк
• Работа с различными грузами
• Поддержка асинхронных пользовательских функций
• Определите и вызовите необходимые параметры модели и клиента
• Создание и выполнение сценариев тестирования
• Поддержка многосимвольных сценариев
• Функции выполнения и анализа кода

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/LB-Young/Bambo.git
   cd Bambo
   

2. Установите зависимость:

   pip install -r requirements.txt
   

3. Установите PyTorch вручную (если необходимо):

   pip3 install torch torchvision torchaudio
   

Установка и настройка

1. Определите все инструменты в каталоге инструментов и убедитесь, что пользовательские функции являются асинхронными.
2. Определите параметры модели и клиента для необходимых вызовов в файле llm_client.py.
3. Создайте собственные сценарии тестирования в папке с примерами, определив необходимые роли и инструменты.
4. Инициализируйте объект Bambo и передайте в него необходимые параметры:

   from src.bambo import Bambo
   from src.llm_client import client, model
   from src.tools.code_execute import code_execute
   roles = {
   "finance_expert": "金融专家",
   "law_expert": "法律专家",
   "medical_expert": "医疗专家",
   "computer_expert": "计算机专家",
   }
   tools = {}
   bambo = Bambo(client=client, bambo_role=None, roles=roles, tools=tools, agents=None, model=model)
   query = "我是高考生，现在想要选专业，但是不知道选什么专业。请你介绍一下金融、法律和计算机三个专业分别有什么优点和缺点。"
   async for item in bambo.execute(query=query):
   print(item, end="", flush=True)
   

Использование Бамбо

1. Запустите интерфейс Bambo:

   python examples/notebooklm.py
   

2. или запустить агента в фоновом режиме:

   nohup python examples/multi_roles.py &> multi_roles.log &
   

3. Интерактивное меню поможет вам выбрать следующие опции:
   • Создание/обновление набора обучающих данных
   • Модели обучения
   • Бегущие агенты
   • Запустите полный рабочий процесс
   • прервать

настроить

Отредактируйте config.py для настройки:

• Выбор модели
• Обучение гиперпараметров
• Настройки прокси-сервера
• Отзывчивые шаблоны
• Фильтрация задач

Bambo предлагает множество способов фильтрации выполняемых задач:

1. Маркировка (автоматическая)
2. Черный список (вручную)