OpenAOE：大模型群聊框架：同时与多个大语言模型聊天

综合介绍

OpenAOE 是一个开源的大模型群聊框架，旨在解决当前市场上缺乏多模型并行响应的聊天框架的问题。通过 OpenAOE，用户可以同时与多个大语言模型（LLM）进行对话，获取并行输出。该框架支持接入多种商业和开源的大语言模型 API，如 GPT-4、Google Palm、Minimax、Claude 等，并允许用户自定义接入其他大模型 API。OpenAOE 提供了后端 API 和 Web-UI，以满足不同用户的需求，适用于 LLM 研究人员、评估人员、工程开发者以及非专业人士。

功能列表

• 多模型并行响应：支持同时与多个大语言模型进行对话，获取并行输出。
• 商业和开源模型接入：支持接入 GPT-4、Google Palm、Minimax、Claude 等多种商业和开源大语言模型 API。
• 自定义模型接入：允许用户自定义接入其他大模型 API。
• 后端 API 和 Web-UI：提供后端 API 和 Web-UI，以满足不同用户的需求。
• 多种运行方式：支持通过 pip、docker 和源码运行 OpenAOE。

使用帮助

安装流程

通过 pip 安装

1. 确保 Python 版本 >= 3.9。
2. 运行以下命令安装 OpenAOE：

   pip install -U openaoe

3. 使用配置文件启动 OpenAOE：

   openaoe -f /path/to/your/config-template.yaml

通过 docker 安装

1. 获取 OpenAOE docker 镜像：

   docker pull opensealion/openaoe:latest

或者构建 docker 镜像：

   git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest

2. 启动 docker 容器：

   docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

使用指南

1. 配置文件：在启动 OpenAOE 前，需要准备好配置文件 config-template.yaml，该文件用于控制后端和前端的设置。
2. 接入模型 API：在配置文件中，用户可以配置需要接入的模型 API，包括 GPT-4、Google Palm、Minimax、Claude 等。用户还可以自定义接入其他大模型 API。
3. 启动服务：按照安装流程启动 OpenAOE 服务后，用户可以通过提供的 Web-UI 进行操作，或者通过后端 API 进行集成。
4. 并行对话：在 Web-UI 中，用户可以输入一个提示词，OpenAOE 将同时向多个大语言模型发送请求，并返回并行的响应结果。
5. 结果分析：用户可以对比不同模型的响应结果，进行分析和评估。