OpenAOE: Estrutura de bate-papo de grupo de modelos grandes: bate-papo com vários modelos de idiomas grandes simultaneamente

Introdução geral

O OpenAOE é uma estrutura de bate-papo em grupo de modelo grande de código aberto que visa solucionar o problema da falta de estruturas de bate-papo no mercado atual que respondam a vários modelos em paralelo. Com o OpenAOE, os usuários podem conversar com vários LLMs (Large Language Models) ao mesmo tempo e obter resultados paralelos. A estrutura oferece suporte ao acesso a várias APIs de LLM comerciais e de código aberto, como GPT-4, Google Palm, Minimax, Claude etc., e permite que os usuários personalizem o acesso a outras APIs de LLM. O OpenAOE oferece APIs de back-end e UIs da Web para atender às necessidades de diferentes usuários e é adequado para pesquisadores de LLM, avaliadores, engenheiros Pesquisadores de LLM, avaliadores, desenvolvedores e não profissionais.

Lista de funções

• Resposta paralela de vários modelosSuporte para conversas com vários modelos de linguagem grandes ao mesmo tempo para obter resultados paralelos.
• Acesso a modelos comerciais e de código abertoSuporte ao acesso ao GPT-4, ao Google Palm, ao Minimax, ao Claude e a outras APIs comerciais e de código aberto de modelos de idiomas grandes.
• Acesso ao modelo personalizadoPermite o acesso definido pelo usuário a outras APIs de big model.
• API de back-end e Web-UIAPIs de back-end e UIs da Web para atender às necessidades de diferentes usuários.
• Vários modos de operaçãoSuporte para execução do OpenAOE via pip, docker e código-fonte.

Usando a Ajuda

Processo de instalação

Instalação via pip

1. Certifique-se de que a versão do Python seja >= 3.9.
2. Execute o seguinte comando para instalar o OpenAOE:

   pip install -U openaoe

3. Inicie o OpenAOE usando o arquivo de configuração:

   openaoe -f /path/to/your/config-template.yaml

Instalação via docker

1. Obtenha a imagem do docker do OpenAOE:

   docker pull opensealion/openaoe:latest

ou criar uma imagem de docker:

   git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest

2. Inicie o contêiner do docker:

   docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

Diretrizes para uso

1. arquivo de configuraçãoAntes de iniciar o OpenAOE, você precisa preparar o arquivo de configuração config-template.yamlEsse arquivo é usado para controlar as configurações de back-end e front-end.
2. API do modelo de acessoNo arquivo de configuração, os usuários podem configurar as APIs de modelo que precisam ser acessadas, incluindo GPT-4, Google Palm, Minimax, Claude e assim por diante. Os usuários também podem personalizar o acesso a outras APIs de modelos grandes.
3. Início dos serviçosApós iniciar o serviço OpenAOE seguindo o processo de instalação, os usuários podem operá-lo por meio da Web-UI fornecida ou integrá-lo por meio da API de back-end.
4. diálogo paraleloNo Web-UI, o usuário pode digitar uma palavra de prompt e o OpenAOE enviará uma solicitação a vários modelos de linguagem grandes ao mesmo tempo e retornará uma resposta paralela.
5. Análise dos resultadosOs usuários podem comparar os resultados de resposta de diferentes modelos para análise e avaliação.