OpenAOE: Estructura de chat en grupo con modelos de gran tamaño: chatear con varios modelos lingüísticos de gran tamaño simultáneamente

Introducción general

OpenAOE es un marco de chat en grupo para grandes modelos de código abierto que pretende resolver el problema de la falta de marcos de chat en el mercado actual que respondan a múltiples modelos en paralelo. Con OpenAOE, los usuarios pueden hablar con múltiples Large Language Models (LLMs) al mismo tiempo y obtener una salida paralela. El marco soporta el acceso a múltiples APIs LLM comerciales y de código abierto, como GPT-4, Google Palm, Minimax, Claude, etc., y permite a los usuarios personalizar el acceso a otras APIs LLM.OpenAOE proporciona APIs back-end y Web-UIs para satisfacer las necesidades de diferentes usuarios, y es adecuado para investigadores LLM, evaluadores, desarrolladores de ingeniería y no profesionales. desarrolladores y no profesionales.

Lista de funciones

• Respuesta paralela multimodeloSoporte para conversaciones con múltiples modelos lingüísticos de gran tamaño al mismo tiempo para obtener resultados paralelos.
• Acceso a modelos comerciales y de código abiertoSoporte de acceso a GPT-4, Google Palm, Minimax, Claude y otras API comerciales y de código abierto de grandes modelos lingüísticos.
• Acceso a modelos personalizadosPermite el acceso definido por el usuario a otras API de modelos grandes.
• Backend API y Web-UI: Proporciona API de back-end y Web-UI para satisfacer las necesidades de los distintos usuarios.
• Múltiples modos de funcionamientoSoporte para ejecutar OpenAOE a través de pip, docker y source.

Utilizar la ayuda

Proceso de instalación

Instalación mediante pip

1. Asegúrese de que la versión de Python es >= 3.9.
2. Ejecute el siguiente comando para instalar OpenAOE:

   pip install -U openaoe

3. Inicie OpenAOE utilizando el archivo de configuración:

   openaoe -f /path/to/your/config-template.yaml

Instalación mediante docker

1. Obtén la imagen docker de OpenAOE:

   docker pull opensealion/openaoe:latest

o crear una imagen docker:

   git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest

2. Inicie el contenedor docker:

   docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

Normas de uso

1. archivo de configuraciónAntes de iniciar OpenAOE, debe preparar el archivo de configuración config-template.yamlEste archivo se utiliza para controlar los ajustes de back-end y front-end.
2. Modelo de acceso APIEn el archivo de configuración, los usuarios pueden configurar las API de modelos a las que se debe acceder, incluidas GPT-4, Google Palm, Minimax, Claude, etc. Los usuarios también pueden personalizar el acceso a otras API de modelos grandes.
3. Inicio de los serviciosOpenAOE: Tras iniciar el servicio OpenAOE después del proceso de instalación, los usuarios pueden utilizarlo a través de la interfaz de usuario web proporcionada o integrarlo a través de la API de back-end.
4. diálogo paraleloEn la interfaz de usuario web, el usuario puede introducir una palabra clave y OpenAOE enviará una solicitud a varios modelos lingüísticos de gran tamaño al mismo tiempo y devolverá una respuesta paralela.
5. Análisis de los resultadosLos usuarios pueden comparar los resultados de respuesta de diferentes modelos para su análisis y evaluación.