OpenAOE: Large Model Group Chat Framework: одновременное общение с несколькими большими языковыми моделями

Общее введение

OpenAOE - это фреймворк группового чата с открытым исходным кодом для больших моделей, который призван решить проблему отсутствия на современном рынке фреймворков для чата, отвечающих на запросы нескольких моделей параллельно. С помощью OpenAOE пользователи могут одновременно общаться с несколькими большими языковыми моделями (LLM) и получать параллельный результат. Фреймворк поддерживает доступ к нескольким коммерческим и открытым API LLM, таким как GPT-4, Google Palm, Minimax, Claude и т.д., и позволяет пользователям настраивать доступ к другим API LLM. OpenAOE предоставляет внутренние API и Web-UI для удовлетворения потребностей различных пользователей, и подходит для исследователей LLM, оценщиков, разработчиков и непрофессионалов. разработчиков и непрофессионалов.

Список функций

• Параллельный отклик нескольких моделей: Поддержка одновременной работы с несколькими большими языковыми моделями для получения параллельного вывода.
• Доступ к коммерческим моделям и моделям с открытым исходным кодом: Поддержка доступа к GPT-4, Google Palm, Minimax, Claude и другим коммерческим и открытым API больших языковых моделей.
• Доступ к пользовательской модели: Позволяет определять доступ пользователя к другим API больших моделей.
• Внутренний API и веб-интерфейс: Предоставляет внутренние API и Web-UI для удовлетворения потребностей различных пользователей.
• Несколько режимов работы: Поддержка запуска OpenAOE через pip, docker и source.

Использование помощи

Процесс установки

Установка через pip

1. Убедитесь, что версия Python >= 3.9.
2. Выполните следующую команду, чтобы установить OpenAOE:

   pip install -U openaoe

3. Запустите OpenAOE, используя файл конфигурации:

   openaoe -f /path/to/your/config-template.yaml

Установка через docker

1. Получите докер-образ OpenAOE:

   docker pull opensealion/openaoe:latest

или создайте образ докера:

   git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest

2. Запустите контейнер docker:

   docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

Руководство по использованию

1. файл конфигурации: Перед запуском OpenAOE необходимо подготовить файл конфигурации config-template.yamlЭтот файл используется для управления настройками бэкэнд и фронтэнд.
2. API модели доступа: В файле конфигурации пользователи могут настроить API моделей, к которым необходимо получить доступ, включая GPT-4, Google Palm, Minimax, Claude и т. д. Пользователи также могут настроить доступ к другим большим API моделей.
3. Начальные услуги: После запуска сервиса OpenAOE в процессе установки пользователи могут работать с ним через предоставленный Web-UI или интегрировать его через внутренний API.
4. параллельный диалог: В веб-интерфейсе пользователь может ввести подсказку, и OpenAOE отправит запрос к нескольким большим языковым моделям одновременно и вернет параллельный ответ.
5. Анализ результатов: Пользователи могут сравнивать результаты отклика различных моделей для анализа и оценки.