UniAPI: унифицированное безсерверное управление переадресацией API большой модели

Общее введение

UniAPI - это переадресатор API, совместимый с протоколом OpenAI. Его основная функция - управление API нескольких поставщиков услуг больших моделей, таких как OpenAI, Azure OpenAI, Claude и т. д., через единый формат OpenAI. Разработчики могут использовать один интерфейс для вызова моделей от разных поставщиков без частой корректировки кода. UniAPI поддерживает оптимизацию моделей, механизм выключателей и оптимизацию потокового вывода для обеспечения эффективности и стабильности запросов. Он обеспечивает развертывание Vercel в один клик, что позволяет быстро создать персональную или командную станцию обслуживания API. Проект разработан пользователем GitHub zhangtyzzz и находится в стадии обновления.

Список функций

• Поддержка OpenAI и сервисов, совместимых с протоколом OpenAI, включая Azure OpenAI, Claude и другие.
• Унификация API от разных производителей в формат OpenAI для упрощения процесса вызова.
• Поддержка сопоставления моделей, вызов реальных моделей от разных поставщиков с единым именем модели.
• Обеспечьте механизм выбора модели на основе 72-часового показателя успешности и количества первых случаев. жетон Время отклика для выбора лучшего сервиса.
• Встроенный механизм автоматического выключателя, сервис непрерывного отказа автоматически приостанавливает запрос для защиты стабильности системы.
• Оптимизируйте потоковый вывод, разбивая большие фрагменты ответа на более мелкие для улучшения визуального эффекта.
• Поддержка пользовательских API-ключей, базовых URL и списков моделей для гибкой настройки.
• Развернутая через Vercel, она предоставляет панель администрирования и безопасную аутентификацию.

Использование помощи

Использование UniAPI делится на две части: развертывание и настройка. Ниже приводится подробное описание установки, настройки и эксплуатации, чтобы вы могли быстро приступить к работе.

Процесс установки

UniAPI поддерживает два метода развертывания: локальное время выполнения и развертывание одним щелчком мыши в Vercel. Здесь мы рассматриваем развертывание Vercel как основное, которое подходит для большинства пользователей.

Развертывание Vercel одним щелчком мыши

1. Доступ к ссылкам на развертывание
   Нажмите на официальную страницу Vercel адрес развертывания
2. Настройка переменных среды
   Заполните следующие переменные на странице развертывания Vercel:
   • ADMIN_API_KEY: Ключ администратора для входа в панель администратора, должен быть установлен, например. mysecretkey.
   • TEMP_API_KEY: ключи, открывающие доступ к API, которых может быть не более 2, например. key1 ответить пением key2.
   • REDIS_URL: адрес подключения к Redis для настройки постоянного хранилища (необязательно).
   • ENVIRONMENT: Установить на production чтобы отключить клавишу по умолчанию режима разработки.
     Когда настройка будет завершена, нажмите кнопку "Развернуть".
3. Получение адреса развертывания
   После успешного развертывания Vercel генерирует URL-адрес, например https://your-vercel-url.vercel.app. Используйте ADMIN_API_KEY Войдите в панель администратора.

Местное управление (опционально)

1. Подготовка среды
   Убедитесь, что на вашем устройстве установлен Python 3.8 или выше. Проверьте версию:

python --version

2. Скачать файл
   Посетите сайт https://github.com/zhangtyzzz/uni-api/releases, чтобы загрузить последние двоичные файлы, например uni-api-linux-x86_64-0.0.99.pex.
3. программа бега
   Выполняется на терминале:

chmod +x uni-api-linux-x86_64-0.0.99.pex
./uni-api-linux-x86_64-0.0.99.pex

Слушатель по умолчанию http://localhost:8000.

Настройка API

1. Панель управления входом (развертывание Vercel)
   Откройте развернутый URL-адрес и введите ADMIN_API_KEY Войдите в систему. На экране отображается Добавить конфигурацию и Список конфигураций.
2. Добавление конфигурации API
   Нажмите "Добавить конфигурацию" и заполните следующую информацию:

• поставщик услуг: Выберите из OpenAI, Claude и др.
• Базовый URL: Введите API-адрес поставщика услуг, например. https://api.openai.com/v1.
• Ключ API: Введите ключ, полученный от поставщика услуг, например. sk-xxxx.
• Название модели: Введите фактическое имя модели или имя сопоставления, например. gpt-3.5-turbo.
  После сохранения конфигурация отображается в списке.

3. отображение модели
   Добавьте отображение в конфигурацию. например:

• общее название gpt-4 Сопоставление с OpenAI gpt-4 ответить пением Клод (используется в форме номинального выражения) claude-2.
  Запрос выполняется с помощью gpt-4Система автоматически выбирает доступные услуги.

Использование основных функций

1. Отправить запрос
   Протестируйте API с помощью curl:

curl -X POST https://your-vercel-url.vercel.app/v1/chat/completions 
-H "Authorization: Bearer your_api_key" 
-H "Content-Type: application/json" 
-d '{"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "你好"}], "stream": true}'

Возвращает потоковый вывод, свидетельствующий об успешной конфигурации.

2. выбор модели
   Система автоматически выбирает лучшего поставщика услуг, основываясь на показателях успешности и времени отклика первого токена за последние 72 часа. Вам не нужно вмешиваться вручную.
3. механизм выключателя
   Автоматический выключатель срабатывает при постоянном отказе какой-либо службы:

• 3 неудачи: 5 минут паузы.
• 4 неудачи: 10 минут паузы.
• 9 неудач: отстранение на 48 часов.
  Во время приостановки система переключается на другого поставщика услуг.

4. Оптимизация потокового вещания
   в отношении Близнецы Модели с большими фрагментами ответа, такие как UniAPI, автоматически разбиваются на более мелкие фрагменты вывода.

Часто задаваемые вопросы

• Запрос не прошел 401: Инспекция Authorization Содержит ли заголовок правильные Bearer your_api_key.
• Модель недоступна: Убедитесь, что настроенное имя модели совпадает с именем, предоставленным поставщиком услуг, или проверьте настройки сопоставления.
• Недоступность после развертывания: Благодарность ENVIRONMENT установить как productionЖурналы Vercel недоступны для пользователя и проверяются.

Выполнив эти шаги, вы сможете легко развернуть и использовать UniAPI, который прост в настройке, мощный и идеально подходит для сценариев, в которых вам нужно управлять API нескольких поставщиков.

сценарий применения

1. Тестирование разработчиками моделей различных производителей
   Вы хотите сравнить результаты работы OpenAI и Claude. uniAPI позволяет вам сэкономить время, вызывая их с помощью одного интерфейса.
2. Команды создают стабильные API-сервисы
   Команде требовалась надежная станция API для поддержки бизнеса. uniAPI с автоматическим выключателем и меритократией обеспечили бесперебойную работу.
3. Образование и исследования
   Студенты могут использовать UniAPI для исследования отзывчивости и стабильности различных моделей, что подходит для академических экспериментов.

QA

1. Какие поставщики услуг поддерживает UniAPI?
   Поддержка OpenAI, Azure OpenAI, Claude и других сервисов, совместимых с протоколом OpenAI, см. обновления на GitHub.
2. Что происходит, когда срабатывает автоматический выключатель?
   Система автоматически переключается на других поставщиков услуг и повторяет попытку после периода охлаждения. Ручное управление не требуется.
3. В чем преимущества потокового вывода?
   Он разбивает большие фрагменты ответа на более мелкие, что делает работу пользователя более плавной, особенно в сценариях чата в реальном времени.