Единый API: многомодельное управление API и балансировка нагрузки, система распределения

Общее введение

One API - это система управления и распространения интерфейсов с открытым исходным кодом, которая поддерживает различные крупные модели, такие как OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Близнецы и т. д. Система получает доступ ко всем большим моделям через стандартный формат API OpenAI, обеспечивая балансировку нагрузки, управление токенами, управление кодами выкупа, управление каналами и другие функции. Пользователи могут быстро развернуть и использовать One API через Docker из коробки.

Новый API Вторичная версия для разработки на основе One API с поддержкой Midjourney. Поддержка платежей и оплаты за использование модели.

одна ветка api: изменено с songquanpeng/one-api. поддержка большего количества моделей, добавление страницы статистики, улучшение вызова функций для моделей, не относящихся к openai.

Список функций

• API-интерфейсы для доступа и управления несколькими большими моделями: Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Gemini и др.
• Обеспечение функции балансировки нагрузки для поддержки нескольких каналов доступа
• Единый API для интеграции различных интерфейсов языковых моделей
• Управление токеном: установите время действия, количество, разрешенный диапазон IP-адресов и права доступа к модели токена.
• Управление кодами выкупа: пакетная генерация и экспорт кодов выкупа для пополнения счетов
• Управление каналами: пакетное создание каналов, настройка списков моделей
• Управление группами пользователей и группами каналов
• Просмотр деталей лимита и вознаграждений по приглашениям пользователей
• Поддержка отображения интерфейсов и шлюза Cloudflare AI Gateway
• Индивидуальное название системы, логотип и нижний колонтитул
• Поддержка нескольких способов регистрации пользователей: электронная почта, Flybook, GitHub, публичный номер WeChat.
• Поддержка образов Docker для развертывания одним щелчком мыши

Использование помощи

Установка и развертывание

API One поддерживает быстрое развертывание с помощью Docker. Следующие команды развертывания используют SQLite и MySQL:

Команды развертывания с использованием SQLite:

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Используйте команду MySQL deploy:

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

При необходимости измените параметры подключения к базе данных.

Руководство по эксплуатации функций

1. управление токенами: В интерфейсе управления пользователи могут установить время истечения срока действия токена, его количество, разрешенный диапазон IP-адресов и права доступа к модели.
2. Управление кодами выкупа: Поддерживает пакетную генерацию и экспорт кодов выкупа, которые могут использоваться пользователями для пополнения счета.
3. управление каналами: Пользователи могут массово создавать каналы и настраивать списки моделей для разных каналов.
4. Группировка пользователей и группировка каналов: Поддерживает установку различных множителей для разных подгрупп для удобства управления.
5. Посмотреть разбивку по лимитам: Пользователи могут просматривать подробную информацию об использовании кредита.
6. Вознаграждение за приглашение пользователя: Зарабатывайте бонусные кредиты, приглашая новых пользователей.
7. Пользовательские настройки: Пользователи могут настраивать название системы, логотип и нижний колонтитул, а также главную страницу и страницу о системе.

Пример использования

Пользователи могут вызывать API One с помощью следующего примера кода:

import requests

url = "http://localhost:3000/v1/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "model": "gpt-3.5-turbo",
    "prompt": "Hello, world!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
print(response.json())