Une API : gestion de l'API multi-modèle et équilibrage de la charge, système de distribution

Introduction générale

One API est un système de gestion et de distribution d'interfaces open source qui prend en charge une variété de grands modèles tels que OpenAI ChatGPT, Anthropic Claude, Google PaLM 2&. Gémeaux etc. Le système accède à tous les grands modèles via le format standard de l'API OpenAI, assurant l'équilibrage de la charge, la gestion des jetons, la gestion des codes de rachat, la gestion des canaux et d'autres fonctions. Les utilisateurs peuvent rapidement déployer et utiliser l'API One via Docker.

Nouvelle API Une version de développement secondaire basée sur One API avec prise en charge de Midjourney. Prise en charge des paiements et des frais d'utilisation par modèle.

une branche d'api: changed from songquanpeng/one-api. support more models, add statistics page, improve function call for non-openai models.

Liste des fonctions

• Interfaces API pour accéder et gérer plusieurs grands modèles : Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Gemini, etc.
• Fournir une fonction d'équilibrage de la charge pour prendre en charge plusieurs canaux d'accès
• Une API unique pour intégrer différentes interfaces de modèles linguistiques
• Gestion des jetons : définir le délai d'expiration, le montant, la plage d'adresses IP autorisée et les droits d'accès au modèle du jeton.
• Gestion des codes de remboursement : génération et exportation par lots de codes de remboursement pour recharger les comptes
• Gestion des canaux : création de canaux par lots, établissement de listes de modèles
• Gestion des groupes d'utilisateurs et des groupes de canaux
• Voir les détails de la limite et les récompenses de l'invitation de l'utilisateur
• Prise en charge des interfaces de mappage et de Cloudflare AI Gateway
• Nom du système, logo et pied de page personnalisés
• Prise en charge de plusieurs méthodes d'enregistrement des utilisateurs : courriel, Flybook, GitHub, numéro public WeChat.
• Prise en charge des images Docker pour un déploiement en un clic

Utiliser l'aide

Installation et déploiement

L'API One prend en charge le déploiement rapide via Docker. Les commandes de déploiement suivantes utilisent SQLite et MySQL :

Commandes de déploiement utilisant SQLite :

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Utilisez la commande MySQL deploy :

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Veuillez modifier les paramètres de connexion à la base de données si nécessaire.

Guide d'utilisation des fonctions

1. gestion des jetonsDans l'interface de gestion, les utilisateurs peuvent définir le délai d'expiration du jeton, la quantité, la plage d'adresses IP autorisée et les droits d'accès au modèle.
2. Gestion des codes de remboursementLa gestion des codes de remboursement : elle permet de générer et d'exporter par lots des codes de remboursement, qui peuvent être utilisés par les utilisateurs pour recharger leurs comptes.
3. gestion des canauxLes utilisateurs peuvent créer des canaux en masse et établir des listes de modèles pour différents canaux.
4. Groupement d'utilisateurs et groupement de canauxLa gestion des multiplicateurs : permet de définir différents multiplicateurs pour différents sous-groupes afin de faciliter la gestion.
5. Voir la répartition des limitesLes utilisateurs peuvent consulter le détail de l'utilisation du crédit.
6. Récompenses pour les invitations d'utilisateursLes utilisateurs de l'Internet : gagnez des crédits de récompense en invitant de nouveaux utilisateurs.
7. Paramètres personnalisésLes utilisateurs peuvent personnaliser le nom du système, le logo et le pied de page, et même la page d'accueil et la page "à propos".

exemple d'utilisation

Les utilisateurs peuvent appeler l'API One à l'aide de l'exemple de code suivant :

import requests

url = "http://localhost:3000/v1/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "model": "gpt-3.5-turbo",
    "prompt": "Hello, world!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
print(response.json())