Eine API: Multi-Modell-API-Verwaltung und Lastausgleich, Verteilungssystem

Allgemeine Einführung

One API ist ein quelloffenes Schnittstellenmanagement- und Verteilungssystem, das eine Vielzahl großer Modelle wie OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & unterstützt. Zwillinge usw. Das System greift auf alle großen Modelle über das standardmäßige OpenAI-API-Format zu und bietet Lastausgleich, Token-Verwaltung, Rücknahmecode-Verwaltung, Kanalverwaltung und andere Funktionen. Benutzer können die One API über Docker schnell einrichten und sofort nutzen.

Neue API Eine sekundäre Entwicklungsversion auf der Grundlage von One API mit Unterstützung für Midjourney. Unterstützung für Zahlungen und Gebühren pro Modellnutzung.

eine Api-Zweigstelle: geändert von songquanpeng/one-api. unterstützt mehr Modelle, fügt Statistikseite hinzu, verbessert Funktionsaufruf für nicht-openai Modelle.

Funktionsliste

• API-Schnittstellen für den Zugriff auf und die Verwaltung von mehreren großen Modellen: Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Gemini, etc.
• Lastausgleichsfunktion zur Unterstützung mehrerer Zugangskanäle
• Eine einzige API zur Integration verschiedener Sprachmodellschnittstellen
• Token-Verwaltung: Legen Sie die Verfallszeit, die Anzahl, den zulässigen IP-Bereich und die Modell-Zugriffsrechte des Tokens fest.
• Verwaltung von Tilgungscodes: Stapelweise Erstellung und Export von Tilgungscodes zum Aufladen von Konten
• Kanalmanagement: Stapelverarbeitung von Kanälen, Einrichten von Modelllisten
• Verwaltung von Benutzergruppen und Kanalgruppen
• Details zu Limits und Einladungsprämien für Benutzer anzeigen
• Unterstützung für Mapping-Schnittstellen und Cloudflare AI Gateway
• Individueller Systemname, Logo und Fußzeile
• Unterstützung mehrerer Anmeldemethoden für Benutzer: E-Mail, Flybook, GitHub, öffentliche WeChat-Nummer
• Unterstützung von Docker-Images für die Bereitstellung mit einem Mausklick

Hilfe verwenden

Installation und Einsatz

Die One API unterstützt die schnelle Bereitstellung über Docker. Die folgenden Bereitstellungsbefehle verwenden SQLite und MySQL:

Verteilungsbefehle mit SQLite:

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Verwenden Sie den Befehl MySQL deploy:

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Bitte ändern Sie die Parameter für die Datenbankverbindung nach Bedarf.

Funktion Betriebsanleitung

1. Token-VerwaltungIn der Verwaltungsschnittstelle können Benutzer die Ablaufzeit des Tokens, die Menge, den zulässigen IP-Bereich und die Modellzugriffsrechte festlegen.
2. Verwaltung von RücknahmecodesUnterstützt die Stapelgenerierung und den Export von Einlösungscodes, die von den Nutzern zum Aufladen ihrer Konten verwendet werden können.
3. KanalmanagementBenutzer können Kanäle in großen Mengen erstellen und Musterlisten für verschiedene Kanäle einrichten.
4. Benutzergruppierung und KanalgruppierungUnterstützt die Einstellung unterschiedlicher Multiplikatoren für verschiedene Untergruppen zur einfachen Verwaltung.
5. Aufschlüsselung der Limits anzeigenBenutzer können die Kreditverwendung detailliert einsehen.
6. Belohnungen für BenutzereinladungenVerdienen Sie Belohnungspunkte, indem Sie neue Benutzer einladen.
7. Benutzerdefinierte EinstellungenBenutzer können den Systemnamen, das Logo, die Fußzeile und sogar die Homepage und die Info-Seite individuell gestalten.

Anwendungsbeispiel

Benutzer können die One API mit dem folgenden Beispielcode aufrufen:

import requests

url = "http://localhost:3000/v1/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "model": "gpt-3.5-turbo",
    "prompt": "Hello, world!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
print(response.json())