Eine API: Multi-Modell-API-Verwaltung und Lastausgleich, Verteilungssystem

Allgemeine Einführung

One API ist ein quelloffenes Schnittstellenverwaltungs- und Verteilungssystem, das eine Vielzahl von großen Modellen wie OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & unterstützt. Zwillinge usw. Das System greift auf alle großen Modelle über das standardmäßige OpenAI-API-Format zu und bietet Lastausgleich, Token-Verwaltung, Rücknahmecode-Verwaltung, Kanalverwaltung und andere Funktionen. Benutzer können die One API über Docker schnell einrichten und sofort nutzen.

Neue API Eine sekundäre Entwicklungsversion auf der Grundlage von One API mit Unterstützung für Midjourney. Unterstützung für Zahlungen und Gebühren pro Modellnutzung.

eine Api-Zweigstelle: geändert von songquanpeng/one-api. unterstützt mehr Modelle, fügt Statistikseite hinzu, verbessert Funktionsaufruf für nicht-openai Modelle.

Funktionsliste

• API-Schnittstellen für den Zugriff auf und die Verwaltung von mehreren großen Modellen: Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Gemini, etc.
• Lastausgleichsfunktion zur Unterstützung mehrerer Zugangskanäle
• Eine einzige API zur Integration verschiedener Sprachmodell-Schnittstellen
• Token-Verwaltung: Legen Sie die Verfallszeit, die Anzahl, den zulässigen IP-Bereich und die Modell-Zugriffsrechte des Tokens fest.
• Verwaltung von Einlösungscodes: Stapelweise Erstellung und Export von Einlösungscodes zum Aufladen von Konten
• Kanalmanagement: Stapelverarbeitung von Kanälen, Einrichten von Modelllisten
• Verwaltung von Benutzergruppen und Kanalgruppen
• Details zu Limits und Einladungsprämien für Benutzer anzeigen
• Unterstützung für Mapping-Schnittstellen und Cloudflare AI Gateway
• Individueller Systemname, Logo und Fußzeile
• Unterstützung mehrerer Anmeldemethoden für Benutzer: E-Mail, Flybook, GitHub, öffentliche WeChat-Nummer
• Unterstützung von Docker-Images für die Bereitstellung mit einem Mausklick

Hilfe verwenden

Installation und Einsatz

Die One API unterstützt die schnelle Bereitstellung über Docker. Die folgenden Bereitstellungsbefehle verwenden SQLite und MySQL:

Verteilungsbefehle mit SQLite:

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Verwenden Sie den Befehl MySQL deploy:

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Bitte ändern Sie die Parameter für die Datenbankverbindung nach Bedarf.

Funktion Betriebsanleitung

1. Token-VerwaltungIn der Verwaltungsschnittstelle können Benutzer die Ablaufzeit des Tokens, die Anzahl, den zulässigen IP-Bereich und die Modellzugriffsrechte festlegen.
2. Verwaltung von RücknahmecodesUnterstützt die Stapelgenerierung und den Export von Einlösungscodes, die von den Nutzern zum Aufladen ihrer Konten verwendet werden können.
3. KanalmanagementBenutzer können Kanäle in großen Mengen erstellen und Musterlisten für verschiedene Kanäle einrichten.
4. Benutzergruppierung und KanalgruppierungUnterstützt die Einstellung unterschiedlicher Multiplikatoren für verschiedene Untergruppen zur einfachen Verwaltung.
5. Aufschlüsselung der Limits anzeigenBenutzer können die Kreditverwendung detailliert einsehen.
6. Belohnungen für BenutzereinladungenVerdienen Sie Belohnungspunkte, indem Sie neue Benutzer einladen.
7. Benutzerdefinierte EinstellungenBenutzer können den Systemnamen, das Logo, die Fußzeile und sogar die Homepage und die Info-Seite individuell gestalten.

Anwendungsbeispiel

Benutzer können die One API mit dem folgenden Beispielcode aufrufen:

importieren Anfragen

url = "http://localhost:3000/v1/completions"
headers = {
    "Autorisierung": "Träger YOUR_API_KEY",
    "Inhalts-Typ": "application/json"
}
data = {
    "Modell": "gpt-3.5-turbo",
    "prompt": "Hallo, Welt!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
drucken(response.json())

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>