One Hub: Verwaltung und Verteilung von OpenAI-Schnittstellen, Unterstützung mehrerer Modelle und statistischer Funktionen

Allgemeine Einführung

Der One Hub ist eine webbasierte Eine API Zweite Entwicklung des OpenAI-Schnittstellenverwaltungs- und Verteilungssystems. Entwickelt von MartialBE, um eine breitere Modellunterstützung und verbesserte Statistiken zu bieten, verfügt One Hub über eine neue Benutzeroberfläche mit einem neuen Benutzer-Dashboard und einer Administrator-Statistik-Schnittstelle sowie ein überarbeitetes Transit-Provider-Modul. Es unterstützt Funktionsaufrufe für eine breite Palette von Modellen, einschließlich Nicht-OpenAI-Modellen, und bietet eine Vielzahl von Konfigurationsoptionen und Überwachungsfunktionen. One Hub ist für Entwickler und Unternehmen gedacht, die OpenAI-Schnittstellen verwalten und verteilen müssen, und hilft ihnen, eine breite Palette von KI-Modellen effizienter zu nutzen und zu überwachen.

Funktionsliste

• Unterstützt Funktionsaufrufe für eine breite Palette von OpenAI- und Nicht-OpenAI-Modellen
• Neue Benutzeroberfläche für das Dashboard und die Administratorstatistiken
• Refactoring des Transitprovider-Moduls zur Unterstützung der dynamischen Rückgabe von Benutzermodell-Listen
• Unterstützung für Azure Speech Emulation TTS-Funktionen
• Unterstützung für die Konfiguration eines separaten http/socks5-Proxys
• Unterstützung für benutzerdefinierte Geschwindigkeitsmodelle und Protokollierung der abgelaufenen Zeit der Anfrage
• Unterstützung für Telegram-Bot und Modell-Pay-per-View
• Unterstützung für Modellplatzhalter und Konfigurationsdateistartprogramm
• Unterstützt Prometheus-Überwachung
• Unterstützung für Zahlung und Benutzergruppen-RPM-Konfiguration

Hilfe verwenden

Ablauf der Installation

1. Klonen Sie den Projektcode:

   git clone https://github.com/MartialBE/one-hub.git

2. Rufen Sie den Projektkatalog auf:

   cd one-hub

3. Konfigurieren Sie Umgebungsvariablen und Abhängigkeiten:

   cp config.example.yaml config.yaml

Ändern Sie nach Bedarf config.yaml Konfigurationselemente in der Datei.

4. Booten mit Docker:

   docker-compose up -d

Oder verwenden Sie die lokale Umgebung zum Starten:

   go main.go ausführen

Verwendungsfunktionen

Benutzer Dashboard

Das Benutzer-Dashboard bietet eine intuitive Schnittstelle, auf der Benutzer ihre API-Aufrufe anzeigen und verwalten können. Mit dem Dashboard können Sie die API-Nutzung in Echtzeit überwachen und detaillierte Anrufprotokolle und Statistiken anzeigen.

Schnittstelle für Administratorstatistiken

Die Administrator-Statistik-Schnittstelle bietet Administratoren ein umfassendes Datenanalyse-Tool. Administratoren können API-Aufrufe für alle Nutzer einsehen, detaillierte statistische Berichte erstellen und auf der Grundlage der Daten Optimierungen und Anpassungen vornehmen.

Modul Transitanbieter

Das Modul Transit Provider unterstützt die dynamische Rückgabe von Benutzermodell-Listen und ermöglicht die Konfiguration einzelner http/socks5-Proxys. Administratoren können nach Bedarf Provider hinzufügen oder entfernen und verschiedene Proxy-Konfigurationen einrichten, um die Leistung und Stabilität von API-Aufrufen zu optimieren.

Azure Speech emuliert TTS-Funktionen

One Hub unterstützt die Verwendung von Azure Speech zur Emulation der TTS-Funktion, die es den Benutzern ermöglicht, den Azure Speech-Dienst so zu konfigurieren, dass eine qualitativ hochwertige Sprachausgabe erzeugt wird. Die Konfigurationsmethode ist wie folgt:

1. existieren config.yaml Datei, um die Azure Speech-Konfiguration hinzuzufügen:

   azure_speech.
api_key: "Ihr_api_key"
region: "ihre_region"

2. Starten Sie den One Hub-Dienst neu, damit die Konfiguration wirksam wird.

Individuelles Geschwindigkeitsmodell und Protokollierung der verstrichenen Zeit

Die Nutzer können das Geschwindigkeitsmodell in One Hub anpassen und die für jeden API-Aufruf verstrichene Zeit anzeigen. Mit diesen Funktionen können die Benutzer die Leistung des Modells optimieren und sicherstellen, dass die API-Aufrufe effizient sind.

Unterstützung für Telegram-Bot und Modell-Pay-per-View

One Hub unterstützt Benachrichtigungen und Verwaltung über den Telegram-Bot, so dass Nutzer in Echtzeit Benachrichtigungen über API-Aufrufe auf Telegram erhalten können. Darüber hinaus unterstützt One Hub das Modell der nutzungsabhängigen Abrechnung, das den Nutzern eine flexible Abrechnung und Verwaltung je nach Nutzung ermöglicht.

Detaillierte Vorgehensweise

1. Nachdem Sie sich bei One Hub angemeldet haben, gehen Sie zum Benutzer-Dashboard, um die API-Aufrufe anzuzeigen.
2. In der Administratoroberfläche können Sie Anbieter hinzufügen oder entfernen und Agenteneinstellungen konfigurieren.
3. Konfigurieren Sie den Azure Speech-Dienst, um eine Sprachausgabe zu erzeugen.
4. Passen Sie das Modell zur Geschwindigkeitsmessung an, um die für API-Aufrufe verstrichene Zeit anzuzeigen.
5. Erhalten Sie Benachrichtigungen über den Telegram-Bot und das Modell der Pay-per-View-Verwaltung.

Mit der detaillierten Hilfe oben können Benutzer schnell mit One Hub beginnen und die umfangreichen Funktionen für die Verwaltung und Verteilung von OpenAI-Schnittstellen voll ausschöpfen.