Portkey: ein Entwicklungswerkzeug zur Verbindung mehrerer KI-Modelle und zur Verwaltung von Anwendungen

🚀 Einladung zum Erleben: Chinas erste KI-IDE Intelligente Programmiersoftware Trae Chinesische Version downloadDer DeepSeek-R1 und Doubao-pro sind unbegrenzt verfügbar!

Allgemeine Einführung

Portkey ist eine Plattform, die Unternehmen und Entwickler bei der schnellen Erstellung, Verwaltung und Optimierung von KI-Anwendungen unterstützt. Sie verbindet über 200 Large Language Models (LLMs) über ein einheitliches KI-Gateway und bietet Funktionen wie Prompt-Management, Lastausgleich und Echtzeitüberwachung. Das Hauptziel der Website ist es, KI-Anwendungen in Produktionsumgebungen zuverlässiger, effizienter und sicherer zu machen. portkey eignet sich sowohl für kleine Teams, die schnell KI-Funktionen entwickeln müssen, als auch für große Organisationen mit komplexen Compliance- und Hochleistungsanforderungen. Es ist Open Source und Entwickler können es kostenlos einsetzen oder sich für kostenpflichtige Unternehmensdienste entscheiden. Die Website verfügt über eine übersichtliche Oberfläche und leistungsstarke Funktionen, die bei technischen Teams sehr beliebt sind.

Portkey：连接多种AI模型并管理应用的开发工具-1

Funktionsliste

AI-GatewayVerbindung von über 250 großen Sprachmodellen, Bereitstellung einer einheitlichen API-Schnittstelle, Vereinfachung des Modellaufrufs.
Queue-VerwaltungUnterstützung der Teamarbeit bei der Erstellung, dem Testen und der Versionskontrolle von KI-Tipps zur Verbesserung der Entwicklungseffizienz.
Lastausgleich und automatische UmschaltungAutomatisches Zuweisen von Anfragen an mehrere Modelle und Umschalten auf alternative Modelle im Falle eines Ausfalls.
Echtzeit-ÜberwachungBietet mehr als 40 Leistungsmetriken zur Verfolgung des Betriebsstatus von KI-Anwendungen.
Intelligenter CacheBeschleunigt die Antwort und reduziert die Kosten bei wiederholten Abfragen.
SicherheitsschutzUnterstützt die Eingabe- und Ausgabevalidierung zur Gewährleistung der Datensicherheit und der Einhaltung von Vorschriften.
multimodale UnterstützungKompatibel mit multimodalen Modellen wie Bild und Sprache zur Erweiterung der Anwendungsszenarien.
Open-Source-BereitstellungLokale Bereitstellungsoptionen sind verfügbar und Entwickler können die Kernfunktionen kostenlos nutzen.

Hilfe verwenden

Portkey ist sehr einfach zu bedienen, und sowohl Entwickler als auch Geschäftsanwender können schnell loslegen. Hier finden Sie eine ausführliche Anleitung, damit Sie die Funktionen optimal nutzen können.

Installation und Konfiguration

Portkey bietet zwei Möglichkeiten der Nutzung: Cloud-Hosting-Service und lokale Bereitstellung. Im Folgenden finden Sie die einzelnen Schritte:

Cloud-Hosting-Dienste

ein Konto registrieren
Öffnen Sie https://portkey.ai/ und klicken Sie auf die Schaltfläche "Anmelden" in der oberen rechten Ecke. Geben Sie Ihre E-Mail-Adresse und Ihr Passwort ein, um Ihre Registrierung abzuschließen. Nach der Anmeldung erhalten Sie eine Bestätigungs-E-Mail. Klicken Sie auf den Link, um Ihr Konto zu aktivieren.
API-Schlüssel abrufen
Sobald Sie angemeldet sind, gehen Sie zum Dashboard und klicken Sie auf die Option "API-Schlüssel". Klicken Sie auf "Generieren", um einen API-Schlüssel zu generieren, kopieren Sie ihn und speichern Sie ihn. Dieser Schlüssel ist Ihr wichtigster Berechtigungsnachweis zum Aufrufen des Portkey-Dienstes.

integrierter Code
Portkey ist mit einer Vielzahl von Programmiersprachen wie Python und JavaScript kompatibel, und im Falle von Python sind nur wenige Zeilen Code nötig, um loszulegen:

复制复制复制复制

复制

from portkey_ai import Portkey
client = Portkey(api_key="你的API密钥")
response = client.chat.completions.create(
messages=[{"role": "user", "content": "你好，今天天气如何？"}],
model="gpt-4o-mini"
)
print(response)

Ersetzen Sie "Ihren API-Schlüssel" durch den soeben kopierten und führen Sie den Code aus, um das KI-Modell aufzurufen.

Lokale Bereitstellung (Open-Source-Version)

Installation von Node.js
Stellen Sie sicher, dass Sie Node.js (empfohlene Version 16 oder höher) auf Ihrem Computer installiert haben. Sie können es von der Node.js-Website herunterladen und installieren.
Befehl ausführen
Öffnen Sie ein Terminal und geben Sie den folgenden Befehl ein, um das Portkey Gateway mit einem Klick einzurichten:
复制复制复制
复制
```
npx @portkey-ai/gateway
```
Nach erfolgreicher Bereitstellung läuft das Gateway standardmäßig auf dem http://localhost:8787/public/.
Konfigurationsmodell
Geben Sie in der lokalen Gateway-Konsole den API-Schlüssel Ihres Modellanbieters ein (z. B. den von OpenAIsk-xxx), speichern Sie die Konfiguration. Danach können Sie das Modell über das lokale Gateway aufrufen.

Hauptfunktionen

AI-Gateway-Nutzung

KonnektivitätsmodellMelden Sie sich im Portkey-Dashboard an und gehen Sie auf die Seite "Gateway". Wählen Sie das Modell aus, das Sie verwenden möchten (z. B. OpenAI, Anthropic usw.), geben Sie den entsprechenden API-Schlüssel ein und klicken Sie auf "Speichern". Danach werden alle Anfragen über Portkey weitergeleitet.
Lastausgleich: Fügen Sie in der Einstellung "Routing" mehrere Modellschlüssel hinzu und aktivieren Sie "Load Balancing". Der Portkey wird die Anfragen automatisch zuweisen, um eine optimale Leistung zu gewährleisten.
automatische UmschaltungFallbacks: Aktivieren Sie "Fallbacks", um ein Fallback-Modell hinzuzufügen. Wenn das primäre Modell ausfällt, schaltet das System automatisch auf das Fallback-Modell um.

Queue-Verwaltung

Einen Tipp erstellenGehen Sie auf die Seite "Eingabeaufforderungen" und klicken Sie auf "Neue Eingabeaufforderung". Geben Sie eine Eingabeaufforderung ein, z. B. "Sie sind ein Assistent, der Benutzern bei ihren Fragen hilft", und speichern Sie.
Test-TippsGeben Sie eine Benutzernachricht in den Testbereich auf der rechten Seite ein und klicken Sie auf "Ausführen", um die Modellausgabe anzuzeigen. Passen Sie die Eingabeaufforderungen an, bis Sie zufrieden sind.
VersionskontrolleKlicken Sie nach jeder Änderungsaufforderung auf "Als neue Version speichern". Sie können in der Versionshistorie wechseln oder zurückgehen.
TeamarbeitKlicken Sie auf "Freigeben", um einen Link zu erstellen, mit dem Sie Teammitglieder zur gemeinsamen Bearbeitung einladen können.

Echtzeit-Überwachung

Ansicht LogAuf der Seite "Protokolle" können Sie die Eingabe, die Ausgabe und die verstrichene Zeit jeder Anfrage in Echtzeit sehen. Wenn etwas schief geht, können Sie die Fehlerdetails direkt sehen.
LeistungsanalyseAnalytics: Anzeige von Metriken wie Anfragen, Latenz und Kosten. Unterstützung für die Filterung von Daten nach Tag, Woche und Monat.

Featured Function Bedienung

Intelligenter Cache

Aktivieren Sie "Semantisches Caching" in den "Cache"-Einstellungen. Das System gibt die zwischengespeicherten Ergebnisse direkt zurück, wenn Sie die Abfrage wiederholen, was Zeit und Kosten spart.
Beispiel: Wenn ein Nutzer mehrmals die Frage "Wie ist das Wetter heute" stellt, wird die Antwort beim zweiten Mal schneller sein.

multimodale Unterstützung

Wenn Sie ein multimodales Modell aufrufen, geben Sie einfach den Modellnamen (z. B. ein Modell, das Bilder unterstützt) im Code an und laden die Datei hoch:
复制复制
复制
```
response = client.chat.completions.create(
messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}],
model="multimodal-model"
)
```
Das zurückgegebene Ergebnis enthält die Bildanalyse.

Mit diesen Schritten können Sie ganz einfach mit Portkey loslegen, egal ob Sie ein einfaches KI-Chat-Tool entwickeln oder eine komplexe KI-Anwendung für Unternehmen verwalten.

Anwendungsszenario

Kundendienstsystem für Unternehmen
Portkey kann mehrere Sprachmodelle miteinander verbinden, um einen intelligenten Kundenservice aufzubauen. Lastausgleich und automatische Umschaltung gewährleisten einen unterbrechungsfreien Service in Spitzenzeiten. Promptes Management trägt zur Optimierung der Antwortqualität bei.
Werkzeuge zur Erstellung von Inhalten
Redakteure oder Marketingteams können mit Portkey verschiedene Aufforderungen zur Erstellung von Artikeln, Anzeigen usw. testen. Die intelligente Zwischenspeicherung reduziert die Kosten für die Erstellung von Duplikaten.
Pädagogische Assistentin Entwicklung
Entwickler können die multimodale Unterstützung von Portkey nutzen, um Bildungsanwendungen zu erstellen, die Fragen beantworten und Bilder analysieren. Der lokale Einsatz ist für kleine Bildungseinrichtungen geeignet.

QA

Welche Programmiersprachen werden von Portkey unterstützt?
Unterstützt Python, JavaScript und REST-APIs, kompatibel mit OpenAI SDK, Langchain und anderen häufig verwendeten Bibliotheken.
Muss ich für die Bereitstellung vor Ort bezahlen?
Nein, die Open-Source-Version ist völlig kostenlos. Die Unternehmensversion des Cloud-Dienstes ist die einzige Version, die ein Abonnement erfordert.
Wie können Sie Ihre Daten sicher aufbewahren?
Portkey ist nach ISO 27001 und SOC 2 zertifiziert, verschlüsselt alle Datenübertragungen und -speicherungen und unterstützt private Cloud-Bereitstellungen.