Portkey : un outil de développement pour connecter plusieurs modèles d'IA et gérer les applications

Introduction générale

Portkey est une plateforme qui aide les entreprises et les développeurs à créer, gérer et optimiser rapidement des applications d'IA. Elle connecte plus de 200 grands modèles de langage (LLM) par l'intermédiaire d'une passerelle d'IA unifiée, offrant des fonctionnalités telles que la gestion rapide, l'équilibrage de la charge et la surveillance en temps réel. L'objectif principal du site est de rendre les applications d'IA plus fiables, plus efficaces et plus sûres dans les environnements de production. portkey convient aussi bien aux petites équipes qui ont besoin de développer rapidement des fonctionnalités d'IA qu'aux grandes organisations qui ont des exigences complexes en matière de conformité et de performances élevées. Il s'agit d'un logiciel libre et les développeurs peuvent le déployer gratuitement ou opter pour des services d'entreprise payants. Le site présente une interface épurée et des fonctionnalités puissantes qui sont appréciées des équipes techniques.

Liste des fonctions

• Passerelle AILe site Web de la Commission européenne est un outil d'aide à la décision qui permet de connecter plus de 250 modèles de langage, de fournir une interface API unifiée et de simplifier l'appel de modèles.
• Gestion des indicesLes fonctionnalités suivantes ont été ajoutées à l'offre : - Prise en charge de la création, du test et du contrôle de version en équipe collaborative - Invitations AI pour améliorer l'efficacité du développement.
• Équilibrage de la charge et commutation automatiqueLes modèles d'évaluation de la qualité de l'eau sont les suivants : ils attribuent automatiquement les demandes à plusieurs modèles et commutent les modèles alternatifs en cas de défaillance.
• suivi en temps réelLe système de gestion de l'information : Il fournit plus de 40 mesures de performance pour suivre l'état opérationnel des applications d'intelligence artificielle.
• Cache intelligentLe système de gestion de l'information : il accélère la réponse et réduit les coûts lorsque les requêtes sont répétées.
• protection de la sécuritéLa validation des entrées et des sorties permet d'assurer la sécurité et la conformité des données.
• soutien multimodalLes modèles multimodaux, tels que l'image et la parole, permettent d'élargir les scénarios d'application.
• déploiement de logiciels libresLes options de déploiement local sont disponibles et les développeurs peuvent utiliser gratuitement les fonctionnalités de base.

Utiliser l'aide

Portkey est très facile à utiliser et les développeurs comme les utilisateurs professionnels peuvent s'y mettre rapidement. Voici un guide détaillé pour vous aider à tirer le meilleur parti de ses fonctionnalités.

Installation et configuration

Portkey propose deux façons de l'utiliser : un service d'hébergement dans le nuage et un déploiement local. Vous trouverez ci-dessous les étapes spécifiques :

Services d'hébergement en nuage

1. créer un compte
   Ouvrez https://portkey.ai/ et cliquez sur le bouton "Sign Up" dans le coin supérieur droit. Saisissez votre adresse électronique et votre mot de passe pour terminer votre inscription. Après votre inscription, vous recevrez un courriel de vérification. Cliquez sur le lien pour activer votre compte.
2. Obtenir la clé API
   Une fois connecté, allez dans le tableau de bord et cliquez sur l'option "Clés API". Cliquez sur "Générer" pour générer une clé API, copiez-la et enregistrez-la. Cette clé est votre identifiant principal pour invoquer le service Portkey.
3. code intégré
   Portkey est compatible avec divers langages de programmation, tels que Python et JavaScript, et dans le cas de Python, il suffit de quelques lignes de code pour commencer :

   from portkey_ai import Portkey
   client = Portkey(api_key="你的API密钥")
   response = client.chat.completions.create(
   messages=[{"role": "user", "content": "你好，今天天气如何？"}],
   model="gpt-4o-mini"
   )
   print(response)

Remplacez "votre clé API" par celle que vous venez de copier et exécutez le code pour invoquer le modèle d'IA.

Déploiement local (version open source)

1. Installation de Node.js
   Assurez-vous que Node.js (version 16 ou supérieure recommandée) est installé sur votre ordinateur. Vous pouvez le télécharger et l'installer à partir du site web de Node.js.
2. Exécuter la commande
   Ouvrez un terminal et entrez la commande suivante pour déployer la passerelle Portkey en un seul clic :

   npx @portkey-ai/gateway
   

   Après un déploiement réussi, la passerelle fonctionne par défaut sur le serveur http://localhost:8787/public/.

3. modèle de configuration
   Dans la console de la passerelle locale, entrez la clé API de votre fournisseur de modèle (par exemple, OpenAI'ssk-xxx), enregistrez la configuration. Vous pouvez ensuite appeler le modèle via la passerelle locale.

Principales fonctions

Utilisation de la passerelle AI

• modèle de connectivitéConnectez-vous au tableau de bord Portkey et accédez à la page "Gateway". Sélectionnez le modèle que vous souhaitez utiliser (par exemple, OpenAI, Anthropic, etc.), saisissez la clé API correspondante et cliquez sur "Enregistrer". Après cela, toutes les demandes seront acheminées via Portkey.
• équilibrage de la chargeDans le paramètre "Routage", ajoutez plusieurs clés de modèle et activez l'option "Équilibrage de la charge". La clé de port répartira automatiquement les demandes afin de garantir des performances optimales.
• commutation automatiqueModèle de secours : Activez "Fallbacks" pour ajouter un modèle de secours. En cas de défaillance du modèle principal, le système basculera automatiquement sur le modèle de repli.

Gestion des indices

• Créer un conseilPour ce faire, vous devez vous rendre sur la page "Invitations" et cliquer sur "Nouvelle invitation". Saisissez une invite telle que "Vous êtes un assistant qui aide les utilisateurs à répondre à leurs questions" et enregistrez.
• Conseils pour les testsPour les modèles d'évaluation de la qualité de l'eau : Saisissez un message d'utilisateur dans la zone de test située à droite et cliquez sur "Exécuter" pour visualiser les résultats du modèle. Ajustez les invites jusqu'à ce que vous soyez satisfait.
• contrôle des versionsCliquez sur "Enregistrer comme nouvelle version" après chaque demande de modification. Vous pouvez changer de version ou revenir en arrière dans l'historique des versions.
• Travail d'équipeCliquez sur "Partager" pour créer un lien et inviter les membres de l'équipe à modifier le document ensemble.

suivi en temps réel

• Voir le journalLes journaux : Sur la page "Logs", vous pouvez voir l'entrée, la sortie et le temps écoulé de chaque requête en temps réel. En cas de problème, vous pouvez voir directement les détails de l'erreur.
• Analyse des performancesLes données de l'analyse : Accédez à l'analyse pour voir les mesures telles que le nombre de demandes, la latence et le coût. Possibilité de filtrer les données par jour, semaine et mois.

Fonction en vedette Fonctionnement

Cache intelligent

• Activez la "mise en cache sémantique" dans les paramètres de la "mise en cache". Le système renverra directement les résultats mis en cache lorsque vous répéterez la requête, ce qui permettra d'économiser du temps et de l'argent.
• Exemple : si un utilisateur demande plusieurs fois "Quel temps fait-il aujourd'hui ?", la réponse sera plus rapide la deuxième fois.

soutien multimodal

• Lors de l'appel d'un modèle multimodal, il suffit de spécifier le nom du modèle (par exemple, un modèle qui prend en charge les images) dans le code et de télécharger le fichier :

  response = client.chat.completions.create(
  messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}],
  model="multimodal-model"
  )
  

• Le résultat renvoyé contiendra l'analyse de l'image.

Grâce à ces étapes, vous pouvez facilement démarrer avec Portkey, que vous développiez un simple outil de chat d'IA ou que vous gériez une application d'IA d'entreprise complexe.

scénario d'application

1. Système de service à la clientèle de l'entreprise
   Portkey peut connecter plusieurs modèles linguistiques pour créer un service client intelligent. L'équilibrage des charges et la commutation automatique garantissent un service ininterrompu pendant les périodes de pointe. La gestion rapide permet d'optimiser la qualité des réponses.
2. Outils de génération de contenu
   Les rédacteurs ou les équipes de marketing peuvent tester différentes invites avec Portkey pour générer des articles, des mots-clés, etc. La mise en cache intelligente réduit le coût de la génération de doublons.
3. Développement de l'assistant pédagogique
   Les développeurs peuvent utiliser le support multimodal de Portkey pour créer des applications éducatives qui répondent à des questions et analysent des images. Le déploiement local convient aux petits établissements d'enseignement.

QA

1. Quels sont les langages de programmation pris en charge par Portkey ?
   Prend en charge les API Python, JavaScript et REST, compatible avec OpenAI SDK, Langchain et d'autres bibliothèques couramment utilisées.
2. Dois-je payer pour le déploiement local ?
   Non, la version open source est entièrement gratuite. La version entreprise du service en nuage est la seule à nécessiter un abonnement.
3. Comment assurer la sécurité de vos données ?
   Portkey est certifié ISO 27001 et SOC 2, crypte toutes les données transmises et stockées, et prend en charge les déploiements en nuage privé.