Higress : Fournir une solution de passerelle IA efficace pour simplifier la gestion des microservices et renforcer la sécurité

Introduction générale

Higress est une passerelle API cloud-native développée par Alibaba, construite sur Istio et Envoy, conçue pour fournir une planification efficace du trafic, une gouvernance des services et des solutions de sécurité. Il prend en charge les extensions Wasm pour de nombreux langages de programmation et convient à une variété de scénarios tels que les activités d'IA, les microservices et Kubernetes Ingress, avec une convivialité et une facilité d'utilisation élevées.

Liste des fonctions

• Passerelle AILe système de gestion de l'information de la Commission européenne (CEI) : il prend en charge l'équilibrage de charge multi-modèle, le contrôle du flux des jetons AI, la mise en cache AI et d'autres fonctions.
• Passerelle d'entrée KubernetesCompatible avec les annotations Ingress de K8s Nginx, il permet une migration en douceur de l'API Ingress vers l'API Gateway.
• Passerelle MicroservicesPrise en charge d'une variété de registres tels que Nacos, ZooKeeper, Consul, Eureka, etc., intégration de Dubbo, Nacos, Sentinel et d'autres piles technologiques.
• Passerelle de sécuritéWAF : offre une capacité WAF et prend en charge plusieurs politiques d'authentification telles que key-auth, hmac-auth, jwt-auth, etc.
• Extensions du plug-inPrise en charge de Wasm, Lua et d'autres mécanismes d'extension de plug-ins, les plug-ins peuvent être mis à jour en temps réel.
• streamingLe corps de la demande et de la réponse : Il prend en charge le streaming complet de la demande et de la réponse pour les scénarios à large bande passante.
• consolesLa console d'interface utilisateur prête à l'emploi prend en charge Grafana et l'intégration de l'observabilité de Prometheus.

Utiliser l'aide

Processus d'installation

1. Installation de Docker: :
   • Créer un catalogue de travail :mkdir higress; cd higress
   • Démarrer Higress :docker run -d --rm --name higress-ai -v ${PWD}:/data -p 8001:8001 -p 8080:8080 -p 8443:8443 higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
   • Description du port :
     • Port 8001 : Portail de la console de l'interface utilisateur Higress
     • Port 8080 : passerelle Protocole HTTP portail
     • Port 8443 : Portail du protocole HTTPS de la passerelle
2. Installation de Kubernetes: :
   • Déploiement avec Helm : se référer à la documentation Quick Start sur le site officiel.

Guide d'utilisation des fonctions

1. Caractéristiques de la passerelle AI: :
   • Interfaces avec tous les fournisseurs de modèles LLM nationaux et internationaux par le biais d'un protocole unifié.
   • Configurez le contrôle du flux des jetons AI et la mise en cache AI pour améliorer la stabilité et l'efficacité des services AI.
2. Passerelle d'entrée Kubernetes: :
   • Compatible avec les annotations K8s Nginx Ingress, permet une migration en douceur de l'API Ingress vers l'API Gateway.
   • Configurer la découverte des services de K8s Service pour prendre en charge des registres tels que Nacos/ZooKeeper.
3. Passerelle Microservices: :
   • Mise en place de registres multiples et configuration de règles de routage pour la découverte de services et l'équilibrage des charges.
   • Intégrer Dubbo, Nacos, Sentinel et d'autres piles technologiques pour améliorer l'efficacité de la gestion des microservices.
4. Passerelle de sécurité: :
   • Configurer les règles WAF pour protéger les applications contre les attaques.
   • Prise en charge de plusieurs stratégies d'authentification et d'authentification pour garantir la sécurité de l'accès.
5. Extensions du plug-in: :
   • Écrire des plug-ins en utilisant Wasm, Lua, etc. pour étendre les fonctionnalités de la passerelle.
   • Mise à jour à chaud en temps réel des plug-ins pour assurer une activité ininterrompue.
6. streaming: :
   • Prise en charge du traitement en continu des demandes/réponses de l'organisme, adapté aux scénarios à large bande passante.
   • Personnaliser le traitement des messages pour les protocoles de diffusion en continu tels que SSE.
7. Fonctionnement de la console: :
   • Accéder à la console de l'interface utilisateur Higress pour la configuration et la gestion de la passerelle.
   • Intégration avec Grafana et Prometheus pour le suivi de l'observabilité.