Higress: fornecendo uma solução eficiente de gateway de IA para simplificar o gerenciamento de microsserviços e aumentar a segurança

Introdução geral

O Higress é um gateway de API nativo da nuvem desenvolvido pela Alibaba, com base no Istio e no Envoy, projetado para fornecer soluções eficientes de agendamento de tráfego, governança de serviços e segurança. Ele oferece suporte a extensões de plug-in Wasm para várias linguagens de programação e é adequado para uma variedade de cenários, como negócios de IA, microsserviços e Kubernetes Ingress, com alta usabilidade e facilidade de uso.

Lista de funções

• Gateway de IASuporte a balanceamento de carga de vários modelos, controle de fluxo de token de IA, cache de IA e outros recursos.
• Gateway de entrada do KubernetesCompatível com as anotações do K8s Nginx Ingress, suporta migração suave da API Ingress para a API Gateway.
• Gateway de microsserviçosSuporte a vários registros, como Nacos, ZooKeeper, Consul, Eureka etc., Dubbo integrado, Nacos, Sentinel e outras pilhas de tecnologia.
• Portal de segurançaWAF: fornece o recurso WAF e oferece suporte a várias políticas de autenticação e autenticação, como key-auth, hmac-auth, jwt-auth, etc.
• Extensões de plug-inSuporte para Wasm, Lua e outros mecanismos de extensão de plug-in, os plug-ins podem ser atualizados em tempo real.
• transmissãoSuporte a corpo de solicitação/resposta de streaming completo para cenários de grande largura de banda.
• consolesFornece um console de interface do usuário pronto para uso com suporte para integração de observabilidade do Grafana e do Prometheus.

Usando a Ajuda

Processo de instalação

1. Instalação do Docker::
   • Criar um catálogo funcional:mkdir higress; cd higress
   • Iniciar o Higress:docker run -d --rm --name higress-ai -v ${PWD}:/data -p 8001:8001 -p 8080:8080 -p 8443:8443 higress-registry.cn-hangzhou.cr.aliyuncs.com/ higress/all-in-one:latest
   • Descrição da porta:
     • Porta 8001: Portal do console da interface do usuário do Higress
     • Porta 8080: portal do protocolo HTTP do gateway
     • Porta 8443: portal do protocolo HTTPS do gateway
2. Instalação do Kubernetes::
   • Implementação com o Helm: consulte a documentação de início rápido no site oficial.

Guia de operação de funções

1. Recursos do AI Gateway::
   • Interage com todos os fornecedores de modelos LLM nacionais e internacionais por meio de um protocolo unificado.
   • Configure o controle de fluxo de token de IA e o cache de IA para melhorar a estabilidade e a eficiência dos serviços de IA.
2. Gateway de entrada do Kubernetes::
   • Compatível com as anotações do K8s Nginx Ingress, suporta migração suave da API Ingress para a API Gateway.
   • Configure a descoberta de serviços do K8s Service para oferecer suporte a registros como o Nacos/ZooKeeper.
3. Gateway de microsserviços::
   • Acoplamento de vários registros e configuração de regras de roteamento para descoberta de serviços e balanceamento de carga.
   • Integre Dubbo, Nacos, Sentinel e outras pilhas de tecnologia para aumentar a eficiência do gerenciamento de microsserviços.
4. Portal de segurança::
   • Configure as regras do WAF para proteger os aplicativos contra ataques.
   • Oferece suporte a várias políticas de autenticação e autenticação para garantir a segurança do acesso.
5. Extensões de plug-in::
   • Escreva plug-ins usando Wasm, Lua, etc. para ampliar a funcionalidade do gateway.
   • Atualização a quente em tempo real de plug-ins para garantir negócios ininterruptos.
6. transmissão::
   • Suporta o corpo de solicitação/resposta de processamento de streaming, adequado para cenários de grande largura de banda.
   • Personalizar o processamento de mensagens para protocolos de streaming, como o SSE.
7. Operação do console::
   • Acesse o console da interface do usuário do Higress para configuração e gerenciamento do gateway.
   • Integração com Grafana e Prometheus para monitoramento de observabilidade.