Higress: создание эффективного решения AI Gateway для упрощения управления микросервисами и повышения безопасности

Общее введение

Higress - это облачный нативный API-шлюз, разработанный компанией Alibaba на базе Istio и Envoy и предназначенный для эффективного планирования трафика, управления сервисами и обеспечения безопасности. Он поддерживает плагины-расширения Wasm для различных языков программирования и подходит для различных сценариев, таких как бизнес ИИ, микросервисы и Kubernetes Ingress, отличаясь высоким удобством и простотой использования.

Список функций

• Шлюз искусственного интеллекта: Поддержка многомодельной балансировки нагрузки, управление потоком токенов AI, кэширование AI и другие функции.
• Шлюз Kubernetes Ingress: Совместимость с аннотациями K8s Nginx Ingress, поддержка плавной миграции с Ingress API на Gateway API.
• Шлюз для микросервисов: Поддержка различных реестров, таких как Nacos, ZooKeeper, Consul, Eureka и т.д., интегрированный стек Dubbo, Nacos, Sentinel и других технологий.
• Шлюз безопасности: Предоставляет возможности WAF и поддерживает множество политик аутентификации и проверки подлинности, таких как key-auth, hmac-auth, jwt-auth и т.д.
• Расширения для плагинов: Поддержка Wasm, Lua и других механизмов расширения плагинов, плагины могут быть в режиме реального времени горячего обновления.
• потоковое вещание: Поддержка полностью потокового запроса/ответа Body для сценариев с большой пропускной способностью.
• консоли: Предоставляет готовый UI-консоль с поддержкой интеграции Grafana и Prometheus observability.

Использование помощи

Процесс установки

1. Установка Docker::
   • Создайте рабочий каталог:mkdir higress; cd higress
   • Начните с Хайгресса:docker run -d --rm --name higress-ai -v ${PWD}:/data -p 8001:8001 -p 8080:8080 -p 8443:8443 higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
   • Описание порта:
     • Порт 8001: Портал консоли Higress UI
     • Порт 8080: шлюз HTTP-протокола портала
     • Порт 8443: портал HTTPS протокола шлюза
2. Установка Kubernetes::
   • Развертывание с помощью Helm: обратитесь к документации по быстрому запуску на официальном сайте.

Руководство по эксплуатации функций

1. Особенности шлюза AI::
   • Взаимодействует со всеми отечественными и зарубежными производителями моделей LLM по единому протоколу.
   • Настройте управление потоком токенов AI и кэширование AI, чтобы повысить стабильность и эффективность сервисов AI.
2. Шлюз Kubernetes Ingress::
   • Совместимость с аннотациями K8s Nginx Ingress, поддержка плавной миграции с Ingress API на Gateway API.
   • Настройте обнаружение сервисов K8s Service для поддержки таких реестров, как Nacos/ZooKeeper.
3. Шлюз для микросервисов::
   • Стыковка нескольких реестров и настройка правил маршрутизации для обнаружения сервисов и балансировки нагрузки.
   • Интеграция Dubbo, Nacos, Sentinel и других технологических стеков для повышения эффективности управления микросервисами.
4. Шлюз безопасности::
   • Настройте правила WAF для защиты приложений от атак.
   • Поддержка нескольких политик аутентификации и аутентификации для обеспечения безопасности доступа.
5. Расширения для плагинов::
   • Написание плагинов с использованием Wasm, Lua и т.д. для расширения функциональности шлюза.
   • Горячее обновление плагинов в режиме реального времени для обеспечения бесперебойной работы.
6. потоковое вещание::
   • Поддержка потоковой обработки запросов/ответов Body, подходящая для сценариев с большой пропускной способностью.
   • Настройте обработку сообщений для потоковых протоколов, таких как SSE.
7. Работа с консолью::
   • Доступ к консоли Higress UI для настройки и управления шлюзом.
   • Интеграция с Grafana и Prometheus для мониторинга наблюдаемости.