Portkey: una herramienta de desarrollo para conectar varios modelos de IA y gestionar aplicaciones

Introducción general

Portkey es una plataforma que ayuda a empresas y desarrolladores a crear, gestionar y optimizar rápidamente aplicaciones de IA. Conecta más de 200 Large Language Models (LLM) a través de una pasarela unificada de IA, proporcionando funciones como la gestión de solicitudes, el equilibrio de carga y la supervisión en tiempo real. Su objetivo principal es hacer que las aplicaciones de IA sean más fiables, eficientes y seguras en entornos de producción. portkey es adecuado tanto para equipos pequeños que necesitan desarrollar funcionalidades de IA rápidamente, como para grandes organizaciones con requisitos complejos de conformidad y alto rendimiento. Es de código abierto y los desarrolladores pueden implantarlo gratuitamente u optar por servicios empresariales de pago. Cuenta con una interfaz limpia y potentes funciones muy apreciadas por los equipos técnicos.

Lista de funciones

• Pasarela AIConecte más de 250 modelos de lenguaje de gran tamaño, proporcione una interfaz API unificada y simplifique la llamada a modelos.
• Gestión del taco: Apoyo al trabajo en equipo para crear, probar y controlar las versiones Consejos de IA para mejorar la eficacia del desarrollo.
• Equilibrio de carga y conmutación automática: Asigna automáticamente las solicitudes a varios modelos y conmuta los modelos alternativos en caso de fallo.
• seguimiento en tiempo realProporciona más de 40 métricas de rendimiento para realizar un seguimiento del estado operativo de las aplicaciones de IA.
• Caché inteligente: Acelera la respuesta y reduce los costes cuando se repiten las consultas.
• protección de seguridadValidación de entrada y salida de datos: admite la validación de entrada y salida para garantizar la seguridad y la conformidad de los datos.
• apoyo multimodal: Compatible con modelos multimodales como la imagen y el habla para ampliar los escenarios de aplicación.
• despliegue de código abiertoOpciones de implantación local disponibles y los desarrolladores pueden utilizar las funciones básicas de forma gratuita.

Utilizar la ayuda

Portkey es muy fácil de usar y tanto los desarrolladores como los usuarios empresariales pueden empezar a utilizarlo rápidamente. Aquí tienes una guía detallada que te ayudará a sacar el máximo partido de sus funciones.

Instalación y configuración

Portkey ofrece dos formas de utilizarlo: servicio de alojamiento en la nube e implantación local. A continuación se indican los pasos específicos:

Servicios de alojamiento en nube

1. registrar una cuenta
   Abra https://portkey.ai/ y haga clic en el botón "Registrarse" de la esquina superior derecha. Introduzca su correo electrónico y contraseña para completar su registro. Después de registrarse, recibirá un correo electrónico de verificación, haga clic en el enlace para activar su cuenta.
2. Obtener clave API
   Una vez iniciada la sesión, vaya al panel de control y haga clic en la opción "Claves de API". Haz clic en "Generar" para generar una clave API, cópiala y guárdala. Esta clave es tu credencial principal para invocar el servicio Portkey.
3. código integrado
   Portkey es compatible con diversos lenguajes de programación, como Python y JavaScript, y en el caso de Python, sólo se necesitan unas pocas líneas de código para empezar:

   from portkey_ai import Portkey
   client = Portkey(api_key="你的API密钥")
   response = client.chat.completions.create(
   messages=[{"role": "user", "content": "你好，今天天气如何？"}],
   model="gpt-4o-mini"
   )
   print(response)

Sustituye "tu clave API" por la que acabas de copiar y ejecuta el código para invocar el modelo de IA.

Implantación local (versión de código abierto)

1. Instalación de Node.js
   Asegúrate de que tienes Node.js (versión 16 o superior recomendada) instalado en tu ordenador. Puedes descargarlo e instalarlo desde el sitio web de Node.js.
2. Ejecutar comando
   Abra un terminal e introduzca el siguiente comando para desplegar el Portkey Gateway con un solo clic:

   npx @portkey-ai/gateway
   

   Una vez instalada correctamente, la pasarela se ejecuta por defecto en el servidor http://localhost:8787/public/.

3. modelo de configuración
   En la consola de la pasarela local, introduzca la clave API de su proveedor de modelos (por ejemplo, OpenAI'ssk-xxx), guarde la configuración. Después de que usted puede invocar el modelo a través de la puerta de enlace local.

Funciones principales

Uso de la pasarela AI

• modelo de conectividadInicie sesión en el panel de control de Portkey y vaya a la página "Gateway". Seleccione el modelo que desea utilizar (por ejemplo, OpenAI, Anthropic, etc.), introduzca la clave API correspondiente y haga clic en "Guardar". A partir de ese momento, todas las solicitudes se enrutarán a través de Portkey.
• equilibrio de cargaEn la configuración de "Enrutamiento", añada varias claves de modelo y active "Equilibrio de carga". la clave de puerto asignará automáticamente las solicitudes para garantizar un rendimiento óptimo.
• conmutación automáticaHabilite la opción "Fallbacks" para añadir un modelo alternativo. Si el modelo principal falla, el sistema cambiará automáticamente al modelo alternativo.

Gestión del taco

• Crear un consejoInstrucciones: Vaya a la página "Instrucciones" y haga clic en "Nueva instrucción". Introduzca una pregunta del tipo "Usted es un asistente que ayuda a los usuarios con sus preguntas" y guárdela.
• Consejos para las pruebasIntroduzca un mensaje de usuario en el área de prueba de la derecha y haga clic en "Ejecutar" para ver el resultado del modelo. Ajuste las indicaciones hasta que esté satisfecho.
• control de versionesHaga clic en "Guardar como nueva versión" después de cada modificación. Puede cambiar o retroceder en el historial de versiones.
• Trabajo en equipoHaga clic en "Compartir" para generar un enlace e invitar a los miembros del equipo a editar juntos.

seguimiento en tiempo real

• Ver registroRegistros: en la página "Registros", puede ver la entrada, la salida y el tiempo transcurrido de cada solicitud en tiempo real. Si algo va mal, puedes ver directamente los detalles del error.
• Análisis del rendimientoVaya a Analytics para ver métricas como el número de peticiones, la latencia y el coste. Soporte para filtrar datos por día, semana y mes.

Función destacada Operación

Caché inteligente

• Active la "Caché semántica" en los ajustes de "Caché". El sistema devolverá directamente los resultados almacenados en caché cuando repita la consulta, ahorrando tiempo y costes.
• Ejemplo: si un usuario pregunta varias veces "¿Qué tiempo hace hoy?", la respuesta será más rápida la segunda vez.

apoyo multimodal

• Para llamar a un modelo multimodal, basta con especificar el nombre del modelo (por ejemplo, un modelo que admita imágenes) en el código y cargar el archivo:

  response = client.chat.completions.create(
  messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}],
  model="multimodal-model"
  )
  

• El resultado devuelto contendrá el análisis de la imagen.

Con estos pasos, podrá empezar a trabajar fácilmente con Portkey, tanto si está desarrollando una sencilla herramienta de chat de IA como si está gestionando una compleja aplicación de IA empresarial.

escenario de aplicación

1. Sistema empresarial de atención al cliente
   Portkey puede conectar varios modelos lingüísticos para crear un servicio inteligente de atención al cliente. El equilibrio de la carga y la conmutación automática garantizan un servicio ininterrumpido durante los periodos punta. La gestión inmediata ayuda a optimizar la calidad de la respuesta.
2. Herramientas de generación de contenidos
   Los redactores o los equipos de marketing pueden probar diferentes prompts con Portkey para generar artículos, adwords, etc. El almacenamiento inteligente en caché reduce el coste de la generación de duplicados.
3. Desarrollo del asistente educativo
   Los desarrolladores pueden utilizar el soporte multimodal de Portkey para crear aplicaciones educativas que respondan a preguntas y analicen imágenes. La implantación local es adecuada para pequeñas instituciones educativas.

CONTROL DE CALIDAD

1. ¿Qué lenguajes de programación admite Portkey?
   Soporta Python, JavaScript y REST APIs, compatible con OpenAI SDK, Langchain y otras librerías de uso común.
2. ¿Tengo que pagar por la implantación local?
   No, la versión de código abierto es completamente gratuita. La versión empresarial del servicio en la nube es la única que requiere una suscripción.
3. ¿Cómo protege sus datos?
   Portkey cuenta con las certificaciones ISO 27001 y SOC 2, cifra todas las transmisiones y el almacenamiento de datos, y admite implantaciones en nubes privadas.