Portkey: uma ferramenta de desenvolvimento para conectar vários modelos de IA e gerenciar aplicativos

🚀 Convite para experimentar: o primeiro software de programação inteligente AI IDE da China Download da versão chinesa do TraeO DeepSeek-R1 e o Doubao-pro estão disponíveis em uma base ilimitada!

Introdução geral

A Portkey é uma plataforma que ajuda as empresas e os desenvolvedores a criar, gerenciar e otimizar rapidamente os aplicativos de IA. Ela conecta mais de 200 modelos de linguagem grande (LLMs) por meio de um gateway de IA unificado, fornecendo recursos como gerenciamento imediato, balanceamento de carga e monitoramento em tempo real. O objetivo principal do site é tornar os aplicativos de IA mais confiáveis, eficientes e seguros em ambientes de produção. O portkey é adequado tanto para equipes pequenas que precisam desenvolver funcionalidades de IA rapidamente quanto para grandes organizações com requisitos complexos de conformidade e alto desempenho. Ele é de código aberto e os desenvolvedores podem implantá-lo gratuitamente ou optar por serviços empresariais pagos. O site tem uma interface limpa e recursos avançados que são populares entre as equipes técnicas.

Portkey: uma ferramenta de desenvolvimento para conectar vários modelos de IA e gerenciar aplicativos-1

Lista de funções

Gateway de IAConecte mais de 250 grandes modelos de linguagem, forneça uma interface API unificada e simplifique a chamada de modelos.
Gerenciamento de tacosSuporte ao trabalho em equipe para criar, testar e controlar versões Dicas de IA para aumentar a eficiência do desenvolvimento.
Balanceamento de carga e comutação automáticaAtribui automaticamente solicitações a vários modelos e alterna modelos alternativos em caso de falha.
monitoramento em tempo realFornece mais de 40 métricas de desempenho para rastrear o status operacional dos aplicativos de IA.
Cache inteligenteAcelera a resposta e reduz os custos ao repetir consultas.
proteção de segurançaSuporte à validação de entrada e saída para garantir a segurança e a conformidade dos dados.
suporte multimodalCompatível com modelos multimodais, como imagem e fala, para ampliar os cenários de aplicação.
implantação de código abertoOpções de implantação local estão disponíveis e os desenvolvedores podem usar a funcionalidade principal gratuitamente.

Usando a Ajuda

O Portkey é muito fácil de usar e tanto os desenvolvedores quanto os usuários corporativos podem começar a usá-lo rapidamente. Aqui está um guia detalhado de como fazer para ajudá-lo a aproveitar ao máximo seus recursos.

Instalação e configuração

O Portkey oferece duas maneiras de usá-lo: serviço de hospedagem na nuvem e implantação local. Veja a seguir as etapas específicas:

Serviços de hospedagem na nuvem

registrar uma conta
Abra o site https://portkey.ai/ e clique no botão "Sign Up" (Registre-se) no canto superior direito. Digite seu endereço de e-mail e senha para concluir o registro. Após o registro, você receberá um e-mail de verificação; clique no link para ativar sua conta.
Obter chave de API
Depois de fazer login, vá para o Dashboard e clique na opção "API Keys" (Chaves de API). Clique em "Generate" (Gerar) para gerar uma chave de API, copie-a e salve-a. Essa chave é sua principal credencial para chamar o serviço Portkey.

código integrado
O Portkey é compatível com várias linguagens de programação, como Python e JavaScript, e, no caso do Python, são necessárias apenas algumas linhas de código para começar:

from portkey_ai import Portkey
cliente = Portkey(api_key="sua chave de API")
response = client.chat.completions.create(
messages=[{"role": "user", "content": "Hello, how's the weather today?"}] ,
model="gpt-4o-mini"
)
print(response)

Substitua "sua chave de API" pela que você acabou de copiar e execute o código para invocar o modelo de IA.

Implementação local (versão de código aberto)

Instalação do Node.js
Certifique-se de ter o Node.js (versão recomendada 16 ou superior) instalado em seu computador. Você pode fazer download e instalá-lo no site do Node.js.
Executar comando
Abra um terminal e digite o seguinte comando para implantar o Portkey Gateway com um clique:
```
npx @portkey-ai/gateway
```
Após a implantação bem-sucedida, o gateway é executado por padrão no http://localhost:8787/public/.
modelo de configuração
No console do gateway local, insira a chave de API do provedor de modelo (por exemplo, a chave de API da OpenAIsk-xxx), salve a configuração. Depois disso, você pode chamar o modelo por meio do gateway local.

Funções principais

Uso do gateway de IA

modelo de conectividadeFaça login no painel de controle da Portkey e acesse a página "Gateway". Selecione o modelo que deseja usar (por exemplo, OpenAI, Anthropic etc.), insira a chave de API correspondente e clique em "Save" (Salvar). Depois disso, todas as solicitações serão roteadas pela Portkey.
balanceamento de cargaNa configuração "Routing" (Roteamento), adicione várias chaves de modelo e ative o "Load Balancing" (Balanceamento de carga). A chave de porta alocará automaticamente as solicitações para garantir o desempenho ideal.
comutação automáticaAtivar "Fallbacks" para adicionar um modelo de fallback. Se o modelo principal falhar, o sistema mudará automaticamente para o modelo de fallback.

Gerenciamento de tacos

Criar uma dicaSelecione "Prompts": Vá para a página "Prompts" e clique em "New Prompt". Digite um prompt como "You are an assistant who helps users with their questions" (Você é um assistente que ajuda os usuários com suas perguntas) e salve.
Dicas de testeDigite uma mensagem de usuário na área de teste à direita e clique em "Run" (Executar) para visualizar a saída do modelo. Ajuste os prompts até ficar satisfeito.
controle de versãoClique em "Save as New Version" (Salvar como nova versão) após cada solicitação de modificação. Você pode alternar ou reverter no histórico de versões.
Trabalho em equipeClique em "Share" (Compartilhar) para gerar um link e convidar os membros da equipe a editarem juntos.

monitoramento em tempo real

Ver registroNa página "Logs", você pode ver a entrada, a saída e o tempo decorrido de cada solicitação em tempo real. Se algo der errado, você poderá ver os detalhes do erro diretamente.
Análise de desempenhoAnálise de dados: acesse o Analytics para ver métricas como número de solicitações, latência e custo. Suporte para filtragem de dados por dia, semana e mês.

Operação da função em destaque

Cache inteligente

Ative o "Semantic Caching" nas configurações de "Cache". O sistema retornará os resultados armazenados em cache diretamente quando você repetir a consulta, economizando tempo e custos.
Exemplo: se um usuário perguntar "What's the weather like today" (Como está o tempo hoje) várias vezes, a resposta será mais rápida na segunda vez.

suporte multimodal

Ao chamar um modelo multimodal, basta especificar o nome do modelo (por exemplo, um modelo compatível com imagens) no código e carregar o arquivo:

response = client.chat.completions.create(
messages=[{"role": "user", "content": "Describe this image", "image": "path/to/image.jpg"}],
model="multimodal-model"
)

O resultado retornado conterá a análise da imagem.

Com essas etapas, você pode começar a usar o Portkey facilmente, quer esteja desenvolvendo uma simples ferramenta de bate-papo com IA ou gerenciando um aplicativo de IA empresarial complexo.

cenário do aplicativo

Sistema corporativo de atendimento ao cliente
O Portkey pode conectar vários modelos de idiomas para criar um atendimento inteligente ao cliente. O balanceamento de carga e a comutação automática garantem um serviço ininterrupto durante os períodos de pico. O gerenciamento imediato ajuda a otimizar a qualidade da resposta.
Ferramentas de geração de conteúdo
Os redatores ou as equipes de marketing podem testar diferentes prompts com o Portkey para gerar artigos, adwords, etc. O armazenamento em cache inteligente reduz o custo da geração duplicada.
Desenvolvimento de assistentes educacionais
Os desenvolvedores podem usar o suporte multimodal do Portkey para criar aplicativos educacionais que respondem a perguntas e analisam imagens. A implantação local é adequada para pequenas instituições educacionais.

QA

Quais linguagens de programação são compatíveis com o Portkey?
Oferece suporte a APIs Python, JavaScript e REST, compatível com OpenAI SDK, Langchain e outras bibliotecas comumente usadas.
Tenho que pagar pela implantação local?
Não, a versão de código aberto é totalmente gratuita. A versão corporativa do serviço de nuvem é a única que requer uma assinatura.
Como você mantém seus dados seguros?
A Portkey tem certificação ISO 27001 e SOC 2, criptografa toda a transmissão e armazenamento de dados e oferece suporte a implementações de nuvem privada.