Portkey：连接多种AI模型并管理应用的开发工具

综合介绍

Portkey 是一个帮助企业和开发者快速构建、管理和优化AI应用的平台。它通过统一的AI网关连接超过200种大语言模型（LLM），提供提示管理、负载均衡和实时监控等功能。网站的核心目标是让AI应用在生产环境中更可靠、高效和安全。Portkey 既适合需要快速开发AI功能的小团队，也能满足大型企业对复杂合规和高性能的需求。它是开源的，开发者可以免费部署，也可以选择付费的企业服务。网站界面简洁，功能强大，深受技术团队欢迎。

功能列表

• AI网关：连接250+种大语言模型，提供统一的API接口，简化模型调用。
• 提示管理：支持团队协作创建、测试和版本控制AI提示，提升开发效率。
• 负载均衡与自动切换：自动分配请求到多个模型，遇到故障时切换备用模型。
• 实时监控：提供40+项性能指标，追踪AI应用的运行状态。
• 智能缓存：重复查询时加速响应，降低成本。
• 安全防护：支持输入输出验证，确保数据安全和合规。
• 多模态支持：兼容图像、语音等多模态模型，扩展应用场景。
• 开源部署：提供本地部署选项，开发者可免费使用核心功能。

使用帮助

Portkey 的使用非常简单，无论是开发者还是企业用户都能快速上手。以下是详细的操作指南，帮助你充分利用它的功能。

安装与配置

Portkey 提供两种使用方式：云端托管服务和本地部署。以下是具体步骤：

云端托管服务

1. 注册账户
   打开 https://portkey.ai/，点击右上角“Sign Up”按钮。输入邮箱和密码，完成注册。注册后会收到验证邮件，点击链接激活账户。
2. 获取API密钥
   登录后，进入仪表板（Dashboard），点击“API Keys”选项。点击“Generate”生成一个API密钥，复制保存。这个密钥是你调用Portkey服务的主要凭证。
3. 集成代码
   Portkey 兼容多种编程语言，如 Python 和 JavaScript。以 Python 为例，只需几行代码就能开始：

   from portkey_ai import Portkey
   client = Portkey(api_key="你的API密钥")
   response = client.chat.completions.create(
   messages=[{"role": "user", "content": "你好，今天天气如何？"}],
   model="gpt-4o-mini"
   )
   print(response)

将“你的API密钥”替换为刚刚复制的密钥，运行代码即可调用AI模型。

本地部署（开源版）

1. 安装Node.js
   确保你的电脑已安装 Node.js（推荐版本16或以上）。可以在 Node.js官网 下载安装。
2. 运行命令
   打开终端，输入以下命令一键部署Portkey网关：

   npx @portkey-ai/gateway
   

   部署成功后，网关默认运行在 http://localhost:8787/public/。

3. 配置模型
   在本地网关控制台中，输入你的模型提供商API密钥（如OpenAI的sk-xxx），保存配置。之后即可通过本地网关调用模型。

主要功能操作

AI网关使用

• 连接模型：登录Portkey仪表板，进入“Gateway”页面。选择你想使用的模型（比如OpenAI、Anthropic等），输入对应API密钥，点击“Save”。之后，所有请求都会通过Portkey统一路由。
• 负载均衡：在“Routing”设置中，添加多个模型密钥，启用“Load Balancing”。Portkey会自动分配请求，确保性能最优。
• 自动切换：启用“Fallbacks”，添加备用模型。如果主模型失败，系统会自动切换到备用模型。

提示管理

• 创建提示：进入“Prompts”页面，点击“New Prompt”。输入提示内容，比如“你是一个帮助用户解答问题的助手”，保存。
• 测试提示：在右侧测试区输入用户消息，点击“Run”查看模型输出。调整提示直到满意。
• 版本控制：每次修改提示后，点击“Save as New Version”。可以在版本历史中切换或回滚。
• 团队协作：点击“Share”，生成链接，邀请团队成员一起编辑。

实时监控

• 查看日志：在“Logs”页面，实时查看每个请求的输入、输出和耗时。如果出错，可以直接看到错误详情。
• 性能分析：进入“Analytics”，查看请求次数、延迟和成本等指标。支持按天、周、月筛选数据。

特色功能操作

智能缓存

• 在“Cache”设置中，开启“Semantic Caching”。重复查询时，系统会直接返回缓存结果，节省时间和费用。
• 示例：用户多次问“今天天气如何”，第二次起响应会更快。

多模态支持

• 调用多模态模型时，只需在代码中指定模型名（如支持图像的模型），上传文件：

  response = client.chat.completions.create(
  messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}],
  model="multimodal-model"
  )
  

• 返回结果会包含图像分析内容。

通过以上步骤，你可以轻松上手Portkey，无论是开发简单的AI聊天工具，还是管理复杂的企业AI应用。

应用场景

1. 企业客服系统
   Portkey 可以连接多个语言模型，构建智能客服。通过负载均衡和自动切换，确保高峰期服务不中断。提示管理帮助优化回复质量。
2. 内容生成工具
   作家或营销团队可以用Portkey测试不同提示，生成文章、广告词等。智能缓存减少重复生成成本。
3. 教育助手开发
   开发者可以用Portkey的多模态支持，打造能解答问题、分析图片的教育应用。本地部署适合小型教育机构。

QA

1. Portkey支持哪些编程语言？
   支持Python、JavaScript和REST API，兼容OpenAI SDK、Langchain等常用库。
2. 本地部署需要付费吗？
   不需要，开源版完全免费。企业版云服务才需要订阅。
3. 如何保证数据安全？
   Portkey通过ISO 27001和SOC 2认证，所有数据加密传输和存储，支持私有云部署。