Portkey: инструмент разработки для подключения нескольких моделей ИИ и управления приложениями

Общее введение

Portkey - это платформа, которая помогает предприятиям и разработчикам быстро создавать, управлять и оптимизировать приложения ИИ. Она объединяет более 200 больших языковых моделей (LLM) через единый шлюз ИИ, предоставляя такие функции, как управление операциями, балансировка нагрузки и мониторинг в режиме реального времени. Основная цель сайта - сделать приложения ИИ более надежными, эффективными и безопасными в производственных средах. portkey подходит как для небольших команд, которым необходимо быстро разработать функциональность ИИ, так и для крупных организаций со сложными требованиями к соответствию и высокой производительности. Он имеет открытый исходный код, и разработчики могут развернуть его бесплатно или выбрать платные корпоративные услуги. Сайт имеет чистый интерфейс и мощные функции, которые пользуются популярностью у технических специалистов.

Список функций

• Шлюз искусственного интеллекта: Подключение 250+ больших языковых моделей, унифицированный интерфейс API, упрощение вызова моделей.
• Управление кием: Поддержка совместного создания, тестирования и контроля версий AI подсказки для повышения эффективности разработки.
• Балансировка нагрузки и автоматическое переключение: Автоматическое распределение запросов между несколькими моделями и переключение альтернативных моделей в случае отказа.
• мониторинг в реальном времени: Предоставляет 40+ показателей производительности для отслеживания рабочего состояния приложений искусственного интеллекта.
• Интеллектуальный кэш: Ускоряет отклик и снижает затраты при повторных запросах.
• защита безопасностиПоддержка проверки ввода и вывода данных для обеспечения их безопасности и соответствия требованиям.
• мультимодальная поддержкаСовместимость с мультимодальными моделями, такими как изображение и речь, для расширения сценариев применения.
• развертывание с открытым исходным кодом: Доступны варианты локального развертывания, а разработчики могут использовать основную функциональность бесплатно.

Использование помощи

Portkey очень прост в использовании, и как разработчики, так и бизнес-пользователи могут быстро приступить к работе. Здесь представлено подробное руководство, которое поможет вам максимально эффективно использовать его возможности.

Установка и настройка

Portkey предлагает два способа использования: облачный хостинг и локальное развертывание. Ниже описаны конкретные шаги:

Услуги облачного хостинга

1. зарегистрировать аккаунт
   Откройте сайт https://portkey.ai/ и нажмите кнопку "Регистрация" в правом верхнем углу. Введите свою электронную почту и пароль для завершения регистрации. После регистрации вы получите письмо с подтверждением, нажмите на ссылку, чтобы активировать учетную запись.
2. Получить ключ API
   Войдя в систему, перейдите на панель управления и нажмите на опцию "API-ключи". Нажмите "Генерировать", чтобы сгенерировать ключ API, скопируйте его и сохраните. Этот ключ является вашими основными учетными данными для вызова сервиса Portkey.
3. интегрированный код
   Portkey совместим с различными языками программирования, такими как Python и JavaScript, а в случае с Python для начала работы требуется всего несколько строк кода:

   from portkey_ai import Portkey
   client = Portkey(api_key="你的API密钥")
   response = client.chat.completions.create(
   messages=[{"role": "user", "content": "你好，今天天气如何？"}],
   model="gpt-4o-mini"
   )
   print(response)

Замените "ваш ключ API" на тот, который вы только что скопировали, и запустите код для вызова модели искусственного интеллекта.

Локальное развертывание (версия с открытым исходным кодом)

1. Установка Node.js
   Убедитесь, что на вашем компьютере установлен Node.js (рекомендуемая версия 16 или выше). Вы можете загрузить и установить его с сайта Node.js.
2. Выполнить команду
   Откройте терминал и введите следующую команду, чтобы развернуть шлюз Portkey одним щелчком мыши:

   npx @portkey-ai/gateway
   

   После успешного развертывания шлюз по умолчанию работает на http://localhost:8787/public/.

3. модель конфигурации
   В консоли локального шлюза введите API-ключ поставщика модели (например, OpenAI'ssk-xxx), сохраните конфигурацию. После этого вы можете вызывать модель через локальный шлюз.

Основные функции

Использование шлюза искусственного интеллекта

• модель подключенияВойдите в приборную панель Portkey и перейдите на страницу "Шлюз". Выберите модель, которую вы хотите использовать (например, OpenAI, Anthropic и т. д.), введите соответствующий API-ключ и нажмите "Сохранить". После этого все запросы будут направляться через Portkey.
• балансировка нагрузки: В настройках "Маршрутизация" добавьте несколько модельных ключей и включите "Балансировку нагрузки". Портключ будет автоматически распределять запросы для обеспечения оптимальной производительности.
• автоматическое переключение: Включите "Резервные модели", чтобы добавить резервную модель. Если основная модель выйдет из строя, система автоматически переключится на резервную модель.

Управление кием

• Создать совет: Перейдите на страницу "Подсказки" и нажмите кнопку "Новая подсказка". Введите подсказку, например "Вы - помощник, который помогает пользователям с их вопросами", и сохраните.
• Советы по тестированию: Введите сообщение пользователя в тестовой области справа и нажмите "Запустить", чтобы просмотреть результаты модели. Настраивайте подсказки, пока не будете удовлетворены.
• контроль версий: После каждого запроса на изменение нажмите "Сохранить как новую версию". Вы можете переключиться или откатиться назад в истории версий.
• Работа в команде: Нажмите "Поделиться", чтобы создать ссылку для приглашения членов команды к совместному редактированию.

мониторинг в реальном времени

• Просмотр журнала: На странице "Журналы" вы можете видеть входные и выходные данные, а также прошедшее время каждого запроса в режиме реального времени. Если что-то пойдет не так, вы сможете увидеть подробности ошибки напрямую.
• Анализ производительностиПерейдите в раздел "Аналитика", чтобы увидеть такие показатели, как количество запросов, задержка и стоимость. Поддержка фильтрации данных по дням, неделям и месяцам.

Функциональное управление

Интеллектуальный кэш

• Включите "Семантическое кэширование" в настройках "Кэш". Система будет возвращать кэшированные результаты непосредственно при повторном запросе, экономя время и средства.
• Пример: если пользователь спрашивает "Какая сегодня погода" несколько раз, ответ будет быстрее во второй раз.

мультимодальная поддержка

• При вызове мультимодальной модели просто укажите в коде название модели (например, модель, поддерживающую изображения) и загрузите файл:

  response = client.chat.completions.create(
  messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}],
  model="multimodal-model"
  )
  

• Возвращенный результат будет содержать анализ изображения.

Выполнив эти шаги, вы сможете легко начать работу с Portkey, независимо от того, разрабатываете ли вы простой инструмент для чата с искусственным интеллектом или управляете сложным корпоративным приложением с искусственным интеллектом.

сценарий применения

1. Система обслуживания клиентов предприятия
   Portkey может подключать несколько языковых моделей для создания интеллектуальной системы обслуживания клиентов. Балансировка нагрузки и автоматическое переключение обеспечивают бесперебойное обслуживание в периоды пиковой нагрузки. Оперативное управление помогает оптимизировать качество ответов.
2. Инструменты для создания контента
   Писатели или маркетинговые команды могут тестировать различные подсказки с помощью Portkey для создания статей, рекламных объявлений и т. д. Интеллектуальное кэширование снижает затраты на генерацию дубликатов.
3. Развитие ассистентов по образованию
   Разработчики могут использовать мультимодальную поддержку Portkey для создания образовательных приложений, отвечающих на вопросы и анализирующих изображения. Локальное развертывание подходит для небольших учебных заведений.

QA

1. Какие языки программирования поддерживает Portkey?
   Поддерживает Python, JavaScript и REST API, совместим с OpenAI SDK, Langchain и другими широко используемыми библиотеками.
2. Нужно ли платить за локальное развертывание?
   Нет, версия с открытым исходным кодом полностью бесплатна. Корпоративная версия облачного сервиса - единственная, которая требует подписки.
3. Как вы обеспечиваете безопасность своих данных?
   Portkey сертифицирована по стандартам ISO 27001 и SOC 2, шифрует все данные при передаче и хранении, а также поддерживает развертывание частных облаков.