Portkey: 여러 AI 모델을 연결하고 애플리케이션을 관리하기 위한 개발 도구

9.9K 00

일반 소개

Portkey는 기업과 개발자가 AI 애플리케이션을 신속하게 구축, 관리 및 최적화할 수 있도록 지원하는 플랫폼입니다. 200개가 넘는 대규모 언어 모델(LLM)을 통합 AI 게이트웨이를 통해 연결하여 신속한 관리, 로드 밸런싱, 실시간 모니터링 등의 기능을 제공합니다. 이 사이트의 핵심 목표는 프로덕션 환경에서 AI 애플리케이션을 보다 안정적이고 효율적이며 안전하게 만드는 것입니다. 포트키는 AI 기능을 빠르게 개발해야 하는 소규모 팀과 복잡한 규정 준수 및 고성능 요구 사항이 있는 대규모 조직 모두에 적합합니다. 오픈 소스이며 개발자는 무료로 배포하거나 유료 엔터프라이즈 서비스를 선택할 수 있습니다. 이 사이트는 깔끔한 인터페이스와 강력한 기능을 갖추고 있어 기술 팀에게 인기가 높습니다.

기능 목록

AI 게이트웨이250개 이상의 대규모 언어 모델을 연결하고, 통합 API 인터페이스를 제공하며, 모델 호출을 간소화합니다.
큐 관리협업 팀 생성, 테스트 및 버전 관리 AI 프롬프트를 지원하여 개발 효율성을 개선합니다.
로드 밸런싱 및 자동 전환여러 모델에 요청을 자동으로 할당하고 장애 발생 시 대체 모델로 전환합니다.
실시간 모니터링40개 이상의 성능 지표를 제공하여 AI 애플리케이션의 운영 상태를 추적합니다.
스마트 캐시쿼리 반복 시 응답을 가속화하고 비용을 절감합니다.
안전 보호데이터 보안 및 규정 준수를 위해 입력 및 출력 유효성 검사를 지원합니다.
멀티모달 지원이미지 및 음성 등 멀티모달 모델과 호환되어 애플리케이션 시나리오를 확장할 수 있습니다.
오픈 소스 배포로컬 배포 옵션이 제공되며 개발자는 핵심 기능을 무료로 사용할 수 있습니다.

도움말 사용

포트키는 사용하기 매우 쉬우며 개발자와 비즈니스 사용자 모두 빠르게 시작할 수 있습니다. 다음은 기능을 최대한 활용하는 데 도움이 되는 자세한 사용법 가이드입니다.

설치 및 구성

포트키는 클라우드 호스팅 서비스와 로컬 배포라는 두 가지 사용 방법을 제공합니다. 구체적인 단계는 다음과 같습니다:

클라우드 호스팅 서비스

계정 등록하기
https://portkey.ai/ 을 열고 오른쪽 상단에 있는 '가입하기' 버튼을 클릭합니다. 이메일 주소와 비밀번호를 입력하여 등록을 완료합니다. 등록 후 확인 이메일이 전송되면 링크를 클릭하여 계정을 활성화하세요.
API 키 가져오기
로그인한 후 대시보드로 이동하여 "API 키" 옵션을 클릭합니다. "생성"을 클릭하여 API 키를 생성하고 복사하여 저장합니다. 이 키는 Portkey 서비스를 호출하기 위한 기본 자격증명입니다.

통합 코드
포트키는 파이썬, 자바스크립트 등 다양한 프로그래밍 언어와 호환되며, 파이썬의 경우 몇 줄의 코드만 입력하면 시작할 수 있습니다:

from portkey_ai import Portkey
client = Portkey(api_key="你的API密钥")
response = client.chat.completions.create(
messages=[{"role": "user", "content": "你好，今天天气如何？"}],
model="gpt-4o-mini"
)
print(response)

'API 키'를 방금 복사한 키로 바꾸고 코드를 실행하여 AI 모델을 호출합니다.

로컬 배포(오픈 소스 버전)

Node.js 설치
컴퓨터에 Node.js(권장 버전 16 이상)가 설치되어 있는지 확인하세요. Node.js 웹사이트에서 다운로드하여 설치할 수 있습니다.
명령 실행
터미널을 열고 다음 명령을 입력하여 클릭 한 번으로 포트키 게이트웨이를 배포합니다:
```
npx @portkey-ai/gateway
```
배포가 성공적으로 완료되면 게이트웨이는 기본적으로 http://localhost:8787/public/.
구성 모델
로컬 게이트웨이 콘솔에서 모델 제공업체 API 키를 입력합니다(예: OpenAI의sk-xxx)를 클릭하고 구성을 저장합니다. 그런 다음 로컬 게이트웨이를 통해 모델을 호출할 수 있습니다.

주요 기능

AI 게이트웨이 사용량

연결 모델Portkey 대시보드에 로그인하고 "게이트웨이" 페이지로 이동합니다. 사용하려는 모델(예: OpenAI, Anthropic 등)을 선택하고 해당 API 키를 입력한 후 "저장"을 클릭합니다. 그 후 모든 요청은 Portkey를 통해 라우팅됩니다.
로드 밸런싱'라우팅' 설정에서 여러 모델 키를 추가하고 '로드 밸런싱'을 활성화하면 포트키가 최적의 성능을 보장하기 위해 요청을 자동으로 할당합니다.
자동 전환: 대체 모델을 추가하려면 '대체 모델'을 활성화합니다. 기본 모델에 장애가 발생하면 시스템이 자동으로 폴백 모델로 전환됩니다.

큐 관리

팁 만들기'프롬프트' 페이지로 이동하여 '새 프롬프트'를 클릭합니다. "귀하는 사용자의 질문을 도와주는 어시스턴트입니다"와 같은 프롬프트를 입력하고 저장합니다.
테스트 팁오른쪽의 테스트 영역에 사용자 메시지를 입력하고 '실행'을 클릭하여 모델 출력을 확인합니다. 만족할 때까지 프롬프트를 조정합니다.
버전 관리수정 메시지가 표시될 때마다 '새 버전으로 저장'을 클릭합니다. 버전 기록에서 전환하거나 롤백할 수 있습니다.
팀워크'공유'를 클릭하여 함께 편집할 팀원을 초대할 수 있는 링크를 생성합니다.

실시간 모니터링

로그 보기'로그' 페이지에서 각 요청의 입력, 출력, 경과 시간을 실시간으로 확인할 수 있습니다. 문제가 발생하면 오류 세부 정보를 바로 확인할 수 있습니다.
성능 분석애널리틱스로 이동하여 요청 수, 지연 시간, 비용 등의 메트릭을 확인하세요. 일, 주, 월별 데이터 필터링 지원.

주요 기능 작동

스마트 캐시

'캐시' 설정에서 '시맨틱 캐싱'을 활성화합니다. 쿼리를 반복할 때 시스템이 캐시된 결과를 바로 반환하므로 시간과 비용을 절약할 수 있습니다.
예: 사용자가 "오늘 날씨가 어때요"라고 여러 번 질문하면 두 번째로 질문할 때 응답이 더 빨라집니다.

멀티모달 지원

멀티모달 모델을 호출할 때는 코드에 모델 이름(예: 이미지를 지원하는 모델)을 지정하고 파일을 업로드하기만 하면 됩니다:
```
response = client.chat.completions.create(
messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}],
model="multimodal-model"
)
```
반환된 결과에는 이미지 분석이 포함됩니다.

이 단계를 통해 간단한 AI 채팅 도구를 개발하든 복잡한 엔터프라이즈 AI 애플리케이션을 관리하든 Portkey를 쉽게 시작할 수 있습니다.

애플리케이션 시나리오

기업 고객 서비스 시스템
포트키는 여러 언어 모델을 연결하여 지능형 고객 서비스를 구축할 수 있습니다. 로드 밸런싱 및 자동 전환 기능을 통해 피크 시간대에도 중단 없는 서비스를 보장합니다. 신속한 관리로 응답 품질을 최적화할 수 있습니다.
콘텐츠 생성 도구
작가나 마케팅 팀은 포트키를 사용하여 다양한 프롬프트를 테스트하여 글, 애드워즈 등을 생성할 수 있습니다. 스마트 캐싱은 중복 생성 비용을 줄여줍니다.
교육 조교 개발
개발자는 Portkey의 멀티모달 지원을 사용하여 질문에 답하고 이미지를 분석하는 교육용 애플리케이션을 구축할 수 있습니다. 로컬 배포는 소규모 교육 기관에 적합합니다.

QA

포트키는 어떤 프로그래밍 언어를 지원하나요?
파이썬, 자바스크립트, REST API를 지원하며, OpenAI SDK, 랭체인 및 기타 일반적으로 사용되는 라이브러리와 호환됩니다.
로컬 배포에 대한 비용을 지불해야 하나요?
아니요, 오픈 소스 버전은 완전히 무료입니다. 엔터프라이즈 버전의 클라우드 서비스는 구독이 필요한 유일한 서비스입니다.
데이터를 어떻게 안전하게 보호하나요?
Portkey는 ISO 27001 및 SOC 2 인증을 받았으며, 모든 데이터 전송 및 저장을 암호화하고, 프라이빗 클라우드 배포를 지원합니다.