일반 소개
Portkey는 기업과 개발자가 AI 애플리케이션을 신속하게 구축, 관리 및 최적화할 수 있도록 지원하는 플랫폼입니다. 200개가 넘는 대규모 언어 모델(LLM)을 통합 AI 게이트웨이를 통해 연결하여 신속한 관리, 로드 밸런싱, 실시간 모니터링 등의 기능을 제공합니다. 이 사이트의 핵심 목표는 프로덕션 환경에서 AI 애플리케이션을 보다 안정적이고 효율적이며 안전하게 만드는 것입니다. 포트키는 AI 기능을 빠르게 개발해야 하는 소규모 팀과 복잡한 규정 준수 및 고성능 요구 사항이 있는 대규모 조직 모두에 적합합니다. 오픈 소스이며 개발자는 무료로 배포하거나 유료 엔터프라이즈 서비스를 선택할 수 있습니다. 이 사이트는 깔끔한 인터페이스와 강력한 기능을 갖추고 있어 기술 팀에게 인기가 높습니다.

기능 목록
- AI 게이트웨이250개 이상의 대규모 언어 모델을 연결하고, 통합 API 인터페이스를 제공하며, 모델 호출을 간소화합니다.
- 큐 관리협업 팀 생성, 테스트 및 버전 관리 AI 프롬프트를 지원하여 개발 효율성을 개선합니다.
- 로드 밸런싱 및 자동 전환여러 모델에 요청을 자동으로 할당하고 장애 발생 시 대체 모델로 전환합니다.
- 실시간 모니터링40개 이상의 성능 지표를 제공하여 AI 애플리케이션의 운영 상태를 추적합니다.
- 스마트 캐시쿼리 반복 시 응답을 가속화하고 비용을 절감합니다.
- 안전 보호데이터 보안 및 규정 준수를 위해 입력 및 출력 유효성 검사를 지원합니다.
- 멀티모달 지원이미지 및 음성 등 멀티모달 모델과 호환되어 애플리케이션 시나리오를 확장할 수 있습니다.
- 오픈 소스 배포로컬 배포 옵션이 제공되며 개발자는 핵심 기능을 무료로 사용할 수 있습니다.
도움말 사용
포트키는 사용하기 매우 쉬우며 개발자와 비즈니스 사용자 모두 빠르게 시작할 수 있습니다. 다음은 기능을 최대한 활용하는 데 도움이 되는 자세한 사용법 가이드입니다.
설치 및 구성
포트키는 클라우드 호스팅 서비스와 로컬 배포라는 두 가지 사용 방법을 제공합니다. 구체적인 단계는 다음과 같습니다:
클라우드 호스팅 서비스
- 계정 등록하기
https://portkey.ai/ 을 열고 오른쪽 상단에 있는 '가입하기' 버튼을 클릭합니다. 이메일 주소와 비밀번호를 입력하여 등록을 완료합니다. 등록 후 확인 이메일이 전송되면 링크를 클릭하여 계정을 활성화하세요. - API 키 가져오기
로그인한 후 대시보드로 이동하여 "API 키" 옵션을 클릭합니다. "생성"을 클릭하여 API 키를 생성하고 복사하여 저장합니다. 이 키는 Portkey 서비스를 호출하기 위한 기본 자격증명입니다. - 통합 코드
포트키는 파이썬, 자바스크립트 등 다양한 프로그래밍 언어와 호환되며, 파이썬의 경우 몇 줄의 코드만 입력하면 시작할 수 있습니다:from portkey_ai import Portkey client = Portkey(api_key="你的API密钥") response = client.chat.completions.create( messages=[{"role": "user", "content": "你好,今天天气如何?"}], model="gpt-4o-mini" ) print(response)
'API 키'를 방금 복사한 키로 바꾸고 코드를 실행하여 AI 모델을 호출합니다.
로컬 배포(오픈 소스 버전)
- Node.js 설치
컴퓨터에 Node.js(권장 버전 16 이상)가 설치되어 있는지 확인하세요. Node.js 웹사이트에서 다운로드하여 설치할 수 있습니다. - 명령 실행
터미널을 열고 다음 명령을 입력하여 클릭 한 번으로 포트키 게이트웨이를 배포합니다:npx @portkey-ai/gateway
배포가 성공적으로 완료되면 게이트웨이는 기본적으로
http://localhost:8787/public/
. - 구성 모델
로컬 게이트웨이 콘솔에서 모델 제공업체 API 키를 입력합니다(예: OpenAI의sk-xxx
)를 클릭하고 구성을 저장합니다. 그런 다음 로컬 게이트웨이를 통해 모델을 호출할 수 있습니다.
주요 기능
AI 게이트웨이 사용량
- 연결 모델Portkey 대시보드에 로그인하고 "게이트웨이" 페이지로 이동합니다. 사용하려는 모델(예: OpenAI, Anthropic 등)을 선택하고 해당 API 키를 입력한 후 "저장"을 클릭합니다. 그 후 모든 요청은 Portkey를 통해 라우팅됩니다.
- 로드 밸런싱'라우팅' 설정에서 여러 모델 키를 추가하고 '로드 밸런싱'을 활성화하면 포트키가 최적의 성능을 보장하기 위해 요청을 자동으로 할당합니다.
- 자동 전환: 대체 모델을 추가하려면 '대체 모델'을 활성화합니다. 기본 모델에 장애가 발생하면 시스템이 자동으로 폴백 모델로 전환됩니다.
큐 관리
- 팁 만들기'프롬프트' 페이지로 이동하여 '새 프롬프트'를 클릭합니다. "귀하는 사용자의 질문을 도와주는 어시스턴트입니다"와 같은 프롬프트를 입력하고 저장합니다.
- 테스트 팁오른쪽의 테스트 영역에 사용자 메시지를 입력하고 '실행'을 클릭하여 모델 출력을 확인합니다. 만족할 때까지 프롬프트를 조정합니다.
- 버전 관리수정 메시지가 표시될 때마다 '새 버전으로 저장'을 클릭합니다. 버전 기록에서 전환하거나 롤백할 수 있습니다.
- 팀워크'공유'를 클릭하여 함께 편집할 팀원을 초대할 수 있는 링크를 생성합니다.
실시간 모니터링
- 로그 보기'로그' 페이지에서 각 요청의 입력, 출력, 경과 시간을 실시간으로 확인할 수 있습니다. 문제가 발생하면 오류 세부 정보를 바로 확인할 수 있습니다.
- 성능 분석애널리틱스로 이동하여 요청 수, 지연 시간, 비용 등의 메트릭을 확인하세요. 일, 주, 월별 데이터 필터링 지원.
주요 기능 작동
스마트 캐시
- '캐시' 설정에서 '시맨틱 캐싱'을 활성화합니다. 쿼리를 반복할 때 시스템이 캐시된 결과를 바로 반환하므로 시간과 비용을 절약할 수 있습니다.
- 예: 사용자가 "오늘 날씨가 어때요"라고 여러 번 질문하면 두 번째로 질문할 때 응답이 더 빨라집니다.
멀티모달 지원
- 멀티모달 모델을 호출할 때는 코드에 모델 이름(예: 이미지를 지원하는 모델)을 지정하고 파일을 업로드하기만 하면 됩니다:
response = client.chat.completions.create( messages=[{"role": "user", "content": "描述这张图片", "image": "path/to/image.jpg"}], model="multimodal-model" )
- 반환된 결과에는 이미지 분석이 포함됩니다.
이 단계를 통해 간단한 AI 채팅 도구를 개발하든 복잡한 엔터프라이즈 AI 애플리케이션을 관리하든 Portkey를 쉽게 시작할 수 있습니다.
애플리케이션 시나리오
- 기업 고객 서비스 시스템
포트키는 여러 언어 모델을 연결하여 지능형 고객 서비스를 구축할 수 있습니다. 로드 밸런싱 및 자동 전환 기능을 통해 피크 시간대에도 중단 없는 서비스를 보장합니다. 신속한 관리로 응답 품질을 최적화할 수 있습니다. - 콘텐츠 생성 도구
작가나 마케팅 팀은 포트키를 사용하여 다양한 프롬프트를 테스트하여 글, 애드워즈 등을 생성할 수 있습니다. 스마트 캐싱은 중복 생성 비용을 줄여줍니다. - 교육 조교 개발
개발자는 Portkey의 멀티모달 지원을 사용하여 질문에 답하고 이미지를 분석하는 교육용 애플리케이션을 구축할 수 있습니다. 로컬 배포는 소규모 교육 기관에 적합합니다.
QA
- 포트키는 어떤 프로그래밍 언어를 지원하나요?
파이썬, 자바스크립트, REST API를 지원하며, OpenAI SDK, 랭체인 및 기타 일반적으로 사용되는 라이브러리와 호환됩니다. - 로컬 배포에 대한 비용을 지불해야 하나요?
아니요, 오픈 소스 버전은 완전히 무료입니다. 엔터프라이즈 버전의 클라우드 서비스는 구독이 필요한 유일한 서비스입니다. - 데이터를 어떻게 안전하게 보호하나요?
Portkey는 ISO 27001 및 SOC 2 인증을 받았으며, 모든 데이터 전송 및 저장을 암호화하고, 프라이빗 클라우드 배포를 지원합니다.
© 저작권 정책
이 글은 저작권이 있으며 무단으로 복제해서는 안 됩니다.
관련 문서
댓글 없음...