하나의 API: 다중 모델 API 관리 및 로드 밸런싱, 배포 시스템

2.5K 00

일반 소개

하나의 API는 오픈 소스 인터페이스 관리 및 배포 시스템으로 OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 및 쌍둥이자리 등 이 시스템은 로드 밸런싱, 토큰 관리, 리뎀션 코드 관리, 채널 관리 및 기타 기능을 제공하는 표준 OpenAI API 형식을 통해 모든 대규모 모델에 액세스합니다. 사용자는 Docker를 통해 One API를 즉시 배포하고 사용할 수 있습니다.

새로운 API 결제 및 모델별 사용 요금을 지원하는 하나의 API를 기반으로 하는 보조 개발 버전으로, 미드저니를 지원합니다.
하나의 API 브랜치더 많은 모델 지원, 통계 페이지 추가, 비오픈아이 모델에 대한 함수 호출 개선, 송콴펜g/one-api에서 변경.

기능 목록

여러 대형 모델에 액세스하고 관리하기 위한 API 인터페이스: Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 및 Gemini 등입니다.
여러 접속 채널을 지원하는 로드 밸런싱 기능 제공
다양한 언어 모델 인터페이스를 통합하는 단일 API
토큰 관리: 토큰의 만료 시간, 금액, 허용되는 IP 범위 및 모델 액세스 권한을 설정합니다.
사용 코드 관리: 충전 계정으로 사용 코드를 일괄 생성 및 내보내기
채널 관리: 채널 일괄 생성, 모델 목록 설정
사용자 그룹 및 채널 그룹 관리
한도 세부 정보 및 사용자 초대 보상 보기
매핑 인터페이스 및 Cloudflare AI 게이트웨이 지원
사용자 지정 시스템 이름, 로고 및 바닥글
여러 사용자 로그인 등록 방법 지원: 이메일, 플라이북, 깃허브, 위챗 공개 번호
원클릭 배포를 위한 Docker 이미지 지원

도움말 사용

설치 및 배포

One API는 Docker를 통한 신속한 배포를 지원합니다. 다음은 SQLite 및 MySQL을 사용하는 배포 명령어입니다:

SQLite를 사용한 배포 명령:

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

MySQL 배포 명령을 사용합니다:

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

필요에 따라 데이터베이스 연결 매개변수를 수정하세요.

기능 작동 가이드

토큰 관리관리 인터페이스에서 사용자는 토큰 만료 시간, 금액, 허용된 IP 범위 및 모델 액세스 권한을 설정할 수 있습니다.
교환 코드 관리사용자가 계정을 충전하는 데 사용할 수 있는 교환 코드의 일괄 생성 및 내보내기를 지원합니다.
채널 관리사용자가 채널을 대량으로 생성하고 다양한 채널에 대한 모델 목록을 설정할 수 있습니다.
사용자 그룹화 및 채널 그룹화하위 그룹별로 서로 다른 승수를 설정하여 쉽게 관리할 수 있도록 지원합니다.
한도 내역 보기사용자는 자세한 크레딧 사용 내역을 확인할 수 있습니다.
사용자 초대 보상새로운 사용자를 초대하여 보상 크레딧을 획득하세요.
사용자 지정 설정시스템 이름, 로고 및 바닥글, 홈페이지 및 정보 페이지까지 사용자 지정할 수 있습니다.

사용 예

사용자는 다음 샘플 코드를 사용하여 One API를 호출할 수 있습니다:

import requests

url = "http://localhost:3000/v1/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "model": "gpt-3.5-turbo",
    "prompt": "Hello, world!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
print(response.json())