Uma API: gerenciamento de API de vários modelos e balanceamento de carga, sistema de distribuição

Introdução geral

Uma API é um sistema de gerenciamento e distribuição de interface de código aberto que suporta uma variedade de modelos grandes, como OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Gêmeos etc. O sistema acessa todos os grandes modelos por meio do formato padrão da API OpenAI, fornecendo balanceamento de carga, gerenciamento de tokens, gerenciamento de código de resgate, gerenciamento de canais e outras funções. Os usuários podem implementar e usar rapidamente o One API por meio do Docker pronto para uso.

Nova API Uma versão secundária de desenvolvimento baseada na One API com suporte para Midjourney. suporte para pagamentos e cobranças por uso de modelo.

um ramo da APIAlterado de songquanpeng/one-api. Suporta mais modelos, adiciona página de estatísticas, melhora a chamada de função para modelos não abertos.

Lista de funções

• Interfaces de API para acessar e gerenciar vários modelos grandes: Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 e Gemini, etc.
• Fornecer função de balanceamento de carga para suportar vários canais de acesso
• API única para integrar diferentes interfaces de modelos de idiomas
• Gerenciamento de tokens: defina o tempo de expiração, a quantidade, o intervalo de IPs permitido e os direitos de acesso ao modelo do token.
• Gerenciamento de códigos de resgate: gere e exporte em lote códigos de resgate para recarregar contas
• Gerenciamento de canais: criação de canais em lote, configuração de listas de modelos
• Gerenciamento de grupos de usuários e de canais
• Exibir detalhes de limites e recompensas de convites de usuários
• Suporte para interfaces de mapeamento e Gateway de IA da Cloudflare
• Nome, logotipo e rodapé personalizados do sistema
• Suporte a vários métodos de registro de login de usuário: e-mail, Flybook, GitHub, número público do WeChat
• Suporte a imagens do Docker para implantação com um clique

Usando a Ajuda

Instalação e implementação

A One API oferece suporte à implantação rápida via Docker. Veja a seguir os comandos de implementação usando SQLite e MySQL:

Comandos de implantação usando o SQLite:

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Use o comando de implantação do MySQL:

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Modifique os parâmetros de conexão do banco de dados conforme necessário.

Guia de operação de funções

1. gerenciamento de tokensNa interface de gerenciamento, os usuários podem definir o tempo de expiração do token, a quantidade, o intervalo de IPs permitido e os direitos de acesso ao modelo.
2. Gerenciamento do código de resgateSuporte à geração e exportação em lote de códigos de resgate, que podem ser usados pelos usuários para recarregar suas contas.
3. gerenciamento de canaisOs usuários podem criar canais em massa e configurar listas de modelos para diferentes canais.
4. Agrupamento de usuários e agrupamento de canaisSuporte à configuração de diferentes multiplicadores para diferentes subgrupos para facilitar o gerenciamento.
5. Exibir discriminação de limitesOs usuários podem visualizar o uso detalhado do crédito.
6. Recompensas por convite ao usuárioGanhe créditos de recompensa ao convidar novos usuários.
7. Configurações personalizadasOs usuários podem personalizar o nome do sistema, o logotipo e o rodapé, e até mesmo a página inicial e a página sobre.

exemplo de uso

Os usuários podem chamar a API do One com o seguinte código de exemplo:

importação solicitações

url = "http://localhost:3000/v1/completions"
cabeçalhos = {
    "Authorization" (Autorização): "Portador YOUR_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "model" (modelo): "gpt-3.5-turbo",
    "prompt": "Olá, mundo!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
impressão(response.json())

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>