Una API: gestión de API multimodelo y equilibrio de carga, sistema de distribución

Introducción general

One API es un sistema de gestión y distribución de interfaces de código abierto que admite diversos modelos de gran tamaño, como OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Géminis etc. El sistema accede a todos los grandes modelos a través del formato estándar OpenAI API, proporcionando equilibrio de carga, gestión de tokens, gestión de códigos de canje, gestión de canales y otras funciones. Los usuarios pueden desplegar y utilizar rápidamente la API One a través de Docker out of the box.

Nueva API Una versión de desarrollo secundaria basada en One API con soporte para Midjourney. Soporte para pagos y cargos por uso de modelo.

una rama api: changed from songquanpeng/one-api. soporta más modelos, añade página de estadísticas, mejora la llamada a funciones para modelos no-openai.

Lista de funciones

• Interfaces API para acceder y gestionar múltiples grandes modelos: Azure, OpenAI ChatGPT, Anthropic Claude, Google PaLM 2 & Gemini, etc.
• Proporcionar la función de equilibrio de carga para soportar múltiples canales de acceso
• API única para integrar distintas interfaces de modelos lingüísticos
• Gestión de tokens: Establezca el tiempo de caducidad, la cantidad, el rango de IP permitido y los derechos de acceso al modelo del token.
• Gestión de códigos de canje: generación por lotes y exportación de códigos de canje para recargar cuentas
• Gestión de canales: creación de canales por lotes, configuración de listas de modelos
• Gestión de grupos de usuarios y grupos de canales
• Ver los detalles de los límites y las recompensas por invitación de usuario
• Compatibilidad con interfaces de mapeo y Cloudflare AI Gateway
• Nombre del sistema, logotipo y pie de página personalizados
• Soporta múltiples métodos de registro de inicio de sesión de usuario: correo electrónico, Flybook, GitHub, WeChat número público
• Soporte de imágenes Docker para el despliegue con un solo clic

Utilizar la ayuda

Instalación y despliegue

La API One permite un despliegue rápido a través de Docker. A continuación se muestran comandos de despliegue utilizando SQLite y MySQL:

Comandos de despliegue mediante SQLite:

docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Utilice el comando MySQL deploy:

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Modifique los parámetros de conexión a la base de datos según sea necesario.

Guía de funcionamiento

1. gestión de fichasEn la interfaz de gestión, los usuarios pueden establecer el tiempo de caducidad del token, la cantidad, el rango de IP permitido y los derechos de acceso al modelo.
2. Gestión de códigos de canjePermite la generación por lotes y la exportación de códigos de canje, que los usuarios pueden utilizar para recargar sus cuentas.
3. gestión de canalesEl usuario puede crear canales de forma masiva y configurar listas de modelos para los distintos canales.
4. Agrupación de usuarios y agrupación de canalesPermite establecer diferentes multiplicadores para diferentes subgrupos para facilitar la gestión.
5. Ver desglose de límitesLos usuarios pueden ver el uso detallado del crédito.
6. Recompensas por invitación de usuariosGana créditos de recompensa invitando a nuevos usuarios.
7. Ajustes personalizadosLos usuarios pueden personalizar el nombre del sistema, el logotipo y el pie de página, e incluso la página de inicio y la página "Acerca de".

ejemplo de uso

Los usuarios pueden llamar a la API One con el siguiente código de ejemplo:

import requests

url = "http://localhost:3000/v1/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
data = {
    "model": "gpt-3.5-turbo",
    "prompt": "Hello, world!",
    "max_tokens": 50
}

response = requests.post(url, headers=headers, json=data)
print(response.json())