glhf.chat: ejecuta casi (todos) los grandes modelos de código abierto, acceso gratuito a los recursos de la GPU y a los servicios de la API (periodo beta).

Introducción general

good luck have fun (glhf.chat) es un sitio web que proporciona un servicio de chat de big models de código abierto. La plataforma permite a los usuarios ejecutar casi cualquier big model de código abierto utilizando vLLM y un programador de GPU autoescalable personalizado. Los usuarios sólo tienen que pegar un enlace al repositorio de Hugging Face e interactuar utilizando la interfaz de chat o las API compatibles con OpenAI. La plataforma se ofrece de forma gratuita durante el periodo beta y estará disponible en el futuro a un precio inferior al de los principales proveedores de GPU en la nube.

Lista de funciones

• Es compatible con diversos macromodelos de código abierto, como Meta Llama, Qwen, Mixtral, etc.
• Proporciona acceso a hasta ocho GPU Nvidia A100 de 80 Gb.
• Servicios de razonamiento para modelos automatizados de población de agentes
• Puesta en marcha y apagado bajo demanda de los clústeres para optimizar el uso de los recursos.
• Proporciona API compatibles con OpenAI para facilitar la integración

Utilizar la ayuda

Instalación y uso

1. Registro e inicio de sesión: Accesoglhf.chaty regístrate para obtener una cuenta, e inicia sesión cuando hayas terminado.
2. Seleccionar modelo: Selecciona el macromodelo deseado en la página de inicio de la plataforma. Los modelos compatibles son Meta Llama, Qwen y Mixtral, entre otros.
3. Pegar el enlace: Pega el enlace del repositorio Cara Abrazada en la ubicación especificada y la plataforma cargará automáticamente el modelo.
4. Uso de la interfaz de chatInteractúa con el modelo a través de la interfaz de chat del sitio web, escribiendo preguntas o comandos, y el modelo generará respuestas en tiempo real.
5. Integración APIIntegre las funciones de la plataforma en sus propias aplicaciones mediante API compatibles con OpenAI, tal y como se detalla en la documentación sobre API del Centro de ayuda del sitio web.

Flujo detallado de funcionamiento de las funciones

1. Selección y carga de modelos::
   • Tras iniciar sesión, accederá a la página de selección de modelos.
   • Busque en la lista de modelos compatibles y haga clic en el modelo deseado.
   • Pegue el enlace al repositorio Cara de abrazo en el cuadro de diálogo emergente y pulse el botón "Cargar modelo".
   • Espere a que el modelo termine de cargarse, el tiempo de carga depende del tamaño del modelo y de las condiciones de la red.
2. Uso de la interfaz de chat::
   • Una vez cargado el modelo, entra en la pantalla de chat.
   • Introduzca una pregunta o instrucción en el cuadro de entrada y haga clic en Enviar.
   • El modelo genera una respuesta basada en la entrada y la respuesta se muestra en la ventana de chat.
   • Se pueden introducir varias preguntas u órdenes seguidas, y el modelo las procesará y responderá una a una.
3. Uso de la API::
   • Visite la página de documentación de la API para obtener las claves y las instrucciones.
   • Integre la API en su aplicación y siga el código de ejemplo proporcionado en la documentación para realizar las llamadas.
   • Envíe una solicitud a través de la API para obtener una respuesta generada por el modelo.
   • La API es compatible con diversos lenguajes de programación; consulte la documentación para ver ejemplos de código específicos.

Gestión y optimización de recursos

• AutoexpansiónLa plataforma utiliza un programador de GPU personalizado que amplía y reduce automáticamente los recursos de la GPU en función de la demanda de los usuarios para garantizar una utilización eficiente.
• activación a peticiónLa plataforma de clústeres: en el caso de los modelos que no se utilizan habitualmente, la plataforma inicia los clústeres bajo demanda y los apaga automáticamente cuando se utilizan, lo que permite ahorrar recursos.
• Prueba gratuitaDurante el periodo de prueba beta, los usuarios tendrán acceso gratuito a todas las funciones que ofrece la plataforma, y al final de la prueba se ofrecerá un plan de precios con descuento.