Together: una plataforma en la nube para construir y ejecutar plataformas de entrenamiento de modelos generativos de IA

Introducción general

Together AI es una plataforma centrada en modelos generativos de IA, que ofrece una gama completa de servicios que van desde la formación de modelos y el ajuste fino hasta la inferencia. Los usuarios pueden aprovechar el motor de inferencia de alta eficiencia de Together AI y los clústeres de GPU para desplegar y ejecutar rápidamente una variedad de modelos de código abierto. La plataforma admite múltiples arquitecturas de modelos para satisfacer los distintos requisitos de las aplicaciones de IA.

Interfaz de demostración del chat de modelos grandes

Lista de funciones

• API de inferencia: Admite el razonamiento en más de 100 modelos de código abierto y proporciona modelos de instancia dedicados y sin servidor.
• función de ajuste finoPermitir a los usuarios afinar los modelos generativos de IA utilizando sus propios datos, manteniendo la propiedad de los datos.
• Clúster de GPUProporciona clusters de última generación de 16 a 1000+ GPUs para el entrenamiento de modelos a gran escala.
• Formación de modelos personalizados: Entrena modelos punteros desde cero y admite múltiples arquitecturas de modelos.
• modelo multimodalReconocimiento de imágenes, inferencia de imágenes, generación de imágenes, etc.
• Motor de inferencia eficaz: Integre las últimas tecnologías de inferencia, como FlashAttention-3 y Flash-Decoding, para ofrecer servicios de inferencia rápidos y precisos.

Utilizar la ayuda

Instalación y uso

1. Registro e inicio de sesión::
   • Visite el sitio web de Together AI (https://www.together.ai/) y haga clic en el botón "Start Building" para inscribirse.
   • Una vez completado el registro, acceda a su cuenta y vaya al Panel de Control de Usuario.
2. Seleccionar servicio::
   • En el panel de control, seleccione el módulo de servicio que necesita utilizar, como la API de inferencia, la función de ajuste fino o el clúster de GPU.
   • Seleccione el modo de instancia dedicada o sin servidor según sea necesario.
3. Uso de la API de inferencia::
   • Seleccione el modelo de código abierto que necesita ejecutar, como Llama-3, RedPajama, etc.
   • Integre el modelo en su aplicación a través de la interfaz API proporcionada por Together AI.
   • Cree su propia aplicación RAG utilizando los puntos finales integrados de Together AI.
4. función de ajuste fino::
   • Cargue su conjunto de datos y seleccione los modelos que deben ajustarse.
   • Configure los parámetros de ajuste fino para iniciar el proceso de ajuste fino.
   • Una vez finalizado el ajuste, descargue el modelo ajustado y despliéguelo.
5. Uso del clúster de GPU::
   • Seleccione el tamaño de clúster de GPU deseado y configure los parámetros de hardware.
   • Cargue los datos de entrenamiento y el código del modelo para iniciar el entrenamiento.
   • Una vez finalizado el entrenamiento, el modelo entrenado se descarga para su inferencia o posterior ajuste.
6. Formación de modelos personalizados::
   • Seleccione el módulo Entrenamiento personalizado del modelo para configurar la arquitectura del modelo y los parámetros de entrenamiento.
   • Cargue el conjunto de datos e inicie el proceso de entrenamiento.
   • Una vez finalizado el entrenamiento, el modelo se descarga para su despliegue e inferencia.

flujo de trabajo

1. Acceso al panel de control: Después de conectarse, vaya al panel de control y seleccione el módulo de servicio deseado.
2. Parámetros de configuraciónConfigure los parámetros de inferencia, ajuste fino o entrenamiento según sea necesario.
3. Cargar datosCarga el conjunto de datos o el código del modelo.
4. Inicio de la misión: Inicie tareas de razonamiento, ajuste o formación y supervise el progreso de las tareas en tiempo real.
5. Descargar resultados: Una vez finalizada la tarea, el modelo o los resultados de la inferencia se descargan para su integración en la aplicación.

problemas comunes

• ¿Cómo elegir el modelo adecuado?
  • Seleccione el modelo de código abierto adecuado en función del escenario de aplicación, como la generación de texto, el reconocimiento de imágenes, etc.
• ¿Qué debo hacer si encuentro un error durante el proceso de ajuste?
  • Compruebe el formato del conjunto de datos y las configuraciones de los parámetros y consulte la documentación oficial para realizar los ajustes.
• ¿Poco rendimiento durante el uso del clúster de GPU?
  • Confirme que la configuración del hardware cumple los requisitos y ajuste los parámetros de formación para mejorar la eficacia.

modelo utilizable

ejemplo de uso

Ejemplos de razonamiento modelo

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

Ejemplo de ajuste del modelo

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)