Together : une plateforme en nuage pour construire et exécuter des plateformes d'entraînement de modèles d'IA générative

Introduction générale

Together AI est une plate-forme axée sur les modèles génératifs d'IA, qui fournit une gamme complète de services allant de l'entraînement des modèles à l'inférence, en passant par le réglage fin. Les utilisateurs peuvent exploiter le moteur d'inférence hautement efficace de Together AI et les clusters de GPU pour déployer et exécuter rapidement une variété de modèles open source. La plateforme prend en charge plusieurs architectures de modèles pour répondre aux différentes exigences des applications d'IA.

Interface de démonstration du chat pour les grands modèles

Liste des fonctions

• API d'inférenceLe système de gestion de l'information de l'entreprise : Il prend en charge le raisonnement sur plus de 100 modèles open-source et fournit des modèles d'instance dédiés et sans serveur.
• fonction de réglage finLes utilisateurs peuvent affiner les modèles d'IA générative à l'aide de leurs propres données, tout en conservant la propriété des données.
• Grappe de GPULe programme de formation à l'utilisation des GPU : Il fournit des grappes de pointe de 16 à plus de 1 000 GPU pour prendre en charge la formation de modèles à grande échelle.
• Formation à un modèle personnaliséLes services d'assistance technique : Former des modèles de pointe à partir de zéro et prendre en charge de multiples architectures de modèles.
• modèle multimodalLes logiciels de reconnaissance et d'inférence d'images, de génération d'images et autres sont pris en charge par le système.
• Moteur d'inférence efficaceLes technologies d'inférence les plus récentes, telles que FlashAttention-3 et Flash-Decoding, sont intégrées afin de fournir des services d'inférence rapides et précis.

Utiliser l'aide

Installation et utilisation

1. S'inscrire et se connecter: :
   • Visitez le site web de Together AI (https://www.together.ai/) et cliquez sur le bouton "Commencer à construire" pour vous inscrire.
   • Une fois l'inscription terminée, connectez-vous à votre compte et accédez au panneau de contrôle de l'utilisateur.
2. Sélectionner un service: :
   • Dans le panneau de configuration, sélectionnez le module de service que vous devez utiliser, tel que l'API d'inférence, la fonction de réglage fin ou le cluster GPU.
   • Sélectionnez le mode d'instance sans serveur ou dédié selon les besoins.
3. Utilisation de l'API d'inférence: :
   • Sélectionnez le modèle open source que vous souhaitez exécuter, tel que Llama-3, RedPajama, etc.
   • Intégrez le modèle dans votre application via l'interface API fournie par Together AI.
   • Créez votre propre application RAG en utilisant les points d'extrémité intégrés de Together AI.
4. fonction de réglage fin: :
   • Téléchargez votre ensemble de données et sélectionnez les modèles qui doivent être affinés.
   • Configurez les paramètres de réglage fin pour lancer le processus de réglage fin.
   • Une fois la mise au point terminée, téléchargez le modèle mis au point et déployez-le.
5. Utilisation de la grappe de GPU: :
   • Sélectionnez la taille de la grappe de GPU souhaitée et configurez les paramètres matériels.
   • Téléchargez les données d'entraînement et le code du modèle pour commencer l'entraînement.
   • Une fois la formation terminée, le modèle formé est téléchargé en vue d'une inférence ou d'une mise au point supplémentaire.
6. Formation à un modèle personnalisé: :
   • Sélectionnez le module Custom Model Training pour configurer l'architecture du modèle et les paramètres de formation.
   • Téléchargez l'ensemble de données et démarrez le processus de formation.
   • Une fois la formation terminée, le modèle est téléchargé pour être déployé et inféré.

flux de travail

1. Accès au panneau de contrôleAprès s'être connecté, aller dans le panneau de contrôle et sélectionner le module de service désiré.
2. Paramètres de configurationLes paramètres d'inférence, de réglage fin ou d'entraînement sont configurés en fonction des besoins.
3. Télécharger les donnéesTélécharger le jeu de données ou le code du modèle requis.
4. Début de la missionLes tâches de raisonnement, de mise au point ou de formation peuvent être lancées et la progression des tâches est suivie en temps réel.
5. Télécharger les résultatsLe modèle ou les résultats de l'inférence sont téléchargés une fois la tâche achevée, en vue de l'intégration de l'application.

problèmes courants

• Comment choisir le bon modèle ?
  • Sélectionnez le modèle open source approprié en fonction du scénario de l'application, comme la génération de texte, la reconnaissance d'images, etc.
• Que se passe-t-il si je rencontre une erreur lors du réglage fin ?
  • Vérifiez le format du jeu de données et la configuration des paramètres, et reportez-vous à la documentation officielle pour les ajustements.
• Mauvaises performances lors de l'utilisation d'un cluster GPU ?
  • Confirmez que la configuration matérielle répond aux exigences et ajustez les paramètres de formation pour améliorer l'efficacité.

modèle utilisable

exemple d'utilisation

Exemples de raisonnement par modèle

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

Exemple de mise au point du modèle

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)