Together：云平台构建和运行生成式AI模型训练平台

综合介绍

Together AI 是一个专注于生成式AI模型的平台，提供从模型训练、微调到推理的全方位服务。用户可以利用Together AI的高效推理引擎和GPU集群，快速部署和运行各种开源模型。平台支持多种模型架构，满足不同的AI应用需求。

大模型聊天演示界面

功能列表

• 推理API：支持100多个开源模型的推理，提供无服务器和专用实例两种模式。
• 微调功能：允许用户使用自己的数据对生成式AI模型进行微调，保持数据所有权。
• GPU集群：提供16到1000+ GPU的前沿集群，支持大规模模型训练。
• 自定义模型训练：从头开始训练前沿模型，支持多种模型架构。
• 多模态模型：支持图像识别、图像推理、图像生成等功能。
• 高效推理引擎：集成FlashAttention-3和Flash-Decoding等最新推理技术，提供快速、准确的推理服务。

使用帮助

安装与使用

1. 注册与登录：
   • 访问Together AI官网（https://www.together.ai/），点击“开始构建”按钮，进行注册。
   • 注册完成后，登录账户，进入用户控制面板。
2. 选择服务：
   • 在控制面板中，选择需要使用的服务模块，如推理API、微调功能或GPU集群。
   • 根据需求选择无服务器或专用实例模式。
3. 推理API使用：
   • 选择需要运行的开源模型，如Llama-3、RedPajama等。
   • 通过Together AI提供的API接口，将模型集成到您的应用中。
   • 使用Together AI的嵌入端点，构建自己的RAG应用。
4. 微调功能：
   • 上传您的数据集，选择需要微调的模型。
   • 配置微调参数，开始微调过程。
   • 微调完成后，下载微调后的模型，进行部署。
5. GPU集群使用：
   • 选择所需的GPU集群规模，配置硬件参数。
   • 上传训练数据和模型代码，开始训练。
   • 训练完成后，下载训练好的模型，进行推理或进一步微调。
6. 自定义模型训练：
   • 选择自定义模型训练模块，配置模型架构和训练参数。
   • 上传数据集，开始训练过程。
   • 训练完成后，下载模型，进行部署和推理。

操作流程

1. 访问控制面板：登录后，进入控制面板，选择需要的服务模块。
2. 配置参数：根据需求配置推理、微调或训练参数。
3. 上传数据：上传所需的数据集或模型代码。
4. 开始任务：启动推理、微调或训练任务，实时监控任务进度。
5. 下载结果：任务完成后，下载模型或推理结果，进行应用集成。

常见问题

• 如何选择合适的模型？
  • 根据应用场景选择合适的开源模型，如文本生成、图像识别等。
• 微调过程中遇到错误怎么办？
  • 检查数据集格式和参数配置，参考官方文档进行调整。
• GPU集群使用过程中性能不佳？
  • 确认硬件配置是否满足需求，调整训练参数，提高效率。

可用模型

使用示例

模型推理示例

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

模型微调示例

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)