Together: облачная платформа для создания и запуска платформ обучения генеративных моделей ИИ

Общее введение

Together AI - это платформа, ориентированная на генеративные модели искусственного интеллекта и предоставляющая полный спектр услуг, начиная с обучения моделей, их тонкой настройки и заканчивая выводами. Пользователи могут использовать высокоэффективный механизм вычислений Together AI и кластеры GPU для быстрого развертывания и запуска различных моделей с открытым исходным кодом. Платформа поддерживает различные архитектуры моделей для удовлетворения различных требований приложений ИИ.

Демонстрационный интерфейс чата большой модели

Список функций

• API для выводов: Поддерживает рассуждения на более чем 100 моделях с открытым исходным кодом и предоставляет как бессерверные, так и выделенные модели экземпляров.
• функция точной настройки: Позволяет пользователям точно настраивать генеративные модели ИИ на основе собственных данных, сохраняя право собственности на данные.
• Кластер GPU: Предоставляет передовые кластеры от 16 до 1000+ GPU для поддержки крупномасштабного обучения моделей.
• Обучение индивидуальной модели: Создание передовых моделей с нуля и поддержка различных архитектур моделей.
• мультимодальная модель: Поддерживает распознавание образов, вывод образов, генерацию образов и многое другое.
• Эффективный механизм вывода: Интеграция новейших технологий вывода, таких как FlashAttention-3 и Flash-Decoding, для предоставления быстрых и точных услуг вывода.

Использование помощи

Установка и использование

1. Регистрация и вход::
   • Зайдите на сайт Together AI (https://www.together.ai/) и нажмите кнопку "Начать строительство", чтобы зарегистрироваться.
   • После завершения регистрации войдите в свою учетную запись и перейдите в панель управления пользователя.
2. Выберите услугу::
   • В панели управления выберите модуль сервиса, который необходимо использовать, например API для выводов, функцию тонкой настройки или кластер GPU.
   • Выберите режим бессерверного или выделенного экземпляра в зависимости от необходимости.
3. Использование API для выводов::
   • Выберите модель с открытым исходным кодом, которую вам нужно запустить, например Llama-3, RedPajama и т. д.
   • Интегрируйте модель в свое приложение с помощью интерфейса API, предоставляемого Together AI.
   • Создайте собственное приложение RAG, используя встроенные конечные точки Together AI.
4. функция точной настройки::
   • Загрузите набор данных и выберите модели, которые нуждаются в тонкой настройке.
   • Настройте параметры тонкой настройки, чтобы запустить процесс тонкой настройки.
   • По завершении тонкой настройки загрузите модель с точной настройкой и разверните ее.
5. Использование кластера GPU::
   • Выберите необходимый размер кластера GPU и настройте параметры оборудования.
   • Загрузите учебные данные и код модели, чтобы начать обучение.
   • По завершении обучения подготовленная модель загружается для выводов или дальнейшей доработки.
6. Обучение индивидуальной модели::
   • Выберите модуль Custom Model Training, чтобы настроить архитектуру модели и параметры обучения.
   • Загрузите набор данных и начните процесс обучения.
   • По завершении обучения модель загружается для развертывания и проведения расчетов.

рабочий процесс

1. Доступ к панели управления: После входа в систему перейдите на панель управления и выберите нужный сервисный модуль.
2. Параметры конфигурации: Настройте параметры вывода, тонкой настройки или обучения, если это необходимо.
3. Загрузка данных: Загрузите необходимый набор данных или код модели.
4. Начало миссииИнициируйте задачи по рассуждению, тонкой настройке или обучению и отслеживайте ход их выполнения в режиме реального времени.
5. Результаты загрузки: После выполнения задания модель или результаты выводов загружаются для интеграции в приложение.

общие проблемы

• Как выбрать подходящую модель?
  • Выберите подходящую модель с открытым исходным кодом в зависимости от сценария применения, например для генерации текста, распознавания изображений и т. д.
• Что делать, если при тонкой настройке возникла ошибка?
  • Проверьте формат набора данных и конфигурацию параметров, а также обратитесь к официальной документации для внесения изменений.
• Низкая производительность при использовании кластера GPU?
  • Убедитесь, что конфигурация оборудования соответствует требованиям, и настройте параметры обучения для повышения эффективности.

пригодная для использования модель

Пример использования

Примеры рассуждений о моделях

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

Пример точной настройки модели

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)