Together: 제너레이티브 AI 모델 학습 플랫폼을 구축하고 실행하는 클라우드 플랫폼

일반 소개

Together AI는 생성형 AI 모델에 중점을 둔 플랫폼으로, 모델 학습, 미세 조정, 추론에 이르는 모든 서비스를 제공합니다. 사용자는 Together AI의 고효율 추론 엔진과 GPU 클러스터를 활용하여 다양한 오픈 소스 모델을 빠르게 배포하고 실행할 수 있습니다. 이 플랫폼은 다양한 AI 애플리케이션 요구 사항을 충족하기 위해 여러 모델 아키텍처를 지원합니다.

대형 모델 채팅 데모 인터페이스

기능 목록

• 추론 API100개 이상의 오픈 소스 모델에 대한 추론을 지원하며 서버리스 및 전용 인스턴스 모델을 모두 제공합니다.
• 미세 조정 기능데이터 소유권을 유지하면서 사용자가 자신의 데이터를 사용하여 생성 AI 모델을 미세 조정할 수 있습니다.
• GPU 클러스터대규모 모델 학습을 지원하기 위해 16~1000개 이상의 GPU로 구성된 최첨단 클러스터를 제공합니다.
• 맞춤형 모델 교육최첨단 모델을 처음부터 학습하고 여러 모델 아키텍처를 지원합니다.
• 멀티모달 모델이미지 인식, 이미지 추론, 이미지 생성 등을 지원합니다.
• 효율적인 추론 엔진플래시어텐션-3, 플래시 디코딩 등 최신 추론 기술을 통합하여 빠르고 정확한 추론 서비스를 제공합니다.

도움말 사용

설치 및 사용

1. 등록 및 로그인::
   • Together AI 웹사이트(https://www.together.ai/)를 방문하여 '구축 시작하기' 버튼을 클릭하여 등록하세요.
   • 등록이 완료되면 계정에 로그인하고 사용자 제어판으로 이동합니다.
2. 서비스 선택::
   • 제어판에서 추론 API, 미세 조정 기능 또는 GPU 클러스터 등 사용해야 하는 서비스 모듈을 선택합니다.
   • 필요에 따라 서버리스 또는 전용 인스턴스 모드를 선택합니다.
3. 추론 API 사용::
   • 실행해야 하는 오픈 소스 모델(예: Llama-3, RedPajama 등)을 선택합니다.
   • Together AI에서 제공하는 API 인터페이스를 통해 모델을 애플리케이션에 통합하세요.
   • Together AI의 임베디드 엔드포인트를 사용하여 나만의 RAG 애플리케이션을 구축하세요.
4. 미세 조정 기능::
   • 데이터 집합을 업로드하고 미세 조정이 필요한 모델을 선택합니다.
   • 미세 조정 매개변수를 구성하여 미세 조정 프로세스를 시작합니다.
   • 미세 조정이 완료되면 미세 조정된 모델을 다운로드하여 배포합니다.
5. GPU 클러스터 사용량::
   • 원하는 GPU 클러스터 크기를 선택하고 하드웨어 매개변수를 구성합니다.
   • 트레이닝 데이터와 모델 코드를 업로드하여 트레이닝을 시작합니다.
   • 학습이 완료되면 추론 또는 추가 미세 조정을 위해 학습된 모델을 다운로드합니다.
6. 맞춤형 모델 교육::
   • 사용자 지정 모델 학습 모듈을 선택하여 모델 아키텍처 및 학습 매개변수를 구성합니다.
   • 데이터 세트를 업로드하고 트레이닝 프로세스를 시작합니다.
   • 교육이 완료되면 배포 및 추론을 위해 모델을 다운로드합니다.

워크플로

1. 제어판 액세스하기로그인 후 제어판으로 이동하여 원하는 서비스 모듈을 선택합니다.
2. 구성 매개변수필요에 따라 추론, 미세 조정 또는 학습 매개변수를 구성합니다.
3. 데이터 업로드: 필요한 데이터 세트 또는 모델 코드를 업로드합니다.
4. 임무 시작추론, 미세 조정 또는 교육 작업을 시작하고 작업 진행 상황을 실시간으로 모니터링합니다.
5. 결과 다운로드작업이 완료되면 애플리케이션 통합을 위해 모델 또는 추론 결과를 다운로드합니다.

일반적인 문제

• 적합한 모델을 선택하는 방법은 무엇인가요?
  • 텍스트 생성, 이미지 인식 등과 같은 애플리케이션 시나리오에 따라 적절한 오픈 소스 모델을 선택합니다.
• 미세 조정 중에 오류가 발생하면 어떻게 하나요?
  • 데이터 세트 형식과 매개변수 구성을 확인하고 공식 문서를 참조하여 조정할 수 있습니다.
• GPU 클러스터 사용 중 성능이 저하되나요?
  • 하드웨어 구성이 요구 사항을 충족하는지 확인하고 교육 매개변수를 조정하여 효율성을 개선하세요.

사용 가능한 모델

사용 예

모델 추론의 예

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

모델 미세 조정의 예

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)