Groq: AI 빅 모델 추론 가속화 솔루션 제공업체, 고속 무료 빅 모델 인터페이스

14.7K 00

Groq 일반 소개

캘리포니아 마운틴뷰에 본사를 둔 Groq은 GroqChip™과 언어 처리 장치(LPU)를 개발한 회사입니다. 지연 시간이 짧은 AI 애플리케이션을 위해 개발된 텐서 처리 장치로 잘 알려져 있습니다.

Groq은 2016년에 설립되었으며 같은 해에 공식적으로 상표를 등록했습니다.Groq의 주요 제품은 언어 처리 장치(LPU)로, AI 모델을 훈련하는 것이 아니라 빠르게 실행하도록 설계된 새로운 종류의 칩입니다.Groq의 LPU 시스템은 순차적 데이터(예: DNA, 음악, 코드)를 처리하도록 설계된 차세대 AI 가속의 길을 선도해 왔습니다, 자연어)를 처리하고 GPU를 능가하는 성능을 발휘합니다.

실시간 AI 애플리케이션을 위한 솔루션을 제공하는 것을 목표로 하며, 속도와 정확성을 특징으로 하는 컴퓨팅 센터에서 선도적인 AI 성능을 주장합니다.Groq은 PyTorch, TensorFlow, ONNX와 같은 표준 머신 러닝 프레임워크를 지원합니다. 이 외에도 Groq 컴파일러와 같은 워크로드의 맞춤형 개발 및 최적화를 위한 도구가 포함된 GroqWare™ 제품군을 제공합니다.

Groq 기능 목록

실시간 AI 애플리케이션 처리
표준 머신 러닝 프레임워크 지원
SaaS 및 PaaS 경량 하드웨어 지원
빠르고 정확한 AI 성능 제공
맞춤형 최적화된 워크로드를 위한 GroqWare™ 제품군
정확하고 에너지 효율적이며 반복 가능한 대규모 추론 성능 보장

Groq 도움말

개발자는 GroqCloud의 Playground를 통해 셀프 서비스 개발자 액세스를 할 수 있습니다.
현재 OpenAI API를 사용 중인 경우, Groq으로 변환하려면 Groq API 키, 엔드포인트, 모델 세 가지만 있으면 됩니다.
데이터센터 규모에서 가장 빠른 추론이 필요한 경우, 다음과 같이 이야기해야 합니다.

할 수 있습니다.여기를 클릭하세요APIKEY를 무료로 신청하고 신청이 완료된 후 모델을 선택하세요:

채팅 완료

ID	분당 요청 수	일일 요청 수	토큰 분당	일일 토큰 수
GEMMA-7B-IT	30	14,400	15,000	500,000
GEMMA2-9B-IT	30	14,400	15,000	500,000
llama-3.1-70b-versatile	30	14,400	20,000	500,000
LAMA-3.1-8B-Instant	30	14,400	20,000	500,000
llama-3.2-11b-text-preview	30	7,000	7,000	500,000
llama-3.2-1b-preview	30	7,000	7,000	500,000
llama-3.2-3b-preview	30	7,000	7,000	500,000
llama-3.2-90b-text-preview	30	7,000	7,000	500,000
llama-guard-3-8b	30	14,400	15,000	500,000
LLAMA3-70B-8192	30	14,400	6,000	500,000
LLAMA3-8B-8192	30	14,400	30,000	500,000
llama3-groq-70b-8192-tool-use-preview	30	14,400	15,000	500,000
llama3-groq-8b-8192-tool-use-preview	30	14,400	15,000	500,000
llava-v1.5-7b-4096-preview	30	14,400	30,000	(제한 없음)
믹스트랄-8X7B-32768	30	14,400	5,000	500,000

음성 텍스트 변환

ID	분당 요청 수	일일 요청 수	시간당 오디오 초	하루 오디오 초
distil-whisper-large-v3-en	20	2,000	7,200	28,800
위스퍼-대형-V3	20	2,000	7,200	28,800

다음으로 컬 형식을 예로 들어보면, 이 인터페이스는 OPENAI 인터페이스 형식과 호환되므로 OPENAI API를 사용자 정의할 수 있는 인터페이스와 Groq을 사용할 수 있는 인터페이스가 있다면 상상력을 발휘해 보세요.

curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "권한 부여: 무기명 $GROQ_API_KEY" \.
-H "콘텐츠 유형: 애플리케이션/json" \
-d '{"messages": [{"role": "user", "content": "설명 지연 시간이 짧은 LLM의 중요성"}], "model": "mixtral-8x7b-32768"}'