엘론 머스크의 xAI 오픈 소스 Grok-1

요약: Elon Musk와 xAI가 오픈 소스 Apache 2.0 라이선스에 따라 방대한 314B 파라메트릭 언어 모델 Grok-1의 가중치 및 아키텍처를 방금 공개했습니다.

3,140억 개의 파라미터로 구성된 전문가 혼합 모델 Grok-1의 가중치와 아키텍처를 공개했습니다. 이것은 2023년 10월 사전 학습 단계에서 Grok-1의 원래 기본 모델 체크포인트이며, 특정 애플리케이션에 맞게 미세 조정된 것은 아닙니다. 이 모델은 JAX와 Rust의 사용자 정의 학습 스택을 사용하여 대량의 텍스트 데이터에 대해 학습되었습니다. 가중치와 아키텍처는 Apache 2.0 라이선스에 따라 공개됩니다. 모델을 사용하려면 다음에서 모델을 찾을 수 있습니다. github.com/xai-org/grok 에 대한 지침을 확인하세요.

세부 정보.

Grok-1은 보다 효율적인 계산을 위해 주어진 입력 토큰에 대해 25% 가중치만 활성화되는 하이브리드 전문가 모델입니다.

이번에 공개된 모델은 2023년 10월부터 훈련되지 않은 체크포인트이며, 특정 작업에 맞게 미세 조정되지 않았습니다.

xAI는 개발자가 GitHub 저장소에서 시작할 수 있는 가이드를 제공하고 Hugging Face에 모델을 게시했습니다.

중요성: 세계 최대 규모의 LLM 중 하나를 오픈소스화함으로써 xAI는 머스크가 생각하는 OpenAI의 폐쇄적인 모델과의 도덕적 싸움에서 앞서나가고 있습니다. Grok의 기능이 아직 새로운 장벽을 허물지는 못했지만, 이번 조치는 협력적이고 투명한 AI 개발을 위한 또 하나의 중요한 승리입니다.