要約：イーロン・マスクとxAIは、彼らの巨大な314Bパラメトリック言語モデルGrok-1の重みとアーキテクチャをオープンソースのApache 2.0ライセンスで公開した。
3,140億パラメータを持つMixture-of-ExpertsモデルGrok-1の重みとアーキテクチャを公開しました。これは2023年10月の事前学習フェーズにおけるGrok-1のオリジナル・ベース・モデルのチェックポイントであり、特定のアプリケーション向けに微調整されたものではありません。このモデルは、JAXとRustのカスタムトレーニングスタックを使用して、大量のテキストデータでトレーニングされました。重みとアーキテクチャはApache 2.0ライセンスの下でリリースされている。モデルを使用するには、モデルを github.com/xai-org/grok に関する指示を見る。
詳細はこちら。
Grok-1はハイブリッドエキスパートモデルであり、より効率的な計算のために、任意の入力トークンに対して25%の重みのみがアクティブになる。
公開されたモデルは、2023年10月からの未訓練のチェックポイントであり、特定のタスクのために微調整されたものではない。
xAIはGitHubリポジトリで開発者向けのガイドを提供し、Hugging Faceでモデルを公開している。
重要性：世界最大のLLMの1つをオープンソース化することで、xAIはマスク氏がOpenAIのクローズドモデルとの道徳的な戦いと見ているものに先手を打っている。Grokの機能はまだ新たな障壁を打ち破ってはいないが、この動きは共同的で透明なAI開発にとってもう一つの大きな勝利である。
