AIパーソナル・ラーニング
と実践的なガイダンス
讯飞绘镜

イーロン・マスクのxAIオープンソースGrok-1

要約:イーロン・マスクとxAIは、彼らの巨大な314Bパラメトリック言語モデルGrok-1の重みとアーキテクチャをオープンソースのApache 2.0ライセンスで公開した。

 

3,140億パラメータを持つMixture-of-ExpertsモデルGrok-1の重みとアーキテクチャを公開しました。これは2023年10月の事前学習フェーズにおけるGrok-1のオリジナル・ベース・モデルのチェックポイントであり、特定のアプリケーション向けに微調整されたものではありません。このモデルは、JAXとRustのカスタムトレーニングスタックを使用して、大量のテキストデータでトレーニングされました。重みとアーキテクチャはApache 2.0ライセンスの下でリリースされている。モデルを使用するには、モデルを github.com/xai-org/grok に関する指示を見る。

 


埃隆·马斯克的xAI开源Grok-1-1

 

詳細はこちら。

Grok-1はハイブリッドエキスパートモデルであり、より効率的な計算のために、任意の入力トークンに対して25%の重みのみがアクティブになる。

公開されたモデルは、2023年10月からの未訓練のチェックポイントであり、特定のタスクのために微調整されたものではない。

xAIはGitHubリポジトリで開発者向けのガイドを提供し、Hugging Faceでモデルを公開している。

重要性:世界最大のLLMの1つをオープンソース化することで、xAIはマスク氏がOpenAIのクローズドモデルとの道徳的な戦いと見ているものに先手を打っている。Grokの機能はまだ新たな障壁を打ち破ってはいないが、この動きは共同的で透明なAI開発にとってもう一つの大きな勝利である。

無断転載を禁じます:チーフAIシェアリングサークル " イーロン・マスクのxAIオープンソースGrok-1
ja日本語