ヘビー級！世界初の分散型10Bモデル、1週間でオープンソースに！

世界初の10Bパラメトリックモデルが誕生！
プライム・インテレクト・チームは、米国、ヨーロッパ、アジアにまたがる分散型トレーニング・ネットワークが、10Bのパラメーターを持つ大規模モデルのトレーニングに成功したという画期的な成果を発表した。これは、AIトレーニングの分野における革命的な一歩となる。
トレーニングパネルからわかるように、INTELLECT-1と呼ばれるこのプロジェクトは、すでに1兆（1T）トークンのトレーニングを終えている。
損失曲線と当惑度曲線はともに望ましい下降傾向を示し、1秒間に生成されるトークン数は安定している。
このプロジェクトの成功は、多くのパートナーのサポートなしにはありえなかった。
Hugging Face、SemiAnalysis、Arcee.ai、Hyperbolic Labs、Olas、Akash、Schelling AIなど、多くの組織がトレーニングに貴重な演算リソースを提供した。この前例のない協力モデルは、AIにおける新しいタイプのコラボレーションを示している。
プロジェクトのリーダーボードを見ればわかるように、世界中から集まった貢献者は、驚異的な量の計算時間を提供している。最高の貢献者は8,230時間に達し、参加者はサンマテオ、ダラス、ヘルシンキ、ストックホルムにまたがっている。このようなグローバルな演算コラボレーションのモデルにより、AIのトレーニングはもはや一握りのハイテク大手のデータセンターに限定されることはない。


技術的なレベルでも、このプロジェクトの革新性は同様に印象的だ。
研究チームは、領域横断トレーニングの課題に対処するため、DiLoCo分散トレーニング技術を採用した。分散環境における様々な課題に対処するため、研究チームはフォールトトレラントトレーニングメカニズムと非同期分散チェックポイント技術も実装した。
メモリの最適化に関しては、チームはFSDP2フレームワークへのアップグレードを選択し、FSDP1にあったメモリ割り当ての問題を解決することに成功した。
一方、テンソル並列計算技術の応用により、学習効率は大幅に改善された。
これらの技術革新の背後には、強力な研究チームが静かに活動している。プロジェクトリーダーは、フォールト・トレラント・トレーニングで貢献したトリスタン・ライスとジュンジェ・ワンに、非同期分散チェックポイントの研究で貢献したチエン・チン・ファンとアイリス・チャンに特に感謝している。また、Yifu Wangにはテンソル並列計算に関する助言をいただいた。
さらにエキサイティングなのは、チームが1週間以内にベースモデル、チェックポイントファイル、学習後モデル、学習データセットを含む完全なオープンソース版をリリースすると発表したことだ。これは、世界中の研究者や開発者が、このモデルに基づいてすぐに革新的な開発を行えるようになることを意味する。
実験を始めるのを待ちきれない開発者はすでにいる。ある開発者は、アメリカ西海岸とヨーロッパにある2枚の4090グラフィックカードでモデル推論の試みを実演した。カ所間のネットワーク接続は理想的ではなかったが、この実験はモデルの柔軟性と適応性を証明した。
このプロジェクトの成功は、単なる技術的なブレークスルーではなく、すべての人のためのAIの民主化における重要なマイルストーンである。
グローバルなコラボレーションを通じて、従来のAIトレーニングの限界を打破し、より多くの組織や個人をAI開発の波に巻き込むことができることを証明している。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る