OneFlow年鑑：900ページの無料「ジェネレーティブAIとビッグモデル」電子書籍

もしスケーリング・ローが減速していなかったら、2024年にAIで起きていたであろう驚くべき変化を想像するのは難しい。しかし、スケーリング・ローが減速しているからこそ、後発の業界参入者に追いつくチャンスが与えられ、より多くの一般人がこの技術革命のラウンドに乗るチャンスが与えられていることを、あなたは喜ぶかもしれない。

AIの変化は波紋を広げている。1年前、AIコミュニティは一般的に、ほとんどのモデルはOpenAIのモデルから半年か1年先だと考えていたが、ビッグモデルの事前学習は徐々に秘密主義ではなくなりつつあり、その参入障壁は桁違いに低くなっている。国内外のテックコミュニティーに深い衝撃を与えたのは、DeepSeekやQwenに代表されるオープンソースのビッグモデルと、クローズドソースのトップモデルGPT 4oとの差が劇的に縮まったことで、しかも両モデルとも中国のAIチームによるものだ。一方、ビッグモデルの事前学習性能が頭打ちになるにつれて、推論はモデル能力を継続的に向上させるための「第2の成長曲線」とみなされ、AI技術の普及はさらに加速しており、人々は標準化されたAPIにアクセスするだけで、生成AIアプリケーションを効率的に開発したり、AI技術のメリットを享受したりできるようになっている。プロダクト・エクスプローラーがリリースした興味深い製品

2024年、OneFlowは生成AIとビッグモデルの分野における様々な変化を記録し、探求するため、例年通り80本の質の高い記事を掲載した。年末には60以上の記事を選び、ビッグモデル構築のプロセスや業界の現状、トレンドを理解する一助となることを願い、読者各位向けに900ページの「年鑑」を作成した。このコレクションは8つのセクションに分かれています：概要、ビッグモデルの基礎知識、ビッグモデルのトレーニングに秘密はない、ビッグモデル「第二の成長曲線」：推論、AIチップの変化、ジェネレーティブAI製品の構築、ジェネレーティブAI業界の分析、AGIの課題と未来。

各執筆者の方々には、AIの知識を惜しげもなく披露していただき、私たちにも刺激を与えていただきました。私たちは、乱雑な情報の中から読む価値のあるものを見つけ、AIを学び、探求したいと願う一人でも多くの人々に広めていきたいと願っている。AIを真に理解したいのであれば、このプレゼントを開封し、思い切って読んでみることが最短の近道である。2025年、AIの新たな驚きに期待しよう。

I. 概要

• AIインベントリー 2024年：投資急増、インフラ再構築、テクノロジー導入加速 /4
• オープンソースAIツール900の背後に見えるトレンド /36

大型モデルの基礎

• 中学数学でLLMの仕組みを理解する /49
• LLMの自己アテンション・メカニズムをゼロから理解し符号化する /78
• LLMのサンプリング・プロセスが明らかに /112
• 混合専門家（MoE）の大きなモデルを視覚化し理解するための50のダイアグラム /125
• 映像生成の拡散モデルをゼロから構築 /158
• 毎日を変えるビッグモデルの隠れた10プレー /174

第三に、大規模モデルのトレーニングに秘密はない。

• LLaMA 3：ビッグモデルの戦いへの新たなプロローグ /177
• LLMトレーニングに必要なGPUメモリの外挿 /190
• GPUのバッチ戦略を明らかに /200
• GPU活用に隠されたパフォーマンスの真実 /205
• LLM /211の浮動小数点割り当て
• 混合入力行列乗算の性能最適化 /219
• 10倍に加速されたLLMの計算効率：行列乗算の消失 /227
• 最大のトップレベル・データセットがオープンソース化され、15兆トークンが誕生 /240
• 70B ビッグモデル・トレーニングのレシピ1：データセットの作成と評価 /244
• ベアメタルから70Bの大型モデルへ②：インフラのセットアップとスクリプト /270
• 70B 大規模モデル訓練レシピIII：1000ハイパーパラメータ最適化実験の結果 /289
• ChatGPT代表ジョン・シュルマン：ビッグモデルのアップグレードの秘訣 /303

IV.大型モデル「第2の成長曲線」：推論

• 生成AIの新たな戦場：論理的推論と演繹的コンピューティング /318
• LLM論理の推論戦略の選択：推論中の計算とトレーニング中の計算 /330
• LLM推論のスループット、レイテンシー、コスト空間を探る /345
• ゼロから極限のLLM推論を達成する /363
• LLM推論入門1：テキスト生成の初期化と解読フェーズ /402
• LLM推論入門②：KVキャッシュの徹底分析 /408
• LLM推論入門(3)：モデル性能のプロファイリング /429
• LLM推論加速ガイド/442
• LLM サービング 有効スループットの最大化 /480
• 大規模モデルの定量的効果を正確かつ解釈しやすく評価するには？ /491
• LLMの定量的有効性の評価：50万回の実証試験後の知見 /502
• Stable Diffusion XL 究極の最適化ガイド /510

V. AIチップの変更

• H100を1時間2ドルでレンタル：GPUバブル崩壊前夜 /585
• 究極のGPUインターコネクト技術探訪：消えるメモリの壁 /600
• セレブラス：Nvidiaに挑む、世界最速AI推論チップの「魔力」 /614
• GPUより20倍高速？ d行列推論の価格/性能分析 /624
• AI半導体の技術、市場、そして未来 /630
• AIデータセンターの歴史、技術、主要プレーヤー /642

VI. ジェネレーティブAIによる製品構築

• ビッグモデルの製品化元年：戦術、オペレーション、戦略 /658
• OpenAI廃止、国産ビッグモデルは自由に使える！デベロッパートークン無料実装 /691
• LLMロングコンテキストのRAG能力測定：gpt-o1とgpt-o1の比較。 ジェミニ /699
• 大規模モデルの費用対効果比較：DeepSeek 2.5とDeepSeek 2.5の比較。 クロード 3.5 ソネット対GPT-4o /712
• 10倍速エンジニアのための効率的コーディングツール：Cursor x SiliconCloud /718
• Midjourney-v6を破り、GPUなしでKotaku Kolorsを動かす /723
• AI検索 パープレクシティの製品作りへのアプローチ /728
• NotebookLM躍進の裏側：AIネイティブ製品の核心的洞察とイノベーション /739
• OpenAIの組織形態、意思決定メカニズムと製品構築 /750
• ジェネレーティブAIプラットフォームを分解する：基本コンポーネント、機能、実装 /761
• ジェネラリストからエキスパートへ：AIシステムの複合AIへの進化 /786

VII.ジェネレーティブAI産業分析

• オープンソースAIを支えるビジネスコード /792
• AI市場における資本の謎と流れ /805
• ジェネレーティブAI産業の経済学：価値分配と利益構造 /819
• 企業のジェネレーティブAIに関する最新調査：AI支出は6倍に急増、マルチモデルの導入が普及 /829
• ジェネレーティブAIの推論技術、市場、そして未来 /842
• ジェネレーティブAI推論ビジネスの市場機会、競合、将来性 /855
• AIはもうひとつの「インターネット・バブル」ではない /864
• セコイア・キャピタルによる2025年の3つのAI展望 /878

第8回 AGIの課題と未来

• AIスケーリングの神話 /884
• 大規模モデルのスケールアップは持続可能か /891
• GenAIの "クリティカル・リープ"：推論と知識 /904
• LLM論理的推論の束縛とそれを打ち破る戦略 /924
• LLM論理的推論の3つの誤りを再考する /930
• 強化学習の父、リチャード・サットン：AGI研究の次のパラダイム /937
• 強化学習の父、リチャード・サットン：AGIへのもうひとつの可能性 /949

https://siliconflow.feishu.cn/file/OSZtbnfYQoa4nBxuQ7Kcwpjwnpf