ハーバード CS197：AI研究体験 PDFダウンロード

コース・インストラクター。 プラナフ・ラジプルカー博士（ハーバード大学助教授）

コースの概要 このコースでは、PyTorch、Lightning、Hugging Faceなどの最先端のAI開発ツールを深く学び、VSCode、Git、Condaを使用してワークフローを最適化します。AWSとColabのクラウドコンピューティングパワーを活用し、光速GPUアクセラレーションで大規模なディープラーニングモデルをトレーニングする方法を学びます。さらに、Weights and Biasesを使用して大量の実験を管理するためのベストプラクティスを習得します。このコースでは、研究論文を体系的に読み、新しいアイデアを生み出し、スライドや論文にして発表する方法も学びます。さらに、一流のAI研究者が使用する貴重なプロジェクト管理とチームコミュニケーションのスキルも学びます。

コースの目的

• AI研究で一般的に使用されるツールやテクニックの習得。
• 文献検索を行い、AI研究論文を読み、要約する能力。
• モデル開発、トレーニング、評価のために様々なフレームワークやライブラリを使用する能力。
• 実験管理、ハイパーパラメータ検索、モデル性能比較の実行能力。
• 研究アイデアを生み出し、反復し、評価する能力
• 研究論文を執筆・整理し、質の高いスライドを作成する能力。
• チームやプロジェクト管理で効果的に働く能力

コースカタログ。

I. イントロダクションとプログラムの基礎（第1～2章、59ページ）

• 第1章 あなたは私のサンドイッチを完成させる--AI言語モデルのエキサイティングな進歩
  • 学習目標
    • ゼロサンプル学習と小サンプル学習を使って言語モデルと対話し、その能力をテストする。
    • GPT-3のテキスト補完機能とCodexのコード生成機能を使って、簡単なアプリケーションを構築します。
    • 社会的偏見を反映する可能性のある言語モデリングの有害な傾向を理解する。
  • 対応ノート：ハーバード CS197講義1ノート
• 第2章 Pythonの禅 - ソフトウェア工学の基礎
  • 学習目標
    • VSCodeエディタを使ってPythonコードベースを効率的に編集。
    • コーディングワークフローにおけるGitとCondaの使用に精通している。
    • デバッグには、print文ではなく、ブレークポイントやログポイントを使用すること。
    • lintingを使ってエラーを見つけ、Pythonのコードスタイルを改善しましょう。
  • 対応ノート：ハーバード CS197講義2ノート

II.文献講読とモデルの微調整（第3～4章、41ページ）

• 第3章 巨人の肩 - AI研究論文を読む
  • 学習目標
    • 文献検索を行い、関心のあるトピックに関連する論文を特定する。
    • 機械学習の研究論文を読み、その貢献を要約する。
    • 特定の分野における過去の研究を要約する。
  • 対応ノート：ハーバード CS197講義3ノート
• 第4章 ジャズの手と同調する-ハグ顔を使った言語モデルの微調整
  • 学習目標
    • datasetsライブラリを使用して、自然言語処理データセットを読み込み、処理する。
    • テキスト列をセグメンテーションし、セグメンテーションで使用されるステップを理解する。
    • 因果言語モデリングのためのデータセット構築と学習ステップ。
  • 対応ノート：ハーバード CS197講義4ノート

III.ビジュアルトランスフォーマーによるPyTorchディープダイブ（第5章～第7章、33ページ）

• 第5章 Lightning McTorch - Lightningを使ったビジョントランスフォーマーの微調整 (Lightning McTorch - Lightningを使ったビジョントランスフォーマーの微調整)
  • 学習目標
    • コードを操作して、Visual Transformerで使用するための画像データの読み込みとトークン化について調べます。
    • Visual Transformerを構築するために使用されるPyTorchアーキテクチャとモジュールのコードを解析する。
    • PyTorch Lightningを使用したトレーニングワークフローの例に精通している。
  • 対応ノート：ハーバード CS197講義5ノート
• 第6-7章 PyTorchでムーンウォークする - PyTorchの基礎を固める
  • 学習目標
    • PyTorch でテンソル演算を行う。
    • Autogradの文脈でニューラルネットワークの順伝播と逆伝播を理解する。
    • PyTorchの学習コードによくある問題を検出する。
  • 対応ノート：ハーバード CS197講義6＆7ノート

IV.実験管理とハイパラメトリック探索（第8〜9章、22ページ）

• 第8-9章 実験の組織化 - 重みと偏りとHydraによるモデルトレーニングの組織化 (Experiment Organisation Sparks Joy - Organising Model Training with Weights & Biases and Hydra)ハイドラ)
  • 学習目標
    • Weights & Biasesによる実験の記録と追跡の管理。
    • Weights & Biases Sweeps を使ってハイパーパラメトリック検索を行う。
    • Hydraで複雑な構成を管理。
  • 対応ノート：ハーバード CS197 第8・9講義ノート

V. 研究アイデアとエッセイの書き方（第10～13章、23ページ）

• 第10章から第11章：私は夢を見た-研究アイデアを生み出すフレームワーク
  • 学習目標
    • リサーチクエスチョン、実験セットアップ、結果など、研究論文のギャップを特定する。
    • 研究論文に基づいて、関心のある課題、評価戦略、提案された方法論の要素を考慮し、アイデアを創出する。
    • アイデアの質を向上させるために、アイデアを反復する。
  • 対応ノート：ハーバード CS197講義10＆11ノート
• 第12-13章：今日はおとぎ話だった-研究論文の構成
  • 学習目標
    • 研究論文の要素とその順序を分解する。
    • 研究論文執筆のグローバル構造とローカル構造を記録する。
  • 対応ノート：ハーバード CS197 第12・13講ノート

VI.クラウドにおけるディープラーニングとモデルの微調整（第14～17章、31ページ）

• 第14～15章 クラウドナインでのディープラーニング - AWS EC2 for Deep Learning: Setup, Optimisation, and Hands-on Training with CheXzero（クラウドナインでのディープラーニング - AWS EC2 for DeepLearning on AWS EC2: Setup, Optimisation, and Hands-on Training with CheXzero)
  • 学習目標
    • ディープラーニングのためのAWS EC2インスタンスのセットアップと接続方法を学びます。
    • GPUを使用するためにディープラーニングコードを修正する方法を学ぶ。
    • 実際のコードベースを使ってモデルトレーニングプロセスを実行する実地経験を積む。
  • 対応ノート：ハーバード CS197講義14＆15ノート
• 第16章から第17章：夢を実現するために-安定拡散モデルを微調整する
  • 学習目標
    • Dreamboothテンプレートノートブックを使用して、安定拡散モデルを作成し、微調整します。
    • GPUを使用した安定拡散モデルの学習にAWSアクセラレーションを使用。
    • Dreambooth、Colab、Accelerate、Gradioなど、馴染みのないコードベースや新しいツールを、飛び込むことなく使用できる。
  • 対応ノート：ハーバード CS197 レクチャー16 & 17 ノート

VII.研究の効率化とチームワーク（第18～19章、19ページ）

• 第18章 研究の生産性パワーアップ-時間と努力を管理するヒント
  • 学習目標
    • アップデート・ミーティングやワーク・セッションを活用して、同じ見解を維持し、プロジェクトを進展させる方法を学ぶ。
    • チームのコミュニケーションとプロジェクト編成を改善するための、さまざまなツールやテクニックの使い方を学ぶ。
    • プロジェクトの段階とそれに関わるさまざまなタスクを考慮しながら、プロジェクト作業を組織化するための戦略を学ぶ。
  • 対応ノート：ハーバード CS197 第18講ノート
• 第19章 AI忍者-AI研究の進展とインパクトをもたらす
  • 学習目標
    • 上司との関係管理やスキルアップなど、研究を着実に進める方法を学ぶ。
    • 自分の仕事の影響力を高める方法について理解を深める。
  • 対応ノート：ハーバード CS197 第19講ノート

VIII.スライド作成と統計テスト（第20～21章、25ページ）

• 第20章 Bejeweled-質の高いスライドを作るためのヒント
  • 学習目標
    • アサーション-エビデンス・アプローチの主要原則を適用して、効果的なプレゼンテーション・スライドを作成する。
    • 典型的なスライドプレゼンテーションにありがちな落とし穴と、それを避けるための戦略を特定する。
    • 本講義で学んだテクニックを実際の研究発表スライド例に適用し、その効果を高める。
  • 対応ノート：ハーバード CS197講義ノート20
• 第21章 モデル対決-モデルの性能を比較するための統計的テスト
  • 学習目標
    • McNemar検定、一対のt検定、ブートストラップ法など、機械学習モデルの比較に使用できるさまざまな統計検定について学ぶ。
    • これらの統計的検定をPythonで実装し、同じテストセット上で2つのモデルの性能を評価する能力。
    • 統計的優越性、非劣性、同等性の検定など、与えられた研究課題に対して適切な検定を選択する能力。
  • 対応ノート：ハーバード CS197 第21講ノート

課題

• 課題1：コードの言語
• 課題2：AI初探
• 課題3：トーチド（聖火）
• 課題4：スパーク・ジョイ
• 課題5：アイデアと組織
• 課題6：安定した普及と研究活動

X. コース・プロジェクト

• プロジェクトの詳細 人工知能を医療に応用する最先端の研究プロジェクトを構築します。このコースでは、研究の方向性が明確に定義されているため、リサーチクエスチョンを設定し、エンドツーエンドの研究を行うことができます。このプロジェクトを完成させるために、授業で学んだ研究ツールと技術スキルを活用します。この最終プロジェクトでは、医療AIの実際の研究を実施し、コンセプトから完全な原稿までプロジェクトを扱う貴重な経験を積むことができます。

XI.おわりに（祝辞）

この学習カタログがあなたのお役に立てれば幸いです！ 頑張ってください！

ダウンロードアドレス

このコンテンツは作者によって非表示にされています。コンテンツを表示するには認証コードを入力してください。

キャプチャ

このサイトWeChat公開番号に注意してください、返信"CAPTCHA、チャレンジ・レスポンス・テストの一種（コンピューティング）"、認証コードを取得します。WeChatで"チーフAIシェアリングサークル「またはルックスAI"またはWeChatは、QRコードの右側をスキャンすると、このサイトWeChatの公開番号に注意を払うことができます。