哈佛 CS197课程：人工智能研究体验 (AI Research Experiences)PDF下载

课程讲师: Pranav Rajpurkar 博士 (哈佛大学助理教授)

课程概述: 本课程将带您深入了解前沿的AI开发工具，如PyTorch、Lightning和Hugging Face，并使用VSCode、Git和Conda优化您的工作流程。您将学习如何利用AWS和Colab的云计算能力，以闪电般的GPU加速训练大规模深度学习模型。此外，您还将掌握使用Weights and Biases管理大量实验的最佳实践。本课程还将教您如何系统地阅读研究论文，产生新的想法，并在幻灯片或论文中展示它们。您甚至可以学习到顶级AI研究人员使用的宝贵项目管理和团队沟通技巧。

课程目标:

• 掌握AI研究中常用的工具和技术。
• 能够进行文献检索、阅读和总结AI研究论文。
• 能够使用各种框架和库进行模型开发、训练和评估。
• 能够进行实验管理、超参数搜索和模型性能比较。
• 能够产生、迭代和评估研究想法。
• 能够撰写和组织研究论文，制作高质量的幻灯片。
• 能够有效地进行团队协作和项目管理。

课程目录:

I. 课程介绍与基础 (Chapters 1-2, 59页)

• 第1章: You Complete My Sandwiches – Exciting Advances with AI Language Models (AI语言模型的激动人心的进展)
  • 学习目标：
    • 使用零样本和小样本学习与语言模型互动，测试其能力。
    • 使用GPT-3的文本补全和Codex的代码生成能力构建简单的应用程序。
    • 了解语言模型可能反映社会偏见的有害倾向。
  • 对应笔记：Harvard CS197 Lecture 1 Notes
• 第2章: The Zen of Python – Software Engineering Fundamentals (Python之禅 - 软件工程基础)
  • 学习目标：
    • 使用VSCode编辑器有效地编辑Python代码库。
    • 在编码工作流程中熟练使用Git和Conda。
    • 使用断点和日志点进行调试，而不是print语句。
    • 使用linting查找错误并改进Python代码风格。
  • 对应笔记：Harvard CS197 Lecture 2 Notes

II. 文献阅读与模型微调 (Chapters 3-4, 41页)

• 第3章: Shoulders of Giants – Reading AI Research Papers (站在巨人的肩膀上 - 阅读AI研究论文)
  • 学习目标：
    • 进行文献检索以识别与感兴趣主题相关的论文。
    • 阅读机器学习研究论文并总结其贡献。
    • 总结某个领域以前的工作。
  • 对应笔记：Harvard CS197 Lecture 3 Notes
• 第4章: In-Tune with Jazz Hands – Fine-tuning a Language Model using Hugging Face (与爵士手共舞 - 使用Hugging Face微调语言模型)
  • 学习目标：
    • 使用datasets库加载和处理自然语言处理数据集。
    • 对文本序列进行分词，并理解分词中使用的步骤。
    • 为因果语言建模构建数据集和训练步骤。
  • 对应笔记：Harvard CS197 Lecture 4 Notes

III. PyTorch深入与视觉Transformer (Chapters 5-7, 33页)

• 第5章: Lightning McTorch – Fine-tuning a Vision Transformer using Lightning (闪电McTorch - 使用Lightning微调视觉Transformer)
  • 学习目标：
    • 与代码交互以探索用于视觉Transformer的图像数据加载和标记化。
    • 解析用于构建视觉Transformer的PyTorch架构和模块的代码。
    • 熟悉使用PyTorch Lightning的示例训练工作流程。
  • 对应笔记：Harvard CS197 Lecture 5 Notes
• 第6-7章: Moonwalking with PyTorch – Solidifying PyTorch Fundamentals (与PyTorch一起太空漫步 - 巩固PyTorch基础)
  • 学习目标：
    • 在PyTorch中执行张量操作。
    • 在Autograd的上下文中理解神经网络的正向和反向传播。
    • 检测PyTorch训练代码中的常见问题。
  • 对应笔记：Harvard CS197 Lecture 6 & 7 Notes

IV. 实验管理与超参数搜索 (Chapters 8-9, 22页)

• 第8-9章: Experiment Organization Sparks Joy – Organizing Model Training with Weights & Biases and Hydra (实验组织激发快乐 - 使用Weights & Biases和Hydra组织模型训练)
  • 学习目标：
    • 通过Weights & Biases管理实验日志记录和跟踪。
    • 使用Weights & Biases Sweeps执行超参数搜索。
    • 使用Hydra管理复杂的配置。
  • 对应笔记：Harvard CS197 Lecture 8 & 9 Notes

V. 研究思路与论文写作 (Chapters 10-13, 23页)

• 第10-11章: I Dreamed a Dream – A Framework for Generating Research Ideas (我有一个梦想 - 产生研究想法的框架)
  • 学习目标：
    • 识别研究论文中的差距，包括研究问题、实验设置和结果。
    • 产生基于研究论文的想法，考虑感兴趣的任务、评估策略和所提出的方法的要素。
    • 迭代您的想法以提高其质量。
  • 对应笔记：Harvard CS197 Lecture 10 & 11 Notes
• 第12-13章: Today Was a Fairytale – Structuring a Research Paper (今天是童话故事 - 构建研究论文)
  • 学习目标：
    • 解构研究论文的元素及其顺序。
    • 记录研究论文写作的全局结构和局部结构。
  • 对应笔记：Harvard CS197 Lecture 12 & 13 Notes

VI. 云端深度学习与模型微调 (Chapters 14-17, 31页)

• 第14-15章: Deep Learning on Cloud Nine – AWS EC2 for Deep Learning: Setup, Optimization, and Hands-on Training with CheXzero (云端九号深度学习 - 用于深度学习的AWS EC2：设置、优化和使用CheXzero进行实践训练)
  • 学习目标：
    • 了解如何设置和连接到用于深度学习的AWS EC2实例。
    • 学习如何修改深度学习代码以使用GPU。
    • 使用真实代码库获得运行模型训练过程的实践经验。
  • 对应笔记：Harvard CS197 Lecture 14 & 15 Notes
• 第16-17章: Make your dreams come tuned – Fine-Tuning Your Stable Diffusion Model (让您的梦想成真 - 微调您的Stable Diffusion模型)
  • 学习目标：
    • 使用Dreambooth模板笔记本创建和微调Stable Diffusion模型。
    • 使用AWS加速使用GPU训练Stable Diffusion模型。
    • 使用不熟悉的代码库和新工具，包括Dreambooth、Colab、Accelerate和Gradio，而无需深入了解它们。
  • 对应笔记：Harvard CS197 Lecture 16 & 17 Notes

VII. 科研效率与团队协作 (Chapters 18-19, 19页)

• 第18章: Research Productivity Power-Ups – Tips to Manage Your Time and Efforts (研究效率提升 - 管理您的时间和精力的技巧)
  • 学习目标：
    • 学习如何使用更新会议和工作会议来保持一致并在项目上取得进展。
    • 了解如何使用各种工具和技术来改进团队沟通和项目组织。
    • 学习组织项目工作的策略，考虑项目的阶段和所涉及的各种任务。
  • 对应笔记：Harvard CS197 Lecture 18 Notes
• 第19章: The AI Ninja – Making Progress and Impact in AI Research (AI忍者 - 在AI研究中取得进展和影响)
  • 学习目标：
    • 学习如何在研究中取得稳步进展，包括管理与导师的关系和发展技能。
    • 更深入地了解如何提高您工作的影响力。
  • 对应笔记：Harvard CS197 Lecture 19 Notes

VIII. 幻灯片制作与统计测试 (Chapters 20-21, 25页)

• 第20章: Bejeweled – Tips for Creating High-Quality Slides (珠光宝气 - 创建高质量幻灯片的技巧)
  • 学习目标：
    • 应用断言-证据方法的关键原则来创建有效的演讲幻灯片。
    • 识别典型幻灯片演示中的常见陷阱和避免它们的策略。
    • 将本讲座中学到的技术应用于研究演讲幻灯片的真实示例，以提高其有效性。
  • 对应笔记：Harvard CS197 Lecture 20 Notes
• 第21章: Model Showdown – Statistical Testing to Compare Model Performances (模型对决 - 比较模型性能的统计测试)
  • 学习目标：
    • 了解可用于比较机器学习模型的不同统计测试，包括McNemar检验、配对t检验和bootstrap方法。
    • 能够在Python中实现这些统计测试，以评估两个模型在同一测试集上的性能。
    • 能够为给定的研究问题选择适当的测试，包括统计优越性、非劣效性和等效性测试。
  • 对应笔记：Harvard CS197 Lecture 21 Notes

IX. 作业 (Assignments)

• Assignment 1: The Language of Code (代码的语言)
• Assignment 2: First Dive in AI (AI初探)
• Assignment 3: Torched (火炬)
• Assignment 4: Spark Joy (点燃快乐)
• Assignment 5: Ideation and Organization (构思和组织)
• Assignment 6: Stable Diffusion and Research Operations (Stable Diffusion和研究操作)

X. 课程项目 (Course Project)

• Project Details (项目详情): 您将构建一个将人工智能应用于医学的前沿研究项目。课程提供了一个明确定义的研究方向，让您制定一个研究问题并进行端到端的研究。您将利用在课堂上学到的研究工具和技术技能来完成这个项目。从这个最终项目中，您将获得在医学AI中进行真正研究的宝贵经验，并处理一个从概念到完整手稿的项目。

XI. 结课寄语 (Congratulations)

希望这份学习目录对您有所帮助! 祝您学习顺利!

下载地址

此处内容已经被作者隐藏，请输入验证码查看内容

验证码：

请关注本站微信公众号，回复“验证码”，获取验证码。在微信里搜索“首席AI分享圈”或者“Looks-AI”或者微信扫描右侧二维码都可以关注本站微信公众号。