Harvard CS197: Опыт исследования искусственного интеллекта PDF Download

Преподаватель курса. Доктор Пранав Раджпуркар (ассистент профессора, Гарвардский университет)

Обзор курса. На этом курсе вы глубоко погрузитесь в передовые инструменты разработки ИИ, такие как PyTorch, Lightning и Hugging Face, и оптимизируете свой рабочий процесс с помощью VSCode, Git и Conda. Вы узнаете, как использовать возможности облачных вычислений AWS и Colab для обучения крупномасштабных моделей глубокого обучения с молниеносным GPU-ускорением. Кроме того, вы освоите лучшие практики управления большим количеством экспериментов с помощью весов и смещений. Этот курс также научит вас систематически читать научные статьи, генерировать новые идеи и представлять их в виде слайдов или докладов. Вы даже освоите ценные навыки управления проектами и общения в команде, используемые ведущими исследователями в области ИИ.

Цели курса.

• Владение инструментами и методами, обычно используемыми в исследованиях ИИ.
• Умение проводить поиск литературы, читать и обобщать исследовательские работы по искусственному интеллекту.
• Умение использовать различные фреймворки и библиотеки для разработки, обучения и оценки моделей.
• Возможность управления экспериментами, поиска гиперпараметров и сравнения производительности моделей.
• Способность генерировать, повторять и оценивать исследовательские идеи.
• Способность писать и организовывать исследовательские работы и создавать высококачественные слайды.
• Способность эффективно работать в команде и управлять проектами.

Каталог курсов.

I. Введение и основа программы (Главы 1-2, 59 страниц)

• Глава 1: Вы дополняете мои сэндвичи - захватывающие достижения в области языковых моделей ИИ
  • Цели обучения:
    • Взаимодействуйте с языковыми моделями, используя обучение на нулевых и малых выборках, чтобы проверить их возможности.
    • Создавайте простые приложения, используя возможности завершения текста в GPT-3 и генерации кода в Codex.
    • Понять вредную тенденцию языкового моделирования, потенциально отражающую социальные предрассудки.
  • Соответствующие заметки: Гарвард CS197 Лекция 1 Заметки
• Глава 2: Дзен Python - основы программной инженерии
  • Цели обучения:
    • Эффективное редактирование кодовой базы Python с помощью редактора VSCode.
    • Владеет навыками использования Git и Conda в рабочих процессах кодирования.
    • Для отладки используйте точки останова и точки регистрации, а не операторы печати.
    • Используйте линтинг для поиска ошибок и улучшения стиля кода Python.
  • Соответствующие записи: Harvard CS197 Lecture 2 Notes

II. Чтение литературы и доработка моделей (главы 3-4, 41 страница)

• Глава 3: Плечи гигантов - Чтение исследовательских работ по искусственному интеллекту
  • Цели обучения:
    • Проведите поиск литературы, чтобы найти работы, связанные с интересующей вас темой.
    • Читайте научные работы по машинному обучению и обобщайте их результаты.
    • Подведите итоги предыдущей работы в определенной области.
  • Соответствующие записи: Harvard CS197 Lecture 3 Notes
• Глава 4: В такт джазовым рукам - тонкая настройка языковой модели с помощью обнимающихся лиц
  • Цели обучения:
    • Используйте библиотеку datasets для загрузки и обработки наборов данных обработки естественного языка.
    • Сегментируйте текстовую последовательность и поймите, какие шаги используются при сегментации.
    • Создание наборов данных и этапы обучения для каузального языкового моделирования.
  • Соответствующие записи: Harvard CS197 Lecture 4 Notes

III. Глубокое погружение в PyTorch с помощью Visual Transformer (главы 5-7, 33 страницы)

• Глава 5: Lightning McTorch - Тонкая настройка трансформатора зрения с помощью молнии
  • Цели обучения:
    • Взаимодействуйте с кодом, чтобы изучить загрузку данных изображения и токенизацию для использования в Visual Transformer.
    • Разбор кода архитектуры PyTorch и модулей, используемых для создания визуального трансформера.
    • Знакомство с примерами рабочих процессов обучения с использованием PyTorch Lightning.
  • Соответствующие записи: Harvard CS197 Lecture 5 Notes
• Глава 6-7: Лунная походка с PyTorch - закрепление основ PyTorch
  • Цели обучения:
    • Выполняйте операции с тензорами в PyTorch.
    • Понимание прямого и обратного распространения в нейронных сетях в контексте Автограда.
    • Обнаружение распространенных проблем в обучающем коде PyTorch.
  • Соответствующие заметки: Harvard CS197 Lecture 6 & 7 Notes

IV. Управление экспериментами и гиперпараметрический поиск (главы 8-9, 22 страницы)

• Глава 8-9: Организация экспериментов Sparks Joy - организация обучения модели с весами и предубеждениями и Hydra (Организация экспериментов Sparks Joy - организация обучения модели с весами и предубеждениями и Hydra) Hydra)
  • Цели обучения:
    • Управляйте регистрацией и отслеживанием экспериментов с помощью программы Weights & Biases.
    • Выполните гиперпараметрический поиск с помощью Weights & Biases Sweeps.
    • Управляйте сложными конфигурациями с помощью Hydra.
  • Соответствующие заметки: Harvard CS197 Lecture 8 & 9 Notes

V. Идеи для исследований и написание эссе (главы 10-13, 23 страницы)

• Главы 10-11: Я мечтал о мечте - основа для генерации исследовательских идей
  • Цели обучения:
    • Определите пробелы в исследовательской работе, включая вопрос исследования, экспериментальную установку и результаты.
    • Генерируйте идеи на основе исследовательской работы, учитывая интересующую вас задачу, стратегию оценки и элементы предлагаемой методологии.
    • Итерируйте свои идеи, чтобы повысить их качество.
  • Соответствующие заметки: Harvard CS197 Lecture 10 & 11 Notes
• Главы 12-13: "Сегодня была сказка" - структурирование исследовательской работы
  • Цели обучения:
    • Разбор элементов исследовательской работы и их порядок.
    • Документируйте глобальную и локальную структуру написания исследовательской работы.
  • Соответствующие заметки: Harvard CS197 Lecture 12 & 13 Notes

VI. Глубокое обучение и точная настройка моделей в облаке (главы 14-17, 31 страница)

• Главы 14-15: Deep Learning on Cloud Nine - AWS EC2 for Deep Learning: Setup, Optimisation, and Hands-on Training with CheXzero (Глубокое обучение на Cloud Nine - AWS EC2 for Deep Learning on AWS EC2: Setup, Optimisation, and Hands-on Training with CheXzero)
  • Цели обучения:
    • Узнайте, как настроить и подключиться к экземпляру AWS EC2 для глубокого обучения.
    • Узнайте, как модифицировать код глубокого обучения для использования GPU.
    • Получите практический опыт в процессе обучения модели с использованием реальной базы кода.
  • Соответствующие заметки: Harvard CS197 Lecture 14 & 15 Notes
• Главы 16-17: Воплотите свои мечты в жизнь - Тонкая настройка модели стабильной диффузии
  • Цели обучения:
    • Создавайте и настраивайте модели стабильной диффузии, используя блокнот с шаблонами Dreambooth.
    • Использование ускорения AWS для обучения моделей стабильной диффузии с помощью графических процессоров.
    • Используйте незнакомые кодовые базы и новые инструменты, включая Dreambooth, Colab, Accelerate и Gradio, без необходимости погружаться в них.
  • Соответствующие заметки: Harvard CS197 Lecture 16 & 17 Notes

VII. Эффективность исследований и работа в команде (главы 18-19, стр. 19)

• Глава 18: "Усиление продуктивности исследований" - советы по управлению своим временем и усилиями
  • Цели обучения:
    • Узнайте, как использовать обновленные совещания и рабочие сессии, чтобы оставаться на одной волне и добиваться прогресса в реализации проектов.
    • Узнайте, как использовать различные инструменты и методики для улучшения коммуникации в команде и организации проекта.
    • Изучите стратегии организации проектной работы, рассмотрите этапы проекта и различные задачи, связанные с ним.
  • Соответствующие записи: Harvard CS197 Lecture 18 Notes
• Глава 19: ИИ-ниндзя - прогресс и влияние в исследованиях ИИ
  • Цели обучения:
    • Узнайте, как добиться стабильного прогресса в ваших исследованиях, в том числе наладить отношения с научными руководителями и развить навыки.
    • Получите более глубокое понимание того, как повысить отдачу от своей работы.
  • Соответствующие записи: Harvard CS197 Lecture 19 Notes

VIII. Производство слайдов и статистические испытания (главы 20-21, 25 страниц)

• Глава 20: Bejeweled - советы по созданию высококачественных слайдов
  • Цели обучения:
    • Применяйте ключевые принципы подхода "утверждение-доказательство" для создания эффективных презентационных слайдов.
    • Определите общие "подводные камни" типичной слайдовой презентации и стратегии, позволяющие их избежать.
    • Примените техники, изученные в этой лекции, к реальным примерам слайдов исследовательских презентаций, чтобы повысить их эффективность.
  • Соответствующие записи: Harvard CS197 Lecture 20 Notes
• Глава 21: Показ моделей - статистические испытания для сравнения характеристик моделей
  • Цели обучения:
    • Узнайте о различных статистических тестах, которые можно использовать для сравнения моделей машинного обучения, включая тест Макнемара, парные t-тесты и методы бутстрепа.
    • Возможность реализовать эти статистические тесты на языке Python для оценки производительности двух моделей на одном и том же тестовом наборе.
    • Умение выбирать подходящие тесты для решения конкретной исследовательской задачи, включая тесты на статистическое превосходство, неисключение и эквивалентность.
  • Соответствующие записи: Harvard CS197 Lecture 21 Notes

Задания

• Задание 1: Язык кода
• Задание 2: Первое погружение в искусственный интеллект (AI初探)
• Задание 3: Torched (Факел)
• Задание 4: Искра радости
• Задание 5: Идея и организация
• Задание 6: Стабильная диффузия и исследовательские операции

X. Курсовой проект

• Детали проекта. Вы разработаете передовой исследовательский проект, применяющий искусственный интеллект в медицине. Курс дает четко определенное направление исследований, позволяя вам сформулировать исследовательский вопрос и провести комплексное исследование. Для выполнения проекта вы будете использовать исследовательские инструменты и технические навыки, полученные на занятиях. В ходе выполнения этого итогового проекта вы получите ценный опыт проведения реальных исследований в области медицинского искусственного интеллекта и работы над проектом от концепции до полной рукописи.

XI. Заключительные замечания (Поздравления)

Надеюсь, этот учебный каталог поможет вам! Удачи вам в учебе!

адрес загрузки

1735613715-Harvard CS197_ AI Research Experiences - Книга курса