Harvard CS197 : AI Research Experiences PDF Download

Instructeur du cours. Dr Pranav Rajpurkar (Professeur assistant, Université de Harvard)

Aperçu du cours. Ce cours vous fera plonger dans les outils de développement d'IA de pointe tels que PyTorch, Lightning et Hugging Face, et optimisera votre flux de travail à l'aide de VSCode, Git et Conda. Vous apprendrez à tirer parti de la puissance informatique d'AWS et de Colab pour entraîner des modèles d'apprentissage profond à grande échelle avec une accélération GPU rapide comme l'éclair. En outre, vous maîtriserez les meilleures pratiques pour gérer un grand nombre d'expériences à l'aide de Weights and Biases. Ce cours vous apprendra également à lire systématiquement des articles de recherche, à générer de nouvelles idées et à les présenter sous forme de diapositives ou d'articles. Vous apprendrez également à gérer des projets et à communiquer en équipe, comme le font les meilleurs chercheurs en IA.

Objectifs du cours.

• Maîtrise des outils et techniques couramment utilisés dans la recherche en IA.
• Capacité à effectuer des recherches documentaires, à lire et à résumer des documents de recherche sur l'intelligence artificielle.
• Capacité à utiliser une variété de cadres et de bibliothèques pour le développement, la formation et l'évaluation de modèles.
• Capacité à gérer des expériences, à rechercher des hyperparamètres et à comparer les performances des modèles.
• Capacité à générer, à répéter et à évaluer des idées de recherche.
• Capacité à rédiger et à organiser des documents de recherche et à produire des diapositives de haute qualité.
• Capacité à travailler efficacement en équipe et à gérer des projets.

Catalogue des cours.

I. Introduction et fondement du programme (chapitres 1-2, 59 pages)

• Chapitre 1 : Vous complétez mes sandwichs - Des avancées passionnantes avec les modèles linguistiques d'IA
  • Objectifs d'apprentissage :
    • Interagir avec les modèles linguistiques en utilisant l'apprentissage par zéro et par petits échantillons pour tester leurs capacités.
    • Créez des applications simples en utilisant la complétion de texte de GPT-3 et les capacités de génération de code de Codex.
    • Comprendre la tendance néfaste de la modélisation linguistique à refléter potentiellement les préjugés sociaux.
  • Notes de correspondance : Harvard CS197 Lecture 1 Notes
• Chapitre 2 : Le zen de Python - Les fondamentaux du génie logiciel
  • Objectifs d'apprentissage :
    • Modifier efficacement la base de code Python à l'aide de l'éditeur VSCode.
    • Maîtrise de l'utilisation de Git et de Conda dans les flux de codage.
    • Utilisez les points d'arrêt et les points d'enregistrement pour le débogage, et non les instructions d'impression.
    • Utiliser linting pour trouver des erreurs et améliorer le style du code Python.
  • Notes de correspondance : Harvard CS197 Lecture 2 Notes

II. lecture de la littérature et mise au point des modèles (chapitres 3-4, 41 pages)

• Chapitre 3 : Les épaules des géants - Lire les documents de recherche sur l'IA
  • Objectifs d'apprentissage :
    • Effectuer une recherche documentaire afin d'identifier les documents relatifs au sujet qui vous intéresse.
    • Lire des articles de recherche sur l'apprentissage automatique et résumer leurs contributions.
    • Résumer les travaux antérieurs dans un domaine particulier.
  • Notes de correspondance : Harvard CS197 Lecture 3 Notes
• Chapitre 4 : Au diapason des mains de jazz - Affiner un modèle de langage à l'aide de Hugging Face
  • Objectifs d'apprentissage :
    • Utilisez la bibliothèque datasets pour charger et traiter des ensembles de données de traitement du langage naturel.
    • Segmenter une séquence de texte et comprendre les étapes de la segmentation.
    • Construction d'ensembles de données et d'étapes de formation pour la modélisation du langage causal.
  • Notes de correspondance : Harvard CS197 Lecture 4 Notes

III. PyTorch Deep Dive avec Visual Transformer (Chapitres 5-7, 33 pages)

• Chapitre 5 : Lightning McTorch - Mise au point d'un transformateur de vision à l'aide d'éclairs
  • Objectifs d'apprentissage :
    • Interagissez avec le code pour explorer le chargement des données d'image et la tokenisation à utiliser avec le Visual Transformer.
    • Analyse du code de l'architecture PyTorch et des modules utilisés pour construire le Visual Transformer.
    • Familiarité avec des exemples de flux de formation utilisant PyTorch Lightning.
  • Notes de correspondance : Harvard CS197 Lecture 5 Notes
• Chapitre 6-7 : La marche sur la lune avec PyTorch - Solidifier les principes fondamentaux de PyTorch
  • Objectifs d'apprentissage :
    • Effectuer des opérations sur les tenseurs dans PyTorch.
    • Comprendre la propagation avant et arrière dans les réseaux neuronaux dans le contexte d'Autograd.
    • Détection des problèmes courants dans le code d'entraînement PyTorch.
  • Notes correspondantes : Harvard CS197 Lecture 6 & 7 Notes

IV. gestion des expériences et recherche hyperparamétrique (chapitres 8-9, 22 pages)

• Chapitre 8-9 : Organisation de l'expérience Sparks Joy - Organising Model Training with Weights & Biases and Hydra (Organisation de l'expérience Sparks Joy - Organising Model Training with Weights & Biases and Hydra) Hydra)
  • Objectifs d'apprentissage :
    • Gérer l'enregistrement et le suivi des expériences grâce à Weights & Biases.
    • Effectuer une recherche hyperparamétrique à l'aide des balayages de poids et de biais.
    • Gérer des configurations complexes avec Hydra.
  • Notes correspondantes : Harvard CS197 Lecture 8 & 9 Notes

V. Idées de recherche et rédaction (chapitres 10-13, 23 pages)

• Chapitres 10-11 : J'ai fait un rêve - Un cadre pour générer des idées de recherche
  • Objectifs d'apprentissage :
    • Identifier les lacunes du document de recherche, y compris la question de recherche, le dispositif expérimental et les résultats.
    • Générer des idées sur la base du document de recherche, en tenant compte de la tâche d'intérêt, de la stratégie d'évaluation et des éléments de la méthodologie proposée.
    • Répétez vos idées pour en améliorer la qualité.
  • Notes correspondantes : Harvard CS197 Lecture 10 & 11 Notes
• Chapitres 12-13 : Aujourd'hui était un conte de fées - Structurer un document de recherche
  • Objectifs d'apprentissage :
    • Décortiquer les éléments d'un document de recherche et leur ordre.
    • Documenter la structure globale et locale de la rédaction d'un document de recherche.
  • Notes correspondantes : Harvard CS197 Lecture 12 & 13 Notes

VI. l'apprentissage profond et la mise au point de modèles dans le nuage (chapitres 14-17, 31 pages)

• Chapitres 14-15 : Deep Learning on Cloud Nine - AWS EC2 for Deep Learning : Setup, Optimisation, and Hands-on Training with CheXzero (Deep Learning on Cloud Nine - AWS EC2 for Deep Learning : Setup, Optimisation, and Hands-on Training with CheXzero) Learning on AWS EC2 : Setup, Optimisation, and Hands-on Training with CheXzero)
  • Objectifs d'apprentissage :
    • Apprenez à configurer et à vous connecter à une instance AWS EC2 pour l'apprentissage profond.
    • Apprenez à modifier le code d'apprentissage profond pour utiliser le GPU.
    • Acquérir une expérience pratique de l'exécution du processus de formation au modèle en utilisant une base de code réelle.
  • Notes correspondantes : Harvard CS197 Lecture 14 & 15 Notes
• Chapitres 16 et 17 : Réalisez vos rêves - Mise au point de votre modèle de diffusion stable
  • Objectifs d'apprentissage :
    • Créer et affiner des modèles de diffusion stable à l'aide du cahier de modèles Dreambooth.
    • Utilisation de l'accélération AWS pour entraîner des modèles de diffusion stable à l'aide de GPU.
    • Utiliser des bases de code inconnues et de nouveaux outils, notamment Dreambooth, Colab, Accelerate et Gradio, sans avoir à s'y plonger.
  • Notes correspondantes : Harvard CS197 Lecture 16 & 17 Notes

VII. efficacité de la recherche et travail en équipe (chapitres 18-19, page 19)

• Chapitre 18 : Productivité de la recherche - Conseils pour gérer son temps et ses efforts
  • Objectifs d'apprentissage :
    • Apprenez à utiliser les réunions de mise à jour et les séances de travail pour rester sur la même longueur d'onde et faire avancer les projets.
    • Apprendre à utiliser une variété d'outils et de techniques pour améliorer la communication au sein d'une équipe et l'organisation d'un projet.
    • Apprendre des stratégies pour organiser le travail de projet, en tenant compte des étapes d'un projet et des différentes tâches qu'il implique.
  • Notes de correspondance : Harvard CS197 Lecture 18 Notes
• Chapitre 19 : Le Ninja de l'IA - Progrès et impact de la recherche en IA
  • Objectifs d'apprentissage :
    • Apprenez à progresser régulièrement dans votre recherche, notamment en gérant les relations avec les superviseurs et en développant vos compétences.
    • Comprenez mieux comment accroître l'impact de votre travail.
  • Notes de correspondance : Harvard CS197 Lecture 19 Notes

VIII. production de diapositives et tests statistiques (chapitres 20-21, 25 pages)

• Chapitre 20 : Bejeweled - Conseils pour la création de diapositives de haute qualité
  • Objectifs d'apprentissage :
    • Appliquer les principes clés de l'approche affirmation-preuve pour créer des diapositives de présentation efficaces.
    • Identifier les pièges les plus courants dans les présentations de diapositives typiques et les stratégies pour les éviter.
    • Appliquer les techniques apprises dans cette conférence à des exemples réels de diapositives de présentation de recherche afin d'améliorer leur efficacité.
  • Notes de correspondance : Harvard CS197 Lecture 20 Notes
• Chapitre 21 : L'épreuve de force des modèles - Tests statistiques pour comparer les performances des modèles
  • Objectifs d'apprentissage :
    • Découvrez les différents tests statistiques qui peuvent être utilisés pour comparer les modèles d'apprentissage automatique, notamment le test de McNemar, les tests t par paires et les méthodes bootstrap.
    • La possibilité d'implémenter ces tests statistiques en Python pour évaluer la performance de deux modèles sur le même ensemble de tests.
    • Capacité à sélectionner les tests appropriés pour un problème de recherche donné, y compris les tests de supériorité, de non-infériorité et d'équivalence statistiques.
  • Notes de correspondance : Harvard CS197 Lecture 21 Notes

Missions

• Exercice 1 : Le langage du code
• Exercice 2 : Première plongée dans l'IA (AI初探)
• Affectation 3 : Torched (Torche)
• Exercice 4 : Spark Joy (Susciter la joie)
• Affectation 5 : Idéation et organisation
• Affectation 6 : Diffusion stable et opérations de recherche

X. Projet de cours

• Détails du projet. Vous élaborerez un projet de recherche de pointe appliquant l'intelligence artificielle à la médecine. Le cours fournit une orientation de recherche clairement définie, vous permettant de formuler une question de recherche et de mener une recherche de bout en bout. Vous utiliserez les outils de recherche et les compétences techniques acquises en classe pour mener à bien ce projet. Ce projet final vous permettra d'acquérir une expérience précieuse dans la conduite d'une véritable recherche en intelligence artificielle médicale et de gérer un projet du concept au manuscrit complet.

XI. Remarques finales (Félicitations)

J'espère que ce catalogue d'études vous aidera ! Bonne chance dans vos études !

adresse de téléchargement

1735613715-Harvard CS197_ AI Research Experiences - The Course Book (en anglais)