Harvard CS197: KI-Forschungserfahrungen PDF Download

Kursleiter. Dr. Pranav Rajpurkar (Assistenzprofessor, Harvard-Universität)

Kursübersicht. In diesem Kurs lernen Sie die neuesten KI-Entwicklungstools wie PyTorch, Lightning und Hugging Face kennen und optimieren Ihren Workflow mit VSCode, Git und Conda. Sie werden lernen, wie Sie die Cloud-Computing-Leistung von AWS und Colab nutzen können, um umfangreiche Deep-Learning-Modelle mit blitzschneller GPU-Beschleunigung zu trainieren. Darüber hinaus lernen Sie die besten Praktiken für die Verwaltung einer großen Anzahl von Experimenten mit Weights and Biases kennen. In diesem Kurs lernen Sie auch, wie Sie systematisch Forschungsarbeiten lesen, neue Ideen entwickeln und diese in Folien oder Papieren präsentieren. Sie werden sogar wertvolle Projektmanagement- und Teamkommunikationsfähigkeiten erlernen, die von führenden KI-Forschern verwendet werden.

Ziele des Kurses.

• Beherrschung der in der KI-Forschung üblicherweise verwendeten Instrumente und Techniken.
• Fähigkeit, Literaturrecherchen durchzuführen, AI-Forschungsarbeiten zu lesen und zusammenzufassen.
• Fähigkeit, eine Vielzahl von Rahmenwerken und Bibliotheken für die Entwicklung, Schulung und Bewertung von Modellen zu nutzen.
• Fähigkeit, Experimente zu verwalten, Hyperparameter zu suchen und Modellleistungen zu vergleichen.
• Fähigkeit, Forschungsideen zu entwickeln, zu wiederholen und zu bewerten.
• Fähigkeit, Forschungsarbeiten zu verfassen und zu organisieren und qualitativ hochwertige Folien zu erstellen.
• Fähigkeit zur effektiven Arbeit in Teams und zum Projektmanagement.

Kurskatalog.

I. Einleitung und Grundlagen des Programms (Kapitel 1-2, 59 Seiten)

• Kapitel 1: You Complete My Sandwiches - Spannende Fortschritte mit KI-Sprachmodellen
  • Lernziele:
    • Interagieren Sie mit Sprachmodellen, indem Sie das Lernen von Null und kleinen Beispielen nutzen, um ihre Fähigkeiten zu testen.
    • Erstellen Sie einfache Anwendungen mit der Textvervollständigung von GPT-3 und den Codex-Funktionen zur Codegenerierung.
    • Verstehen der schädlichen Tendenz von Sprachmodellen, die möglicherweise soziale Vorurteile widerspiegeln.
  • Entsprechende Notizen: Harvard CS197 Lecture 1 Notes
• Kapitel 2: Das Zen von Python - Grundlagen der Softwaretechnik
  • Lernziele:
    • Effiziente Bearbeitung der Python-Codebasis mit dem VSCode-Editor.
    • Beherrschung der Verwendung von Git und Conda bei der Codierung von Arbeitsabläufen.
    • Verwenden Sie Haltepunkte und Protokollpunkte zum Debuggen, keine Druckanweisungen.
    • Verwenden Sie Linting, um Fehler zu finden und den Stil von Python-Code zu verbessern.
  • Entsprechende Notizen: Harvard CS197 Lecture 2 Notes

II. die Lektüre der Literatur und die Feinabstimmung der Modelle (Kapitel 3-4, 41 Seiten)

• Kapitel 3: Die Schultern von Giganten - Lesen von KI-Forschungspapieren
  • Lernziele:
    • Führen Sie eine Literaturrecherche durch, um Arbeiten zum Thema Ihres Interesses zu finden.
    • Lesen Sie Forschungsarbeiten zum maschinellen Lernen und fassen Sie deren Beiträge zusammen.
    • Zusammenfassung der bisherigen Arbeit in einem bestimmten Bereich.
  • Entsprechende Notizen: Harvard CS197 Lecture 3 Notes
• Kapitel 4: In-Tune with Jazz Hands - Feinabstimmung eines Sprachmodells mit Hugging Face
  • Lernziele:
    • Verwenden Sie die Datensatzbibliothek, um Datensätze für die Verarbeitung natürlicher Sprache zu laden und zu verarbeiten.
    • Eine Textsequenz zu segmentieren und die Schritte der Segmentierung zu verstehen.
    • Erstellung von Datensätzen und Trainingsschritten für die kausale Sprachmodellierung.
  • Entsprechende Notizen: Harvard CS197 Lecture 4 Notes

III. vertieftes Studium von PyTorch mit Visual Transformer (Kapitel 5-7, 33 Seiten)

• Kapitel 5: Lightning McTorch - Feinabstimmung eines Visionswandlers mit Hilfe von Blitzen (Lightning McTorch - Feinabstimmung eines Visionswandlers mit Hilfe von Blitzen)
  • Lernziele:
    • Interagieren Sie mit dem Code, um das Laden von Bilddaten und die Tokenisierung zur Verwendung mit dem Visual Transformer zu untersuchen.
    • Analysieren des Codes der PyTorch-Architektur und der Module, die zum Aufbau des Visual Transformer verwendet werden.
    • Vertrautheit mit beispielhaften Schulungsworkflows unter Verwendung von PyTorch Lightning.
  • Entsprechende Notizen: Harvard CS197 Lecture 5 Notes
• Kapitel 6-7: Moonwalking mit PyTorch - Festigung der PyTorch-Grundlagen
  • Lernziele:
    • Tensoroperationen in PyTorch durchführen.
    • Verständnis der Vorwärts- und Rückwärtsausbreitung in neuronalen Netzen im Kontext von Autograd.
    • Gemeinsame Probleme im PyTorch-Trainingscode erkennen.
  • Entsprechende Notizen: Harvard CS197 Lecture 6 & 7 Notes

IV. experimentelle Verwaltung und hyperparametrische Suche (Kapitel 8-9, 22 Seiten)

• Kapitel 8-9: Versuchsorganisation Funkenflug - Organisieren des Modelltrainings mit Gewichten & Verzerrungen und Hydra (Versuchsorganisation Funkenflug - Organisieren des Modelltrainings mit Gewichten & Verzerrungen und Hydra) Hydra)
  • Lernziele:
    • Verwalten Sie die Protokollierung und Nachverfolgung von Experimenten durch Weights & Biases.
    • Führen Sie eine hyperparametrische Suche mit Weights & Biases Sweeps durch.
    • Verwalten Sie komplexe Konfigurationen mit Hydra.
  • Entsprechende Notizen: Harvard CS197 Lecture 8 & 9 Notes

V. Forschungsideen und Schreiben von Aufsätzen (Kapitel 10-13, 23 Seiten)

• Kapitel 10-11: Ich habe einen Traum geträumt - Ein Rahmen für die Entwicklung von Forschungsideen
  • Lernziele:
    • Identifizieren Sie Lücken in der Forschungsarbeit, einschließlich der Forschungsfrage, des Versuchsaufbaus und der Ergebnisse.
    • Entwickeln Sie Ideen auf der Grundlage des Forschungspapiers unter Berücksichtigung der Aufgabenstellung, der Bewertungsstrategie und der Elemente der vorgeschlagenen Methodik.
    • Iterieren Sie Ihre Ideen, um ihre Qualität zu verbessern.
  • Entsprechende Notizen: Harvard CS197 Lecture 10 & 11 Notes
• Kapitel 12-13: Heute war ein Märchen - Strukturierung einer Forschungsarbeit
  • Lernziele:
    • Dekonstruktion der Elemente einer Forschungsarbeit und ihrer Reihenfolge.
    • Dokumentieren Sie die globale und lokale Struktur des Schreibens von Forschungsarbeiten.
  • Entsprechende Notizen: Harvard CS197 Lecture 12 & 13 Notes

VI. tiefes Lernen und Modell-Feinabstimmung in der Cloud (Kapitel 14-17, 31 Seiten)

• Kapitel 14-15: Deep Learning auf Cloud Nine - AWS EC2 für Deep Learning: Einrichtung, Optimierung und praktische Schulung mit CheXzero (Deep Learning auf Cloud Nine - AWS EC2 für Deep Learning auf AWS EC2: Einrichtung, Optimierung und praktisches Training mit CheXzero)
  • Lernziele:
    • Erfahren Sie, wie Sie eine AWS EC2-Instanz für Deep Learning einrichten und mit ihr verbinden.
    • Lernen Sie, wie man Deep-Learning-Code für die Nutzung der GPU modifiziert.
    • Sammeln Sie praktische Erfahrungen bei der Durchführung des Modelltrainings anhand einer echten Codebasis.
  • Entsprechende Notizen: Harvard CS197 Lecture 14 & 15 Notes
• Kapitel 16-17: Verwirklichen Sie Ihre Träume - Feinabstimmung Ihres Modells der stabilen Diffusion
  • Lernziele:
    • Erstellung und Feinabstimmung von Stable Diffusion-Modellen mit Hilfe des Dreambooth-Vorlagen-Notizbuchs.
    • Verwendung der AWS-Beschleunigung zum Trainieren von Modellen für stabile Diffusion mit GPUs.
    • Verwenden Sie unbekannte Codebasen und neue Tools wie Dreambooth, Colab, Accelerate und Gradio, ohne sich in sie einarbeiten zu müssen.
  • Entsprechende Notizen: Harvard CS197 Lecture 16 & 17 Notes

VII. effiziente Forschung und Teamarbeit (Kapitel 18-19, Seite 19)

• Kapitel 18: Produktivitätssteigerung in der Forschung - Tipps zur Verwaltung Ihrer Zeit und Ihres Aufwands
  • Lernziele:
    • Erfahren Sie, wie Sie mit Hilfe von Aktualisierungsbesprechungen und Arbeitssitzungen auf dem gleichen Stand bleiben und Fortschritte bei Projekten erzielen können.
    • Lernen Sie, wie Sie eine Vielzahl von Werkzeugen und Techniken einsetzen können, um die Kommunikation im Team und die Projektorganisation zu verbessern.
    • Erlernen von Strategien zur Organisation der Projektarbeit unter Berücksichtigung der einzelnen Phasen eines Projekts und der verschiedenen damit verbundenen Aufgaben.
  • Entsprechende Notizen: Harvard CS197 Vorlesung 18 Notizen
• Kapitel 19: Der KI-Ninja - Fortschritte und Auswirkungen in der KI-Forschung
  • Lernziele:
    • Lernen Sie, wie Sie in Ihrer Forschung stetig vorankommen, einschließlich der Pflege von Beziehungen zu Vorgesetzten und der Entwicklung von Fähigkeiten.
    • Gewinnen Sie ein tieferes Verständnis dafür, wie Sie die Wirkung Ihrer Arbeit steigern können.
  • Entsprechende Notizen: Harvard CS197 Lecture 19 Notes

VIII. die Herstellung von Dias und statistische Tests (Kapitel 20-21, 25 Seiten)

• Kapitel 20: Bejeweled - Tipps zur Erstellung hochwertiger Folien
  • Lernziele:
    • Anwendung der wichtigsten Prinzipien des Behauptungs-Beweis-Ansatzes zur Erstellung effektiver Präsentationsfolien.
    • Häufige Fallstricke in einer typischen Folienpräsentation und Strategien zu deren Vermeidung zu erkennen.
    • Wenden Sie die in dieser Vorlesung erlernten Techniken auf reale Beispiele von Forschungspräsentationsfolien an, um deren Wirksamkeit zu verbessern.
  • Entsprechende Notizen: Harvard CS197 Lecture 20 Notes
• Kapitel 21: Modell-Showdown - Statistische Tests zum Vergleich der Modellleistungen
  • Lernziele:
    • Lernen Sie die verschiedenen statistischen Tests kennen, die zum Vergleich von Modellen des maschinellen Lernens verwendet werden können, einschließlich des McNemar-Tests, gepaarter t-Tests und Bootstrap-Methoden.
    • Die Fähigkeit, diese statistischen Tests in Python zu implementieren, um die Leistung von zwei Modellen auf demselben Testsatz zu bewerten.
    • Fähigkeit zur Auswahl geeigneter Tests für ein bestimmtes Forschungsproblem, einschließlich Tests zur statistischen Überlegenheit, Nichtunterlegenheit und Äquivalenz.
  • Entsprechende Notizen: Harvard CS197 Vorlesung 21 Notizen

Zuweisungen

• Aufgabe 1: Die Sprache des Codes
• Aufgabe 2: Erster Tauchgang in KI (AI初探)
• Aufgabe 3: Abgefackelt (Fackel)
• Aufgabe 4: Freude entfachen
• Aufgabe 5: Ideenfindung und Organisation
• Aufgabe 6: Stabile Diffusion und Forschungsarbeiten

X. Kursprojekt

• Details zum Projekt. Sie werden ein hochmodernes Forschungsprojekt zur Anwendung künstlicher Intelligenz in der Medizin durchführen. Der Kurs gibt eine klar definierte Forschungsrichtung vor, die es Ihnen ermöglicht, eine Forschungsfrage zu formulieren und eine durchgängige Forschung durchzuführen. Sie werden die im Unterricht erlernten Forschungsinstrumente und technischen Fähigkeiten nutzen, um dieses Projekt durchzuführen. Durch dieses Abschlussprojekt werden Sie wertvolle Erfahrungen in der Durchführung echter Forschung im Bereich der medizinischen KI sammeln und ein Projekt vom Konzept bis zum vollständigen Manuskript bearbeiten.

XI. abschließende Bemerkungen (Glückwünsche)

Ich hoffe, dieser Studienkatalog hilft Ihnen! Viel Erfolg bei Ihrem Studium!

Download-Adresse

Dieser Inhalt wurde vom Autor versteckt. Bitte geben Sie den Verifizierungscode ein, um den Inhalt zu sehen.

Captcha:

Bitte beachten Sie diese Website WeChat öffentliche Nummer, Antwort "CAPTCHA, eine Art Challenge-Response-Test (Computer)", erhalten Sie den Verifizierungscode. Suchen Sie in WeChat nach "Chef-KI-Austauschkreis"oder"Looks-AI" oder WeChat, indem Sie die rechte Seite des QR-Codes scannen, können Sie die öffentliche WeChat-Nummer dieser Website aufrufen.