Harvard CS197: AI Research Experiences PDF Descargar

Instructor del curso. Dr. Pranav Rajpurkar (Profesor Adjunto, Universidad de Harvard)

Resumen del curso. Este curso le llevará a una inmersión profunda en herramientas de desarrollo de IA de vanguardia como PyTorch, Lightning y Hugging Face, y optimizará su flujo de trabajo utilizando VSCode, Git y Conda. Aprenderá a aprovechar la potencia de computación en la nube de AWS y Colab para entrenar modelos de aprendizaje profundo a gran escala con aceleración GPU ultrarrápida. Además, dominará las mejores prácticas para gestionar un gran número de experimentos utilizando pesos y sesgos. Este curso también te enseñará a leer sistemáticamente artículos de investigación, generar nuevas ideas y presentarlas en diapositivas o documentos. Incluso aprenderá valiosas habilidades de gestión de proyectos y comunicación en equipo utilizadas por los mejores investigadores de IA.

Objetivos del curso.

• Dominio de las herramientas y técnicas utilizadas habitualmente en la investigación sobre IA.
• Capacidad para realizar búsquedas bibliográficas, leer y resumir artículos de investigación sobre IA.
• Capacidad para utilizar diversos marcos y bibliotecas para el desarrollo, la formación y la evaluación de modelos.
• Capacidad para realizar la gestión de experimentos, búsquedas de hiperparámetros y comparaciones del rendimiento de los modelos.
• Capacidad para generar, iterar y evaluar ideas de investigación.
• Capacidad para redactar y organizar trabajos de investigación y producir diapositivas de alta calidad.
• Capacidad para trabajar eficazmente en equipo y gestión de proyectos.

Catálogo de cursos.

I. Introducción y fundamentos del programa (Capítulos 1-2, 59 páginas)

• Capítulo 1: Tú completas mis bocadillos - Avances apasionantes con modelos lingüísticos de IA
  • Objetivos de aprendizaje:
    • Interactúe con los modelos lingüísticos mediante el aprendizaje cero y de muestras pequeñas para probar sus capacidades.
    • Cree aplicaciones sencillas utilizando las funciones de completado de texto de GPT-3 y de generación de código de Codex.
    • Comprender la tendencia nociva del modelado lingüístico a reflejar potencialmente los prejuicios sociales.
  • Notas correspondientes: Harvard CS197 Lecture 1 Notes
• Capítulo 2: El zen de Python - Fundamentos de ingeniería de software
  • Objetivos de aprendizaje:
    • Edita eficientemente la base de código Python utilizando el editor VSCode.
    • Dominio del uso de Git y Conda en los flujos de trabajo de codificación.
    • Utilice puntos de interrupción y puntos de registro para depurar, no sentencias de impresión.
    • Utiliza linting para encontrar errores y mejorar el estilo del código Python.
  • Notas correspondientes: Harvard CS197 Lecture 2 Notes

II. Lectura bibliográfica y puesta a punto de los modelos (Capítulos 3-4, 41 páginas)

• Capítulo 3: A hombros de gigantes - Lectura de trabajos de investigación sobre IA
  • Objetivos de aprendizaje:
    • Realice una búsqueda bibliográfica para identificar artículos relacionados con el tema de interés.
    • Lea artículos de investigación sobre aprendizaje automático y resuma sus aportaciones.
    • Resumir el trabajo previo en un área determinada.
  • Notas correspondientes: Harvard CS197 Lecture 3 Notes
• Capítulo 4: En sintonía con las manos del jazz: perfeccionamiento de un modelo lingüístico mediante el abrazo facial
  • Objetivos de aprendizaje:
    • Utilice la biblioteca de conjuntos de datos para cargar y procesar conjuntos de datos de procesamiento del lenguaje natural.
    • Segmentar una secuencia de texto y comprender los pasos utilizados en la segmentación.
    • Construcción de conjuntos de datos y pasos de entrenamiento para la modelización causal del lenguaje.
  • Notas correspondientes: Harvard CS197 Lecture 4 Notes

III. PyTorch Deep Dive con Visual Transformer (Capítulos 5-7, 33 páginas)

• Capítulo 5: Lightning McTorch - Puesta a punto de un transformador de visión mediante rayos
  • Objetivos de aprendizaje:
    • Interactúe con el código para explorar la carga de datos de imágenes y la tokenización para su uso con el Transformador Visual.
    • Parseo del código de la arquitectura PyTorch y de los módulos utilizados para construir el Transformador Visual.
    • Familiaridad con ejemplos de flujos de trabajo de formación utilizando PyTorch Lightning.
  • Notas correspondientes: Harvard CS197 Lecture 5 Notes
• Capítulo 6-7: Moonwalking with PyTorch - Solidificando los fundamentos de PyTorch
  • Objetivos de aprendizaje:
    • Realiza operaciones tensoriales en PyTorch.
    • Comprensión de la propagación hacia delante y hacia atrás en redes neuronales en el contexto de Autograd.
    • Detección de problemas comunes en el código de entrenamiento de PyTorch.
  • Notas correspondientes: Harvard CS197 Lecture 6 & 7 Notes

IV. Gestión de experimentos y búsqueda hiperparamétrica (Capítulos 8-9, 22 páginas)

• Capítulo 8-9: Organización de experimentos Sparks Joy - Organising Model Training with Weights & Biases and Hydra (Organización de experimentos Sparks Joy - Organización del entrenamiento de modelos con pesos y sesgos e Hydra) Hydra)
  • Objetivos de aprendizaje:
    • Gestione el registro y seguimiento de experimentos a través de Pesos y Sesgos.
    • Realice una búsqueda hiperparamétrica utilizando Barridos de Pesos y Sesgos.
    • Gestione configuraciones complejas con Hydra.
  • Notas correspondientes: Harvard CS197 Lecture 8 & 9 Notes

V. Ideas de investigación y redacción de ensayos (Capítulos 10-13, 23 páginas)

• Capítulos 10-11: Soñé un sueño - Un marco para generar ideas de investigación
  • Objetivos de aprendizaje:
    • Identifique las lagunas del trabajo de investigación, incluida la pregunta de investigación, el montaje experimental y los resultados.
    • Generar ideas a partir del trabajo de investigación, considerando la tarea de interés, la estrategia de evaluación y los elementos de la metodología propuesta.
    • Itere sus ideas para mejorar su calidad.
  • Notas correspondientes: Harvard CS197 Lecture 10 & 11 Notes
• Capítulos 12-13: Hoy ha sido un cuento de hadas - Estructuración de un trabajo de investigación
  • Objetivos de aprendizaje:
    • Deconstrucción de los elementos de un trabajo de investigación y su orden.
    • Documentar la estructura global y local de la redacción de trabajos de investigación.
  • Notas correspondientes: Harvard CS197 Lecture 12 & 13 Notes

VI. Aprendizaje profundo y ajuste de modelos en la nube (capítulos 14-17, 31 páginas)

• Capítulos 14-15: Deep Learning on Cloud Nine - AWS EC2 for Deep Learning: Setup, Optimisation, and Hands-on Training with CheXzero (Aprendizaje profundo en la nube nueve - AWS EC2 para el aprendizaje profundo: configuración, optimización y capacitación práctica con CheXzero) Learning on AWS EC2: Setup, Optimisation, and Hands-on Training with CheXzero) (Aprendizaje profundo en Cloud Nine - AWS EC2 para aprendizaje profundo: configuración, optimización y formación práctica con CheXzero)
  • Objetivos de aprendizaje:
    • Aprenda a configurar y conectarse a una instancia de AWS EC2 para el aprendizaje profundo.
    • Aprenda a modificar el código de aprendizaje profundo para utilizar la GPU.
    • Adquiera experiencia práctica en la ejecución del proceso de formación de modelos utilizando una base de código real.
  • Notas correspondientes: Harvard CS197 Lecture 14 & 15 Notes
• Capítulos 16-17: Haga realidad sus sueños - Ponga a punto su modelo de difusión estable
  • Objetivos de aprendizaje:
    • Cree y ajuste modelos de difusión estable utilizando el cuaderno de plantillas Dreambooth.
    • Uso de la aceleración de AWS para entrenar modelos de difusión estable mediante GPU.
    • Utilice bases de código desconocidas y nuevas herramientas, como Dreambooth, Colab, Accelerate y Gradio, sin tener que sumergirse en ellas.
  • Notas correspondientes: Harvard CS197 Lecture 16 & 17 Notes

VII. Eficacia de la investigación y trabajo en equipo (Capítulos 18-19, página 19)

• Capítulo 18: Potenciar la productividad en la investigación: consejos para gestionar el tiempo y los esfuerzos
  • Objetivos de aprendizaje:
    • Aprenda a utilizar las reuniones de actualización y las sesiones de trabajo para mantenerse en la misma línea y avanzar en los proyectos.
    • Aprenda a utilizar diversas herramientas y técnicas para mejorar la comunicación en equipo y la organización de proyectos.
    • Aprender estrategias para organizar el trabajo en proyectos, teniendo en cuenta las fases de un proyecto y las distintas tareas que conlleva.
  • Notas correspondientes: Harvard CS197 Lecture 18 Notes
• Capítulo 19: El ninja de la IA: avances e impacto en la investigación sobre IA
  • Objetivos de aprendizaje:
    • Aprenda a progresar de forma constante en su investigación, incluida la gestión de las relaciones con los supervisores y el desarrollo de habilidades.
    • Conozca mejor cómo aumentar el impacto de su trabajo.
  • Notas correspondientes: Harvard CS197 Lecture 19 Notes

VIII. Producción de diapositivas y pruebas estadísticas (Capítulos 20-21, 25 páginas)

• Capítulo 20: Consejos para crear diapositivas de alta calidad
  • Objetivos de aprendizaje:
    • Aplicar los principios clave del enfoque afirmación-evidencia para crear diapositivas de presentación eficaces.
    • Identificar los errores más comunes en las típicas presentaciones de diapositivas y las estrategias para evitarlos.
    • Aplique las técnicas aprendidas en esta conferencia a ejemplos reales de diapositivas de presentaciones de investigación para mejorar su eficacia.
  • Notas correspondientes: Harvard CS197 Lecture 20 Notes
• Capítulo 21: Enfrentamiento de modelos - Pruebas estadísticas para comparar el rendimiento de los modelos
  • Objetivos de aprendizaje:
    • Conozca las distintas pruebas estadísticas que pueden utilizarse para comparar modelos de aprendizaje automático, como la prueba de McNemar, las pruebas t pareadas y los métodos bootstrap.
    • La capacidad de aplicar estas pruebas estadísticas en Python para evaluar el rendimiento de dos modelos en el mismo conjunto de pruebas.
    • Capacidad para seleccionar las pruebas adecuadas para un problema de investigación determinado, incluidas las pruebas de superioridad, no inferioridad y equivalencia estadísticas.
  • Notas correspondientes: Harvard CS197 Lecture 21 Notes

Asignaciones

• Tarea 1: El lenguaje del código
• Tarea 2: Primera inmersión en la IA (IA)
• Asignación 3: Torched (Antorcha)
• Tarea 4: Despertar la alegría
• Tarea 5: Ideación y organización
• Tarea 6: Difusión estable y operaciones de investigación

X. Proyecto de curso

• Detalles del proyecto. Construirá un proyecto de investigación de vanguardia aplicando la inteligencia artificial a la medicina. El curso proporciona una dirección de investigación claramente definida, que le permitirá formular una pregunta de investigación y llevar a cabo una investigación de principio a fin. Utilizará las herramientas de investigación y las habilidades técnicas aprendidas en clase para completar este proyecto. A partir de este proyecto final, adquirirá una valiosa experiencia en la realización de una investigación real en IA médica y manejará un proyecto desde el concepto hasta el manuscrito completo.

XI. Observaciones finales (Enhorabuena)

¡Espero que este catálogo de estudios te ayude! ¡Buena suerte con sus estudios!

descargar dirección

1735613715-Harvard CS197_ Experiencias de investigación en IA - El libro del curso