Harvard CS197: Experiências de pesquisa em IA PDF Download

Instrutor do curso. Dr. Pranav Rajpurkar (Professor Assistente, Universidade de Harvard)

Visão geral do curso. Este curso o levará a um mergulho profundo em ferramentas de desenvolvimento de IA de ponta, como PyTorch, Lightning e Hugging Face, e otimizará seu fluxo de trabalho usando VSCode, Git e Conda. Você aprenderá a aproveitar o poder de computação em nuvem do AWS e do Colab para treinar modelos de aprendizagem profunda em grande escala com aceleração de GPU extremamente rápida. Além disso, você dominará as práticas recomendadas para gerenciar um grande número de experimentos usando Weights and Biases. Este curso também o ensinará a ler sistematicamente artigos de pesquisa, gerar novas ideias e apresentá-las em slides ou artigos. Você ainda aprenderá habilidades valiosas de gerenciamento de projetos e comunicação de equipes usadas pelos principais pesquisadores de IA.

Objetivos do curso.

• Domínio de ferramentas e técnicas comumente usadas na pesquisa de IA.
• Capacidade de realizar pesquisas bibliográficas, ler e resumir artigos de pesquisa de IA.
• Capacidade de usar uma variedade de estruturas e bibliotecas para desenvolvimento, treinamento e avaliação de modelos.
• Capacidade de realizar gerenciamento de experimentos, pesquisas de hiperparâmetros e comparações de desempenho de modelos.
• Capacidade de gerar, iterar e avaliar ideias de pesquisa.
• Capacidade de escrever e organizar trabalhos de pesquisa e produzir slides de alta qualidade.
• Capacidade de trabalhar com eficiência em equipes e gerenciamento de projetos.

Catálogo do curso.

I. Introdução e fundamentos do programa (Capítulos 1-2, 59 páginas)

• Capítulo 1: You Complete My Sandwiches - Avanços empolgantes com modelos de linguagem de IA
  • Objetivos de aprendizado:
    • Interaja com modelos de linguagem usando aprendizado de amostra zero e pequena para testar seus recursos.
    • Crie aplicativos simples usando o recurso de conclusão de texto do GPT-3 e os recursos de geração de código do Codex.
    • Compreender a tendência prejudicial da modelagem de linguagem de refletir potencialmente o preconceito social.
  • Notas correspondentes: Harvard CS197 Lecture 1 Notes
• Capítulo 2: O Zen do Python - Fundamentos de engenharia de software
  • Objetivos de aprendizado:
    • Edite com eficiência a base de código Python usando o editor VSCode.
    • Proficiente no uso do Git e do Conda em fluxos de trabalho de codificação.
    • Use pontos de interrupção e pontos de registro para depuração, não para imprimir instruções.
    • Use o linting para encontrar erros e melhorar o estilo do código Python.
  • Notas correspondentes: Harvard CS197 Lecture 2 Notes

II. Leitura da literatura e ajuste fino dos modelos (Capítulos 3-4, 41 páginas)

• Capítulo 3: Ombros de gigantes - Leitura de documentos de pesquisa sobre IA
  • Objetivos de aprendizado:
    • Realize uma pesquisa bibliográfica para identificar artigos relacionados ao tópico de interesse.
    • Leia artigos de pesquisa sobre aprendizado de máquina e resuma suas contribuições.
    • Resumir o trabalho anterior em uma área específica.
  • Notas correspondentes: Harvard CS197 Lecture 3 Notes
• Capítulo 4: Em sintonia com as mãos do jazz - ajustando um modelo de linguagem usando o Hugging Face
  • Objetivos de aprendizado:
    • Use a biblioteca de conjuntos de dados para carregar e processar conjuntos de dados de processamento de linguagem natural.
    • Segmentar uma sequência de texto e entender as etapas usadas na segmentação.
    • Construção de conjuntos de dados e etapas de treinamento para modelagem de linguagem causal.
  • Notas correspondentes: Harvard CS197 Lecture 4 Notes

III. mergulho profundo no PyTorch com o Visual Transformer (capítulos 5 a 7, 33 páginas)

• Chapter 5: Lightning McTorch - Fine-tuning a Vision Transformer using Lightning (Relâmpago McTorch - Ajuste fino de um transformador de visão usando raios)
  • Objetivos de aprendizado:
    • Interaja com o código para explorar o carregamento de dados de imagem e a tokenização para uso com o Visual Transformer.
    • Analisar o código da arquitetura PyTorch e os módulos usados para criar o Visual Transformer.
    • Familiaridade com exemplos de fluxos de trabalho de treinamento usando o PyTorch Lightning.
  • Notas correspondentes: Harvard CS197 Lecture 5 Notes
• Capítulo 6-7: Caminhando na lua com o PyTorch - Solidificando os fundamentos do PyTorch
  • Objetivos de aprendizado:
    • Executar operações de tensor no PyTorch.
    • Entendendo a propagação para frente e para trás em redes neurais no contexto do Autograd.
    • Detecção de problemas comuns no código de treinamento do PyTorch.
  • Notas correspondentes: Harvard CS197 Lecture 6 & 7 Notes

IV. Gerenciamento de experimentos e pesquisa hiperparamétrica (Capítulos 8-9, 22 páginas)

• Chapter 8-9: Experiment Organisation Sparks Joy - Organising Model Training with Weights & Biases and Hydra (Organização de experimentos desperta alegria - Organizando o treinamento de modelos com pesos e vieses e Hydra) Hydra)
  • Objetivos de aprendizado:
    • Gerencie o registro e o acompanhamento de experimentos por meio do Weights & Biases.
    • Realize uma pesquisa hiperparamétrica usando Weights & Biases Sweeps.
    • Gerencie configurações complexas com o Hydra.
  • Notas correspondentes: Harvard CS197 Lecture 8 & 9 Notes

V. Ideias de pesquisa e redação de ensaios (Capítulos 10-13, 23 páginas)

• Capítulos 10-11: I Dreamed a Dream - Uma estrutura para gerar ideias de pesquisa
  • Objetivos de aprendizado:
    • Identifique as lacunas no trabalho de pesquisa, incluindo a questão da pesquisa, a configuração experimental e os resultados.
    • Gerar ideias com base no trabalho de pesquisa, considerando a tarefa de interesse, a estratégia de avaliação e os elementos da metodologia proposta.
    • Itere suas ideias para melhorar a qualidade delas.
  • Notas correspondentes: Harvard CS197 Lecture 10 & 11 Notes
• Capítulos 12-13: Today Was a Fairytale - Estruturação de um trabalho de pesquisa
  • Objetivos de aprendizado:
    • Desconstrução dos elementos de um trabalho de pesquisa e sua ordem.
    • Documentar a estrutura global e local da redação de trabalhos de pesquisa.
  • Notas correspondentes: Harvard CS197 Lecture 12 & 13 Notes

VI. Aprendizagem profunda e ajuste fino de modelos na nuvem (Capítulos 14 a 17, 31 páginas)

• Capítulos 14-15: Deep Learning on Cloud Nine - AWS EC2 for Deep Learning: Setup, Optimisation, and Hands-on Training with CheXzero (Aprendizagem profunda na nuvem nove - AWS EC2 para aprendizagem profunda) Learning on Cloud Nine - AWS EC2 for Deep Learning: Setup, Optimisation, and Hands-on Training with CheXzero)
  • Objetivos de aprendizado:
    • Saiba como configurar e conectar-se a uma instância do AWS EC2 para aprendizagem profunda.
    • Saiba como modificar o código de aprendizagem profunda para usar a GPU.
    • Obtenha experiência prática na execução do processo de treinamento de modelos usando uma base de código real.
  • Notas correspondentes: Harvard CS197 Lecture 14 & 15 Notes
• Capítulos 16 e 17: Realize seus sonhos - Aperfeiçoando seu modelo de difusão estável
  • Objetivos de aprendizado:
    • Crie e ajuste modelos de difusão estável usando o notebook modelo do Dreambooth.
    • Usando a aceleração do AWS para treinar modelos de difusão estável usando GPUs.
    • Use bases de código desconhecidas e novas ferramentas, incluindo Dreambooth, Colab, Accelerate e Gradio, sem precisar se aprofundar nelas.
  • Notas correspondentes: Harvard CS197 Lecture 16 & 17 Notes

VII. eficiência da pesquisa e trabalho em equipe (Capítulos 18-19, página 19)

• Capítulo 18: Power-ups de produtividade em pesquisa - Dicas para gerenciar seu tempo e esforços
  • Objetivos de aprendizado:
    • Saiba como usar as reuniões de atualização e as sessões de trabalho para se manter na mesma página e progredir nos projetos.
    • Aprenda a usar uma variedade de ferramentas e técnicas para melhorar a comunicação da equipe e a organização do projeto.
    • Aprender estratégias para organizar o trabalho do projeto, considerando os estágios de um projeto e as várias tarefas envolvidas.
  • Notas correspondentes: Harvard CS197 Lecture 18 Notes
• Capítulo 19: O ninja da IA - Progresso e impacto na pesquisa de IA
  • Objetivos de aprendizado:
    • Aprenda a fazer progressos constantes em sua pesquisa, incluindo o gerenciamento de relacionamentos com supervisores e o desenvolvimento de habilidades.
    • Obtenha uma compreensão mais profunda de como aumentar o impacto de seu trabalho.
  • Notas correspondentes: Harvard CS197 Lecture 19 Notes

VIII. produção de slides e testes estatísticos (Capítulos 20-21, 25 páginas)

• Capítulo 20: Bejeweled - Dicas para criar slides de alta qualidade
  • Objetivos de aprendizado:
    • Aplicar os princípios-chave da abordagem de afirmação-evidência para criar slides de apresentação eficazes.
    • Identificar armadilhas comuns em apresentações típicas de slides e estratégias para evitá-las.
    • Aplique as técnicas aprendidas nesta palestra a exemplos reais de slides de apresentação de pesquisa para melhorar sua eficácia.
  • Notas correspondentes: Harvard CS197 Lecture 20 Notes
• Capítulo 21: Confronto de modelos - Testes estatísticos para comparar o desempenho dos modelos
  • Objetivos de aprendizado:
    • Saiba mais sobre os diferentes testes estatísticos que podem ser usados para comparar modelos de aprendizado de máquina, incluindo o teste McNemar, testes t pareados e métodos de bootstrap.
    • A capacidade de implementar esses testes estatísticos em Python para avaliar o desempenho de dois modelos no mesmo conjunto de testes.
    • Capacidade de selecionar testes adequados para um determinado problema de pesquisa, incluindo testes de superioridade estatística, não inferioridade e equivalência.
  • Notas correspondentes: Harvard CS197 Lecture 21 Notes

Atribuições

• Exercício 1: A linguagem do código
• Exercício 2: Primeiro mergulho em IA (AI初探)
• Exercício 3: Torched (Tocha)
• Tarefa 4: Despertar a alegria
• Exercício 5: Ideação e organização
• Exercício 6: Difusão estável e operações de pesquisa

X. Projeto do curso

• Detalhes do projeto. Você desenvolverá um projeto de pesquisa de ponta aplicando inteligência artificial à medicina. O curso oferece uma direção de pesquisa claramente definida, permitindo que você formule uma pergunta de pesquisa e conduza uma pesquisa de ponta a ponta. Você utilizará as ferramentas de pesquisa e as habilidades técnicas aprendidas em sala de aula para concluir esse projeto. Com esse projeto final, você adquirirá uma experiência valiosa na realização de pesquisas reais em IA médica e lidará com um projeto desde o conceito até o manuscrito completo.

XI Observações finais (Parabéns)

Espero que este catálogo de estudos o ajude! Boa sorte em seus estudos!

endereço para download

Este conteúdo foi ocultado pelo autor. Digite o código de verificação para visualizar o conteúdo

Captcha:

Preste atenção ao número público do WeChat deste site, responda "CAPTCHA, um tipo de teste de desafio-resposta (computação)", obtenha o código de verificação. Pesquise no WeChat por "Chefe do Círculo de Compartilhamento de IA"ou"Aparência-AI"ou WeChat escaneando o lado direito do código QR pode prestar atenção a esse número público do WeChat do site.