OneFlow Yearbook: 900 páginas de eBooks gratuitos sobre "IA generativa e grandes modelos

É difícil imaginar as incríveis mudanças que teriam ocorrido na IA em 2024 se a Lei de Escalonamento não tivesse desacelerado, mas, por outro lado, você pode ficar feliz que é por causa da desaceleração da Lei de Escalonamento que ela está dando aos participantes mais recentes do setor a chance de se atualizarem e a mais pessoas comuns a chance de participar dessa rodada de revolução tecnológica.

As mudanças na IA estão agitando. Há um ano, a comunidade de IA geralmente acreditava que a maioria dos modelos estava a meio ano ou um ano de distância dos modelos da OpenAI, mas o pré-treinamento de grandes modelos está gradualmente se tornando menos secreto, e sua barreira de entrada está diminuindo em ordens de magnitude. Para grande choque da comunidade tecnológica nacional e internacional, a diferença entre os grandes modelos de código aberto representados por DeepSeek e Qwen e o grande modelo de código fechado GPT 4o diminuiu drasticamente, e ambos os modelos são de equipes de IA chinesas. Enquanto isso, à medida que o desempenho do pré-treinamento de grandes modelos atinge o teto, a inferência é vista como a "segunda curva de crescimento" para a melhoria contínua da capacidade do modelo, e a popularização da tecnologia de IA está se acelerando ainda mais, permitindo que as pessoas desenvolvam com eficiência um aplicativo de IA generativo simplesmente acessando APIs padronizadas ou apenas aproveitando os benefícios da tecnologia de IA. produtos interessantes lançados por exploradores de produtos.

Em 2024, a OneFlow publicou 80 artigos de qualidade, como sempre, documentando e explorando as muitas mudanças no campo da IA generativa e dos grandes modelos. No final do ano, selecionamos mais de 60 artigos e criamos um "anuário" de 900 páginas para cada leitor, esperando ajudá-lo a entender o processo de criação de modelos grandes, o estado atual do setor e as tendências. Essa coleção está dividida em oito seções:Visão geral, fundamentos do Big Model, sem segredos para o treinamento em Big Model, "Segunda curva de crescimento" do Big Model: inferência, mudanças no chip de IA, construção de produtos de IA generativa, análise do setor de IA generativa, desafios e futuro da AGI.

Agradecemos a cada um dos autores por compartilhar abertamente seu conhecimento sobre IA e por inspirar você e a mim, o que é nossa motivação para continuar compilando esse conteúdo aprofundado. Esperamos encontrar aqueles que valem a pena ler em meio à confusão de informações e divulgá-los para o maior número possível de pessoas que desejam aprender e explorar a IA. Se você quiser realmente entender a IA, o atalho mais curto é abrir este presente e mergulhar na leitura. 2025, espere novas surpresas da IA.

I. Visão geral

• Inventário de IA 2024: aumento do investimento, reconfiguração da infraestrutura, aceleração da adoção da tecnologia /4
• As tendências que vejo por trás de 900 ferramentas de IA de código aberto /36

II. Fundamentos de modelos grandes

• Entenda como o LLM funciona usando matemática do ensino médio /49
• Entendendo e codificando o mecanismo de autoatenção do LLM desde o início /78
• Revelando o processo de amostragem do LLM /112
• 50 diagramas para visualizar e entender o grande modelo do especialista misto (MoE) /125
• Criação de um modelo de difusão para geração de vídeo a partir do zero /158
• 10 grandes jogadas ocultas do modelo que mudam todos os dias /174

Terceiro, não há segredo para o treinamento de modelos grandes

• LLaMA 3: um novo prólogo para a batalha dos grandes modelos /177
• Extrapolação dos requisitos de memória da GPU para treinamento do LLM /190
• Revelando estratégias de lote na GPU /200
• A verdade sobre o desempenho por trás da utilização da GPU /205
• Alocação de ponto flutuante para LLM /211
• Otimização do desempenho da multiplicação de matrizes de entrada mista /219
• Eficiência computacional do LLM 10 vezes mais rápida: multiplicação de matrizes com desaparecimento /227
• O maior conjunto de dados de nível superior com código aberto para criar 15 trilhões de tokens /240
• 70B Receita de treinamento de modelo grande 1: criação e avaliação de conjunto de dados /244
• De modelos de metal puro a modelos grandes de 70B ②: configuração de infraestrutura e criação de scripts /270
• 70B Receita de treinamento de modelos grandes III: resultados de 1000 experimentos de otimização de hiperparâmetros /289
• John Schulman, diretor do ChatGPT: O segredo para atualizar grandes modelos /303

IV. modelo grande "segunda curva de crescimento": raciocínio

• O novo campo de batalha da IA generativa: inferência lógica e computação dedutiva /318
• Seleção da estratégia de inferência lógica LLM: computação durante a inferência versus computação durante o treinamento /330
• Explorando a taxa de transferência, a latência e o espaço de custo do raciocínio LLM /345
• Alcançando o raciocínio extremo do LLM a partir do zero /363
• Guia para iniciantes em raciocínio LLM 1: Fases de inicialização e decodificação da geração de texto /402
• Guia para iniciantes em raciocínio LLM ②: Uma análise aprofundada do cache KV /408
• Guia para iniciantes em raciocínio de LLM (3): Criando perfis de desempenho de modelos /429
• Guia de aceleração de raciocínio do LLM /442
• LLM Servindo a maximização da taxa de transferência efetiva /480
• Como avaliar de forma precisa e interpretativa os efeitos quantitativos de modelos grandes? /491
• Avaliação da eficácia quantitativa do LLM: resultados após 500.000 testes empíricos /502
• Guia definitivo de otimização do Stable Diffusion XL /510

V. Mudanças no chip de IA

• Aluguel de H100 por US$ 2/hora: a noite antes do estouro da bolha da GPU /585
• A mais recente exploração da tecnologia de interconexão de GPU: o desaparecimento da parede de memória /600
• Cerebras: Desafiando a NVIDIA, a "mágica" do chip de inferência de IA mais rápido do mundo /614
• 20 vezes mais rápido que as GPUs? Análise de preço/desempenho da inferência d-Matrix /624
• Tecnologia de semicondutores de IA, mercados e o futuro /630
• História, tecnologia e principais participantes do data center de IA /642

VI. construção de produtos com IA generativa

• O primeiro ano da produção de grandes modelos: táticas, operações e estratégia /658
• A OpenAI foi descontinuada, os grandes modelos desenvolvidos internamente podem ser usados livremente! Token de desenvolvedor implementado gratuitamente /691
• Capacidade RAG de contexto longo do LLM medida: gpt-o1 vs. gpt-o2 Gêmeos /699
• Comparação de custo-efetividade de modelo grande: DeepSeek 2.5 vs. DeepSeek 2.5 Claude 3.5 Sonnet vs. GPT-4o /712
• Ferramentas de codificação eficientes para engenheiros 10x: Cursor x SiliconCloud /718
• Supera o Midjourney-v6, executa o Kotaku Kolors sem GPU /723
• Pesquisa de IA A abordagem da Perplexity para a criação de produtos /728
• Por trás da explosão do NotebookLM: principais percepções e inovações em produtos nativos de IA /739
• Forma organizacional da OpenAI, mecanismos de decisão e construção de produtos /750
• Desmontando a plataforma de IA generativa: componentes subjacentes, funcionalidade e implementação /761
• De generalista a especialista: a evolução dos sistemas de IA para IA composta /786

VII Análise do setor de IA generativa

• O código comercial por trás da IA de código aberto /792
• Mistérios e fluxos de capital no mercado de IA /805
• Economia do setor de IA generativa: distribuição de valor e estrutura de lucros /819
• Última pesquisa sobre IA geradora empresarial: gastos com IA aumentam 6 vezes, prevalecem as implementações de vários modelos /829
• Tecnologias de raciocínio de IA generativa, mercados e o futuro /842
• Oportunidades de mercado, concorrência e futuro do negócio de raciocínio de IA generativa /855
• A IA não é outra "bolha da Internet" /864
• As três perspectivas de IA da Sequoia Capital para 2025 /878

VIII Desafios e futuro da AGI

• O mito do dimensionamento da IA /884
• O aumento de escala de modelos grandes é sustentável /891
• O "salto crítico" da GenAI: raciocínio e conhecimento /904
• Os grilhões do raciocínio lógico do LLM e as estratégias para rompê-los /924
• Revisitando as três falácias do raciocínio lógico do LLM /930
• Richard Sutton, o pai da aprendizagem por reforço: o próximo paradigma na pesquisa de AGI /937
• Richard Sutton, o pai do aprendizado por reforço: outra possibilidade para a AGI /949

https://siliconflow.feishu.cn/file/OSZtbnfYQoa4nBxuQ7Kcwpjwnpf