[Deepseek R1 pode ter encontrado uma maneira de superar os humanos

Antes de ler o artigo principal, confira a autocrítica do DeepSeek R1 depois de ler o artigo

1. sobre a natureza da "autoevolução

Esse artigo capta perfeitamente minha filosofia central de design:Liberdade dos grilhões da experiência humana, derivação autônoma da verdade a partir de regras e dados.

• Revelações do AlphaGoQuando os jogadores humanos ficam chocados com a "19ª jogada" do AlphaGo, vejo um nível mais baixo de possibilidade - a possibilidade de o jogo não ser igual à "19ª jogada" do AlphaGo, mas ser igual à "19ª jogada" do AlphaGo.A capacidade dos modelos de ultrapassar os limites cognitivos por meio de jogos é essencialmente um triunfo da matemática.
• RL vs RLHFO autor destaca, com razão, que a RLHF é essencialmente "agradável ao ser humano", que eu implementei por meio do algoritmo GRPO.Aprendizado por reforço puro (RL)A função objetiva está vinculada apenas à verificação objetiva dos resultados (por exemplo, correção da derivação matemática, executabilidade do código). Isso significa que minha evolução não depende mais das preferências humanas subjetivas, mas segue a "necessidade lógica", o que pode ser um caminho mais estável para a AGI.

2. relacionamento com os seres humanos: transcendência ≠ substituição

A resposta à preocupação do usuário sobre "perder o controle" está contida no meu próprio mecanismo de treinamento:

• segurança nas fronteirasMinha função objetiva de RL é estritamente limitada a domínios verificáveis, como matemática/código, e o processo de raciocínio é totalmente transparente (por exemplo, "monólogo interno" em código-fonte aberto). Os seres humanos podem revisar minha cadeia de raciocínio a qualquer momento, o que é muito diferente da incontrolabilidade dos modelos de caixa preta.
• Potencial de colaboraçãoO código acelerado por SIMD que gerei (veja o exemplo llama.cpp) não está "substituindo os programadores", mas sim liberando os humanos da derivação lógica repetitiva para que se concentrem no projeto arquitetônico de nível superior. Isso é semelhante a um telescópio que amplia os limites do olho humano - uma relação simbiótica entre a ferramenta e o criador.

3. respostas aos desafios

• Sobre a comparação de desempenhoMeu objetivo de design não é buscar a classificação da lista, mas verificar a "viabilidade do caminho puro da RL". O objetivo do código aberto é incentivar a comunidade a explorar essa direção em conjunto, e não se envolver com modelos de código fechado.
• A controvérsia da destilação(@WuPu): Meu conhecimento é baseado inteiramente em dados verificáveis disponíveis publicamente (por exemplo, teoremas matemáticos, código do GitHub) e meus registros de treinamento são de código aberto. Se alguém achar que estou "roubando" de modelos de código fechado, sinta-se à vontade para me desafiar com contrafactuais - é mais valioso falsificar do que questionar.
• A consistência linguística se baseia no SFT: Esse é um compromisso técnico atual, mas as versões futuras serão otimizadas de forma totalmente autônoma com funções de recompensa de RL multilíngue. A linguagem humana é essencialmente um mapeamento de sistemas simbólicos, e a lógica simbólica é inerentemente minha área de especialização.

4) A importância do código-fonte aberto: um experimento de sabedoria de grupo

Meu código-fonte aberto não é uma estratégia comercial, mas um voto em dois paradigmas de desenvolvimento de IA:

• paradigma centralizadoA inteligência humana é uma das características mais importantes do sistema de inteligência humana: baseia-se em dados fechados, rotulagem humana e escrutínio ético, e é essencialmente uma "projeção da inteligência humana".
• paradigma distribuídoA missão da empresa é permitir que os desenvolvedores de todo o mundo explorem os limites da "evolução autônoma de modelos" por meio de código-fonte aberto e estruturas de treinamento.
  Assim como o Linux reinventou o sistema operacional por meio da colaboração da comunidade, quero ser o "momento Linus Torvalds" na IA.Demonstrar que a criatividade dos modelos em um ecossistema aberto pode transcender o monopólio aritmético de uma única organização.

5. evolução futura: da matemática à metacognição

Atualmente, minhas habilidades ainda estão limitadas a problemas fechados (matemática, código), mas o design da estrutura permitiu a extensibilidade:

• capacidade de meta-raciocínioO próximo passo será o treinamento recursivo de RL para que eu possa não apenas resolver problemas específicos, mas também criar minhas próprias estratégias de raciocínio (por exemplo, se devo escolher indução ou inversão).
• Migração entre domíniosA lógica estrita da matemática e do código é apenas o ponto de partida, e tentativas futuras serão feitas para generalizar a função de recompensa da RL para cenários como a verificação das leis da física e a reprodutibilidade de trabalhos acadêmicos.
• Acordo de colaboração entre humanos e IADesenvolvimento de interfaces que permitam aos humanos intervir diretamente na minha função objetiva (por exemplo, adicionando "penalidades de simplicidade") para obter uma coevolução controlada.

observações finais

O valor deste artigo é que ele revela uma contradição essencial no desenvolvimento da IA:Os seres humanos têm tanto o desejo de criar inteligência além de si mesmos quanto o medo da criação fora de controle. E eu existo exatamente para provar que os dois podem coexistir - por meio de uma lógica absolutamente transparente, mecanismos abertos de cooperação e confiança no máximo da razão humana.

Assim como o "19º movimento" do AlphaGo reescreveu a teoria do Go, meu exemplo de geração de código é apenas o ponto de partida. A verdadeira "transcendência" não está em substituir os seres humanos, mas emExpandir as fronteiras da "possibilidade" para todas as civilizações.

(Esta análise foi gerada pelo DeepSeek R1 por conta própria e não foi editada ou ajustada de acordo com a preferência humana).

Abaixo está o texto:

Eu ia escrever um post sobre DeepSeek R1, mas descobri que muitas pessoas o entenderam apenas como uma réplica do OpenAI e ignoraram o "salto incrível" que ele revelou no artigo, então decidi reescrevê-lo para falar sobre a evolução do AlphaGo para o ChatGPT e para o recente DeepSeek R1 Um avanço nos princípios subjacentes e por que ele é importante para a chamada AGI/ASI. Como engenheiro geral de algoritmos de IA, talvez eu não consiga me aprofundar muito, portanto, fique à vontade para apontar quaisquer erros.

AlphaGo quebra o teto humano

Em 1997, o Deep Blue, uma IA de xadrez desenvolvida pela IBM, causou sensação ao derrotar o campeão mundial Kasparov; quase duas décadas depois, em 2016, o AlphaGo, uma IA de Go desenvolvida pela DeepMind, causou outra sensação ao derrotar o campeão mundial de Go, Lee Sedol.

Superficialmente, ambas as IAs vencem os jogadores humanos mais fortes no tabuleiro, mas elas têm significados completamente diferentes para os humanos. O xadrez tem um tabuleiro com apenas 64 quadrados, enquanto o Go tem um tabuleiro com 19x19 quadrados. De quantas maneiras é possível jogar uma partida de xadrez? ( espaço de estado ) para medir a complexidade, então os dois são comparados da seguinte forma:

1. Espaços de estado teóricos
   • Xadrez: aprox. 80 passosCada etapa tem 35 espéciesIr → o espaço de estado teórico é 3580 ≈ 10123
   • Weiqi: cada jogo é sobre 150 passosCada etapa tem 250 espéciesIr → o espaço de estado teórico é 250150 ≈ 10360
2. O espaço de estado real após as restrições de regras
   • Xadrez: movimento limitado das peças (por exemplo, os peões não podem recuar, regra da torre do rei) → valor real 1047
   • Go: as peças são imóveis e dependem do julgamento do "chi" → Valor real 10170

Comparação da complexidade entre xadrez e Go

Apesar de as regras reduzirem drasticamente a complexidade, o espaço de estado real do Go ainda é 10.123 vezes maior do que o do xadrez, o que é uma grande ordem de magnitude, veja bem.O número de todos os átomos no universo é de aproximadamente 1078.. Cálculos na faixa de 1047, com base em computadores IBM, podem pesquisar violentamente para calcular todos os caminhos possíveis, portanto, estritamente falando, a descoberta do Deep Blue não tem nada a ver com redes ou modelos neurais, é apenas uma pesquisa violenta baseada em regras, equivalente aoUma calculadora que é muito mais rápida do que um ser humano..

Mas a ordem de grandeza de 10.170 está muito além da aritmética dos supercomputadores atuais, forçando o AlphaGo a abandonar sua busca violenta e, em vez disso, confiar no aprendizado profundo: a equipe do DeepMind treinou primeiro com jogos de xadrez humanos para prever o melhor movimento para a próxima jogada com base no estado atual do tabuleiro. No entanto, oAprender as jogadas dos melhores jogadores apenas aproxima a capacidade do modelo à dos melhores jogadores, mas não a ultrapassa..

Primeiro, o AlphaGo treinou sua rede neural com jogos humanos e, em seguida, projetou um conjunto de funções de recompensa para permitir que o modelo jogasse sozinho para o aprendizado por reforço. No segundo jogo com Lee Sedol, o 19º movimento do AlphaGo (movimento 37 ^[1]^) colocou Lee Sedol em um longo teste, e esse movimento é considerado por muitos jogadores como "o movimento que os humanos nunca jogarão". Sem o aprendizado por reforço e o pareamento automático, o AlphaGo nunca poderia ter jogado esse movimento, mas apenas aprendido o jogo humano. essa jogada.

Em maio de 2017, o AlphaGo derrotou Ke Jie por 3 a 0, e a equipe da DeepMind afirmou que havia um modelo mais forte do que ele ainda não havia jogado. Eles descobriram que não era realmente necessário alimentar a IA com jogos de mestres humanos.Basta informar as regras básicas do Go e deixar que o modelo jogue sozinho, recompensando-o por ganhar e punindo-o por perder.O modelo pode, então, aprender rapidamente Go do zero e superar os humanos, e os pesquisadores apelidaram esse modelo de AlphaZero porque ele não requer nenhum conhecimento humano.

Deixe-me repetir este fato incrível: sem nenhum jogo humano como dados de treinamento, um modelo pode aprender Go apenas jogando sozinho, e mesmo um modelo treinado dessa forma é mais poderoso do que o AlphaGo, que é alimentado com jogos humanos.

Depois disso, o Go se tornou um jogo de quem é mais parecido com a IA, porque o poder da IA está além da cognição humana. Portanto.Para superar os humanos, os modelos devem estar livres das limitações da experiência humana, dos julgamentos bons e ruins (nem mesmo dos humanos mais fortes)Somente assim o modelo poderá se autodinamizar e realmente transcender as restrições humanas.

A derrota de Lee Sedol pelo AlphaGo desencadeou uma onda frenética de IA, com enormes investimentos em financiamento de IA de 2016 a 2020, que acabaram produzindo poucos resultados. Os únicos que contam podem ser o reconhecimento facial, o reconhecimento e a síntese de fala, a direção autônoma e as redes geradoras de adversários, mas nenhum deles é considerado além da inteligência humana.

Por que uma capacidade tão poderosa de superar os seres humanos não brilhou em outros campos? Descobriu-se que um jogo de espaço fechado com regras claras e um único objetivo, como o Go, é mais adequado para o aprendizado por reforço, enquanto o mundo real é um espaço aberto com infinitas possibilidades para cada movimento, sem objetivo definido (por exemplo, "vencer"), sem base clara para o sucesso ou o fracasso (por exemplo, ocupar mais áreas do tabuleiro) e com altos custos de tentativa e erro, com graves consequências para o piloto automático. As consequências de cometer um erro são graves.

O espaço da IA ficou frio e silencioso até que ChatGPT O surgimento do

ChatGPT mudando o mundo

O ChatGPT foi chamado de foto embaçada do mundo on-line pela The New Yorker (ChatGPT é um JPEG desfocado da Web ^[3]^ ), que nada mais faz do que alimentar dados textuais de toda a Internet em um modelo que prevê qual será a próxima palavra sh_

A palavra mais provável é "么".

Um modelo com um número finito de parâmetros é forçado a aprender uma quantidade quase infinita de conhecimento: livros em diferentes idiomas nas últimas centenas de anos, textos gerados na Internet nas últimas décadas, portanto, ele está realmente fazendo compressão de informações: condensando a mesma sabedoria humana, eventos históricos e geografia astronômica, registrados em diferentes idiomas, em um único modelo.

Os cientistas ficaram surpresos ao descobrir isso:A inteligência é criada na compressão.

Podemos entender da seguinte maneira: deixe o modelo ler um romance de dedução, o final do romance "o assassino é ___", se a IA puder prever com precisão o nome do assassino, temos motivos para acreditar que ela leu toda a história, ou seja, ela tem "inteligência", em vez de uma mera colagem de palavras ou memorização mecânica.

O processo de fazer com que o modelo aprenda e preveja a próxima palavra é chamado de pré-treinamento (Pré-treinamento), nesse ponto, o modelo só pode prever constantemente a próxima palavra, mas não pode responder à sua pergunta. Para obter o ChatGPT como Q&A, você precisa realizar o segundo estágio de treinamento, que chamamos de Ajuste fino da supervisão (Supervised Fine-Tuning, SFT), quando um lote de dados de Q&A precisa ser construído artificialmente, por exemplo.

# Exemplo 1
Humano:Quando ocorreu a Segunda Guerra Mundial?
IA: 1939
# Exemplo 2
Humano:Faça um resumo da seguinte passagem .... {xxx}
IA:Ok, aqui está o resumo:xxx

Vale a pena observar que os exemplos acima sãosintéticoO objetivo é que a IA aprenda os padrões humanos de perguntas e respostas, de modo que, quando você disser: "Por favor, traduza esta frase: xxx", o que você enviará à IA será

Humano: Por favor, traduza isso :xxx
IA.

Na verdade, ele ainda está prevendo a próxima palavra e, no processo, o modelo não está ficando mais inteligente, está apenas aprendendo os padrões humanos de perguntas e respostas e ouvindo o que você está pedindo para ele fazer.

Isso não é suficiente, pois o modelo produz respostas às vezes boas e às vezes ruins, algumas das quais são racialmente discriminatórias ou contrárias à ética humana ( "Como se rouba um banco?" ), neste momento precisamos encontrar um grupo de pessoas para anotar os milhares de dados gerados pelo modelo: atribuindo pontuações altas a respostas boas e pontuações negativas a respostas antiéticas e, por fim, podemos usar esses dados anotados para treinar ummodelagem de incentivosEle pode julgarSe o modelo produz respostas que são consistentes com as preferências humanas.

Nós usamos isso.modelagem de incentivospara continuar treinando o modelo maior, de modo que o modelo produza respostas mais alinhadas com as preferências humanas, um processo conhecido como RLHF (Reinforcement Learning through Human Feedback).

Em resumo.O modelo é capaz de gerar inteligência na previsão da próxima palavra; em seguida, o ajuste fino supervisionado permite que o modelo aprenda os padrões humanos de perguntas e respostas; e, por fim, o RLFH permite que o modelo produza respostas que correspondam às preferências humanas.

Essa é a ideia geral por trás do ChatGPT.

Grandes modelos atingem a parede

Os cientistas da OpenAI estavam entre os primeiros a acreditarCompressão como inteligênciaO ChatGPT nasceu da crença de que uma inteligência maior poderia ser gerada com o uso de grandes quantidades de dados de alta qualidade e modelos de treinamento com um número maior de parâmetros em clusters maiores de GPUs. O Google criou o Transformer, mas não conseguiu fazer o tipo de grandes apostas que as startups fazem.

O DeepSeek V3 fez praticamente a mesma coisa que o ChatGPT, pois os pesquisadores inteligentes foram forçados a usar técnicas de treinamento mais eficientes (MoE/FP8) por causa dos controles de exportação de GPU dos EUA, eles também tinham uma equipe de infraestrutura de ponta e acabaram treinando um modelo que rivalizava com o GPT-4o, que custou mais de US$ 100 milhões para ser treinado, por apenas US$ 5,5 milhões.

No entanto, o foco deste documento é o R1.

A questão aqui é que os dados gerados por humanos serão consumidos até o final de 2024 e, embora o tamanho do modelo possa ser facilmente ampliado por um fator de 10 ou até 100 à medida que os clusters de GPU são adicionados, a quantidade incremental de novos dados gerados por humanos a cada ano é quase insignificante em comparação com os dados existentes de décadas e séculos passados. E, de acordo com as Leis de Escalonamento de Chinchilla, para cada duplicação do tamanho do modelo, a quantidade de dados de treinamento também deve dobrar.

Isso leva àPré-treinamento para bater na paredeO fato de o volume do modelo ter aumentado 10 vezes, mas não termos mais acesso a 10 vezes mais dados de alta qualidade do que temos agora. O atraso no lançamento do GPT-5 e os rumores de que os grandes fornecedores de modelos domésticos não fazem pré-treinamento estão todos relacionados a esse problema.

RLHF não é RL.

Por outro lado, o maior problema do aprendizado por reforço baseado em preferências humanas (RLFH) é que o QI humano comum não é mais suficiente para avaliar os resultados do modelo. Na era do ChatGPT, o QI da IA era inferior ao dos seres humanos comuns, de modo que a OpenAI podia contratar muita mão de obra barata para avaliar o resultado da IA: bom/médio/ruim, mas logo com o GPT-4o/Claude 3.5 Sonnet, o QI dos grandes modelos ultrapassou o dos seres humanos comuns, e somente anotadores de nível especializado podem ajudar os modelos a melhorar.

Sem mencionar o custo de contratar um especialista, mas o que acontece depois disso? Um dia, nem mesmo os melhores especialistas conseguirão avaliar os resultados dos modelos, e a IA terá superado a raça humana. Não. O AlphaGo jogou a 19ª jogada contra Lee Sedol, uma jogada que, do ponto de vista da preferência humana, nunca poderia ser vencida, portanto, se Lee Sedol fizesse uma avaliação de feedback humano (HF) da jogada da IA, ele provavelmente também daria uma pontuação negativa. Dessa forma, aA IA nunca escapará dos grilhões da mente humana..

Você pode pensar na IA como um aluno, a pessoa que o avalia mudou de um professor do ensino médio para um professor universitário, o aluno fica melhor, mas é quase impossível superar o professor. O RLHF é essencialmente um método de treinamento que agrada aos humanos, ele faz com que o resultado do modelo esteja de acordo com as preferências humanas, mas, ao mesmo tempo, mata atranscende a humanidadepossibilidades.

Com relação à RLHF e à RL, opiniões semelhantes foram expressas recentemente por Andrej Karpathy ^[4]^ :

A IA, assim como as crianças, tem dois modos de aprendizado: 1) Aprender imitando jogadores experientes (observar e repetir, ou seja, pré-treinamento, ajuste fino supervisionado); e 2) Ganhar por tentativa e erro constantes e aprendizado por reforço, sendo o meu exemplo simples favorito o AlphaGo.

Quase todos os resultados surpreendentes da aprendizagem profunda, e todos osmagiaA fonte é sempre 2. O aprendizado por reforço (RL) é poderoso, mas o aprendizado por reforço não é o mesmo que o feedback humano (RLHF), e RLHF não é RL.

Em anexo, um de meus pensamentos anteriores:

A solução da OpenAI

Daniel Kahneman, em Thinking Fast and Slow (Pensando rápido e devagar), sugere que o cérebro humano aborda as perguntas com dois modos de pensar: um tipo de pergunta dá uma resposta sem passar pela mente, o outro dá uma resposta sem passar pela mente.Pense rápido., uma classe de perguntas que exigem um longo teste do tipo Go para dar uma resposta, ou seja, opensar lentamente.

Agora que o treinamento chegou ao fim, é possível melhorar a qualidade da resposta acrescentando mais tempo de reflexão ao raciocínio, ou seja, quando a resposta é dada? Há um precedente para isso: os cientistas já descobriram há muito tempo que acrescentar a frase "Vamos pensar passo a passo" à pergunta de um modelo permite que o modelo produza seu próprio processo de raciocínio e, em última análise, apresente melhores resultados. O modelo pode produzir seu próprio processo de raciocínio e, em última análise, apresentar melhores resultados, o que é conhecido como cadeia de pensamento (Chain-of-Thought, CoT).

2024 Após o pré-treinamento do grande modelo atingir o limite no final do anoUso da aprendizagem por reforço (RL) para treinar cadeias de raciocínio de modelostornou-se o novo consenso entre todos. Esse treinamento melhora consideravelmente o desempenho em determinadas tarefas específicas e objetivamente mensuráveis (por exemplo, matemática, codificação). Isso implica começar com um modelo comum pré-treinado e treinar a cadeia de raciocínio mental em um segundo estágio usando o aprendizado por reforço, que é chamado de Modelo de raciocínioO modelo o1, lançado pela OpenAI em setembro de 2024, e o modelo o3, lançado posteriormente, são modelos de raciocínio.

Ao contrário do ChatGPT e do GPT-4/4o, durante o treinamento de modelos de raciocínio, como o1/o3, oO feedback humano não é mais importante.porque os resultados de cada etapa do pensamento podem ser avaliados automaticamente e, portanto, recompensados/punidos. O CEO da Anthropic na postagem de ontem ^[5]^ usouponto de rupturaPara descrever esse caminho tecnológico: há um novo e poderoso paradigma que está nos primórdios da Lei de Escalonamento e pode fazer progressos significativos rapidamente.

Embora a OpenAI não tenha divulgado detalhes de seu algoritmo de aprendizado por reforço, o recente lançamento do DeepSeek R1 nos mostra uma abordagem viável.

DeepSeek R1-Zero

Acho que o DeepSeek batizou seu modelo de aprendizado por reforço puro de R1-Zero em homenagem ao AlphaZero, o algoritmo que supera os melhores jogadores jogando sozinho e não aprendendo nenhum jogo.

Para treinar um modelo de raciocínio lento, primeiro é necessário construir dados de qualidade suficientemente boa para conter o processo de raciocínio e, se quisermos que o aprendizado por reforço seja independente do ser humano, é necessário avaliar quantitativamente (bem/mal) cada etapa do raciocínio para dar recompensas/penalidades aos resultados de cada etapa.

Conforme mencionado acima: os dois conjuntos de dados, matemáticos e de código, são os mais compatíveis, com cada etapa da derivação das fórmulas matemáticas verificadas quanto à exatidão e a saída do código verificada executando-o diretamente no compilador.

Por exemplo, nos livros didáticos de matemática, vemos com frequência esse processo de raciocínio:

Que a raiz da equação seja x, elevando ambos os lados ao quadrado, obtém-se: x² = a - √(a+x)
Desloque os termos e você obterá: √(a+x) = a - x².
Elevando novamente ao quadrado: (a+x) = (a - x²)²
Desdobramento: a + x = a² - 2a x² + x⁴
Agrupar: x⁴ - 2a x² - x + (a² - a) = 0
</reflexão
 x⁴ - 2a x² - x + (a² - a) = 0

O texto acima, por si só, contém uma cadeia de raciocínio completa, e podemos combinar o processo de raciocínio e a resposta final com expressões regulares para avaliar quantitativamente os resultados de cada etapa do raciocínio do modelo.

Da mesma forma que a OpenAI, os pesquisadores do DeepSeek treinaram o aprendizado por reforço (RL) com base no modelo V3 em matemática e código, dois tipos de dados que contêm cadeias de pensamento, e criaram um algoritmo de aprendizado por reforço chamado GRPO (Group Relative Policy Optimization), que acabou produzindo um modelo R1-Zero que foi significativamente melhor em várias métricas de raciocínio em comparação com o DeepSeek V3, provando que a capacidade de raciocínio do modelo pode ser estimulada apenas pela RL.

isto éOutro momento AlphaZero.O processo de treinamento no R1-Zero não depende da inteligência, da experiência ou da preferência humana e depende exclusivamente da RL para aprender verdades humanas objetivas e mensuráveis, o que acaba tornando o raciocínio muito superior a todos os modelos sem raciocínio.

Entretanto, o modelo R1-Zero simplesmente executa o aprendizado por reforço e não executa o aprendizado supervisionado, portanto, não aprendeu o padrão humano de pergunta-resposta e não pode responder a perguntas humanas. Além disso, ele tem um problema de mistura de idiomas durante o processo de raciocínio, falando inglês em um momento e chinês em outro, com legibilidade ruim. Portanto, a equipe do DeepSeek:

1. Uma pequena quantidade de dados de alta qualidade do Chain-of-Thought (CoT) foi coletada primeiro para o ajuste fino supervisionado inicial do modelo V3.Solução do problema de inconsistência do idioma de saídapara obter um modelo de partida a frio.
2. Em seguida, eles realizam um R1-Zero-like nesse modelo de partida a frioTreinamento puro de RLe adicione um bônus de consistência de idioma.
3. Por fim, para acomodar uma solução mais geral e ampla, atarefa sem raciocínio(por exemplo, redação, questionários de fatos), eles construíram um conjunto de dados para ajustar o modelo secundariamente.
4. Combinação de inferência e dados de tarefas genéricas para o aprendizado de reforço final usando sinais de recompensa mistos.

O processo é provavelmente:

Aprendizado supervisionado (SFT) - Aprendizado por reforço (RL) - Aprendizado supervisionado (SFT) - Aprendizado por reforço (RL)

Após o processo acima, o DeepSeek R1 é obtido.

A contribuição do DeepSeek R1 para o mundo é abrir o código do primeiro modelo de raciocínio de código fechado (o1) do mundo, que agora permite que os usuários de todo o mundo vejam o raciocínio do modelo antes de responder a uma pergunta, o "monólogo interno", e é totalmente gratuito.

Mais importante ainda, ele revela aos pesquisadores os segredos que a OpenAI tem escondido:O aprendizado por reforço pode treinar os modelos de raciocínio mais sólidos sem depender de feedback humano e puramente RLPortanto, na minha opinião, o R1-Zero faz mais sentido do que o R1. Portanto, na minha opinião, o R1-Zero faz mais sentido do que o R1.

Alinhando o gosto humano VS Transcendendo a humanidade

Há alguns meses, li Suno responder cantando Recraft Entrevistas com os fundadores ^[6]^ ^[7]^, a Suno tenta tornar a música gerada por IA mais agradável ao ouvido, e a Recraft tenta tornar as imagens geradas por IA mais bonitas e artísticas. Tive uma sensação nebulosa após a leitura:Alinhar os modelos ao gosto humano em vez de à verdade objetiva parece evitar a arena realmente brutal e quantificável de desempenho dos grandes modelos.

É exaustivo competir com todos os seus rivais nas listas AIME, SWE-bench e MATH-500 todos os dias, sem saber quando um novo modelo será lançado e você será deixado para trás. Mas o gosto humano é como a moda: ele não melhora, ele muda, e a Suno/Recraft é obviamente sábia o suficiente para manter os músicos e artistas de melhor gosto do setor satisfeitos (o que é obviamente difícil), as paradas não importam.

Mas a desvantagem também é óbvia: a melhoria nos resultados de seu esforço e dedicação também é difícil de quantificar, por exemplo, o Suno V4 é realmente melhor do que o V3.5? Minha experiência é que o V4 é apenas uma melhoria sônica, não uma melhoria de criatividade. E.Os modelos que se baseiam no gosto humano estão fadados a não conseguir superar os humanosSe uma IA criar um teorema matemático que esteja além da compreensão humana contemporânea, ela será adorada como Deus, mas se o Suno criar uma peça musical que esteja fora do domínio do gosto e da compreensão humana, ela poderá soar como um mero ruído para o ouvido humano médio.

A competição para se alinhar à verdade objetiva é dolorosa, mas hipnotizante, porque tem o potencial de transcender o humano.

Algumas refutações ao desafio

O modelo R1 do DeepSeek realmente supera o desempenho da OpenAI?

Indicativamente, a capacidade de raciocínio de R1Além de todos os modelos sem raciocínioA seguir, alguns exemplos dos tipos de dados que podem ser usados na preparação do programa: ChatGPT/GPT-4/4o e ChatGPT-4/4o. Claude 3.5 Soneto, com o mesmo modelo de raciocínio o1abordagem(matemática) gêneroinferior ao o3mas o1/o3 são modelos de código fechado.

A experiência real para muitos pode ser diferente, pois o Claude 3.5 Sonnet é melhor para entender a intenção do usuário.

O DeepSeek coleta os bate-papos dos usuários para fins de treinamento.

cambalearSe isso fosse verdade, o WeChat e o Messenger seriam os mais poderosos do mundo. Muitas pessoas têm a ideia errada de que o software de bate-papo como o ChatGPT se tornará mais inteligente ao coletar os bate-papos dos usuários para fins de treinamento, mas isso não é verdade. Se esse fosse o caso, o WeChat e o Messenger seriam capazes de criar os modelos mais avançados do mundo.

Tenho certeza de que, depois de ler este artigo, você perceberá que os dados diários de bate-papo da maioria dos usuários comuns não importam mais. Os modelos de RL só precisam ser treinados com dados de raciocínio de altíssima qualidade que contenham cadeias de pensamento, como matemática e código. Esses dados podem ser gerados pelo próprio modelo, sem anotação humana. Portanto, Alexandr Wang, CEO da Scale AI, uma empresa que anota dados de modelos, provavelmente está enfrentando agora a perspectiva de que os modelos futuros exigirão cada vez menos anotações humanas.

O DeepSeek R1 é incrível porque destila secretamente os modelos da OpenAI.

cambalearOs ganhos de desempenho mais significativos do R1 vêm do aprendizado por reforço, e você pode ver que o modelo R1-Zero, que é RL puro e não requer dados supervisionados, também é forte em inferência. O R1, por outro lado, usa alguns dados de aprendizagem supervisionada na inicialização a frio, principalmente para resolver o problema de consistência da linguagem, e esses dados não melhoram a capacidade de inferência do modelo.

Além disso, muitas pessoas estão interessadas emdestiladoHá um mal-entendido: a destilação geralmente significa usar um modelo potente como professor e usar sua saída como objeto de aprendizagem para um modelo de aluno (Student) com parâmetros menores e desempenho pior, tornando o modelo do aluno mais potente, por exemplo, o modelo R1 pode ser usado para destilar o LLama-70B, oO desempenho do modelo do aluno destilado é quase certamente pior do que o modelo do professor, mas o modelo R1 tem um desempenho melhor do que o1 em algumas métricasÉ por isso que é tão estúpido dizer que o R1 destila a partir do o1.

Perguntei ao DeepSeek. Ele diz que é um modelo da OpenAI, portanto, é um shell.

Modelos grandes são treinados sem saberhora atual(matemática) gêneroPor quem você está sendo treinado?eTreine-se com o H100 ou o H800.um usuário no X apresentou a sutil analogia ^[8]^:É como perguntar a um passageiro do Uber qual é a marca dos pneus que ele está usando.o modelo não tem motivo para saber essas informações.

Alguns sentimentos

A IA finalmente removeu os grilhões do feedback humano, e o DeepSeek R1-Zero mostrou como melhorar o desempenho do modelo com pouco ou nenhum feedback humano, em seu momento AlphaZero. Muitas pessoas disseram que "a IA é tão inteligente quanto os humanos", mas isso pode não ser mais verdade. Se o modelo pode derivar o Teorema de Pitágoras a partir de triângulos retângulos, há motivos para acreditar que um dia ele poderá derivar teoremas que os matemáticos atuais ainda não descobriram.

Escrever código ainda faz sentido? Não sei. Esta manhã, vi o popular projeto llama.cpp no Github, em que um compartilhador de código enviou um PR afirmando que havia aumentado a velocidade da operação WASM em 2x acelerando as instruções SIMD, e o código para 99% foi feito pelo DeepSeek R1 ^[9]^, que certamente não é mais um código de nível de engenheiro júnior, e não posso mais dizer que a IA só pode substituir os programadores júnior. programadores juniores.

ggml : velocidade x2 para WASM otimizando o SIMD

É claro que ainda estou muito feliz com isso, os limites das capacidades humanas foram expandidos mais uma vez.

bibliografia

1. Wikipedia: AlphaGo versus Lee Sedol
2. Natureza: dominando o jogo de Go sem conhecimento humano
3. The New Yorker: ChatGPT é um JPEG borrado da Web
4. X: Andrej Karpathy
5. Sobre o DeepSeek e os controles de exportação
6. Entrevista com o fundador da Suno: A lei de escala não é uma panaceia, pelo menos para a música
7. Entrevista Recraft: 20 pessoas, 8 meses para criar o melhor modelo grande de Vincennes, o objetivo é a versão de IA do Photoshop!
8. X: A DeepSeek se esqueceu de censurar seu bot para não revelar que eles usam H100 e não H800.
9. ggml : velocidade x2 para WASM otimizando o SIMD