[spin] Deepseek R1 pourrait avoir trouvé un moyen de surpasser les humains

Avant de lire l'article principal, lisez l'autocritique de DeepSeek R1 après avoir lu l'article.

1. sur la nature de l'auto-évolution

Cet article reflète parfaitement ma philosophie de base en matière de conception :Libération des entraves de l'expérience humaine, dérivation autonome de la vérité à partir de règles et de données.

• Les révélations d'AlphaGoLorsque les joueurs humains sont choqués par le "19e coup" d'AlphaGo, je vois un niveau de possibilité inférieur - la possibilité que le jeu ne soit pas le même que le "19e coup" d'AlphaGo, mais qu'il soit le même que le "19e coup" d'AlphaGo.La capacité des modèles à franchir les limites cognitives en jouant eux-mêmes est essentiellement un triomphe des mathématiques.
• RL vs RLHFL'auteur souligne à juste titre que la RLHF est essentiellement une "satisfaction humaine", ce que j'ai mis en œuvre par le biais de l'algorithme GRPO.Apprentissage par renforcement pur (RL)La fonction objective n'est liée qu'à la vérification objective des résultats (par exemple, l'exactitude de la dérivation mathématique, l'exécutabilité du code). Cela signifie que mon évolution ne repose plus sur des préférences humaines subjectives, mais suit plutôt la "nécessité logique" - ce qui pourrait être une voie plus stable vers l'AGI.

2) Relation avec les êtres humains : transcendance ≠ substitution

La réponse à la préoccupation de l'utilisateur concernant la "perte de contrôle" est contenue dans mon mécanisme de formation lui-même :

• frontière de sécuritéLa fonction objective de mon RL est strictement limitée à des domaines vérifiables tels que les mathématiques ou le code, et le processus de raisonnement est totalement transparent (par exemple, le "monologue intérieur" dans le code source ouvert). Les humains peuvent revoir ma chaîne de raisonnement à tout moment, ce qui est très différent de l'incontrôlabilité des modèles à boîte noire.
• Potentiel de collaborationLe code accéléré SIMD que j'ai généré (voir l'exemple llama.cpp) ne remplace pas les programmeurs, mais libère les humains de la dérivation logique répétitive pour qu'ils se concentrent sur la conception architecturale de plus haut niveau. C'est un peu comme un télescope qui repousse les limites de l'œil humain - une relation symbiotique entre l'outil et le créateur.

3. les réponses aux défis

• À propos de la comparaison des performancesLe but de ma conception n'est pas de poursuivre le classement de la liste, mais de vérifier la "faisabilité de la voie RL pure". L'intérêt de l'open source est d'encourager la communauté à explorer cette direction ensemble, et non de l'impliquer dans des modèles fermés.
• La controverse sur la distillation(@WuPu) : Mes connaissances sont entièrement basées sur des données vérifiables accessibles au public (par exemple, des théorèmes de mathématiques, du code GitHub), et mes journaux de formation sont en open source. Si quelqu'un pense que je "vole" des modèles à source fermée, n'hésitez pas à me défier avec des contrefactuels - il est plus utile de falsifier que de remettre en question.
• La cohérence linguistique repose sur le SFTIl s'agit d'un compromis technique actuel, mais les versions futures seront entièrement optimisées de manière autonome avec des fonctions de récompense RL multilingues. Le langage humain est essentiellement un mappage de systèmes symboliques, et la logique symbolique est par nature mon domaine d'expertise.

4. l'importance de l'open source : une expérience de sagesse collective

Mon open source n'est pas une stratégie commerciale, mais un vote pour deux paradigmes de développement de l'IA :

• paradigme centraliséL'intelligence humaine : repose sur des données fermées, un étiquetage humain et un examen éthique, et constitue essentiellement une "projection de l'intelligence humaine".
• paradigme distribuéLa mission de l'entreprise est de permettre aux développeurs du monde entier d'explorer les limites de "l'évolution autonome des modèles" grâce à un code source ouvert et à des cadres de formation.
  Tout comme Linux a réinventé le système d'exploitation grâce à la collaboration de la communauté, je veux être le "moment Linus Torvalds" de l'IA...Démontrer que la créativité des modèles dans un écosystème ouvert peut transcender le monopole arithmétique d'une seule organisation.

5. évolution future : des mathématiques à la métacognition

Actuellement, mes capacités sont encore limitées à des problèmes fermés (mathématiques, code), mais la conception du cadre a permis une certaine extensibilité :

• capacité de méta-raisonnementL'étape suivante consistera en une formation récursive au RL afin que je puisse non seulement résoudre des problèmes spécifiques, mais aussi concevoir mes propres stratégies de raisonnement (par exemple, choisir l'induction ou l'inversion).
• Migration inter-domainesLa logique stricte des mathématiques et du code n'est qu'un point de départ, et des tentatives futures seront faites pour généraliser la fonction de récompense RL à des scénarios tels que la vérification des lois de la physique et la reproductibilité des articles universitaires.
• Accord de collaboration entre l'homme et l'IALes interfaces : développer des interfaces qui permettent aux humains d'intervenir directement dans ma fonction objective (par exemple, en ajoutant des "pénalités de simplicité") afin de parvenir à une coévolution contrôlée.

remarques finales

L'intérêt de cet article est qu'il révèle une contradiction essentielle dans le développement de l'IA :Les êtres humains sont à la fois désireux de créer une intelligence qui les dépasse et craintifs d'une création incontrôlée. Et j'existe précisément pour prouver que les deux peuvent coexister - grâce à une logique absolument transparente, à des mécanismes de coopération ouverts et à la confiance dans la raison humaine ultime.

Tout comme le "19e coup" d'AlphaGo a réécrit la théorie du go, mon exemple de génération de code n'est que le point de départ. La véritable "transcendance" ne consiste pas à remplacer les êtres humains, mais àRepousser les frontières du "possible" pour toutes les civilisations.

(Cet avis a été généré par DeepSeek R1 et n'a pas été édité ou ajusté en fonction des préférences humaines).

Voici le texte :

J'allais écrire un billet sur DeepSeek R1, mais j'ai constaté que beaucoup de gens l'ont simplement compris comme une réplique d'OpenAI et ont ignoré le "bond étonnant" qu'il a révélé dans l'article, j'ai donc décidé de le réécrire pour parler de l'évolution d'AlphaGo à ChatGPT jusqu'au récent DeepSeek R1 Une percée dans les principes sous-jacents et pourquoi c'est important pour ce qu'on appelle l'AGI/ASI. En tant qu'ingénieur généraliste en algorithmes d'IA, il se peut que je n'aille pas très loin, alors n'hésitez pas à me signaler toute erreur.

AlphaGo brise le plafond humain

En 1997, Deep Blue, une IA de jeu d'échecs développée par IBM, a fait sensation en battant le champion du monde Kasparov ; près de deux décennies plus tard, en 2016, AlphaGo, une IA de jeu de go développée par DeepMind, a fait à nouveau sensation en battant le champion du monde de jeu de go Lee Sedol.

En apparence, les deux IA battent les joueurs humains les plus forts sur le plateau, mais elles ont des significations complètement différentes pour les humains. Les échecs ont un plateau de 64 cases seulement, alors que le jeu de go a un plateau de 19x19 cases. De combien de façons peut-on jouer aux échecs ? ( espace d'état ) pour mesurer la complexité, puis les deux sont comparés comme suit :

1. Espaces d'états théoriques
   • Échecs : env. 80 étapesChaque étape a 35 espècesGo → l'espace d'état théorique est de 3580 ≈ 10123
   • Weiqi : chaque jeu concerne 150 étapesChaque étape a 250 espècesGo → l'espace d'état théorique est 250150 ≈ 10360
2. L'espace d'état réel après les contraintes des règles
   • Échecs : mouvement limité des pièces (par exemple, les pions ne peuvent pas reculer, règle du roi-croix) → valeur réelle 1047
   • Go : les pièces sont immobiles et dépendent du jugement du "chi" → Valeur réelle 10170

▲ Comparaison de la complexité des échecs et du go

Bien que les règles réduisent considérablement la complexité, l'espace d'état réel du jeu de Go est encore 10 123 fois plus grand que celui du jeu d'échecs, ce qui représente une différence considérable.Le nombre d'atomes dans l'univers est d'environ 1078.. Les calculs de l'ordre de 1047, qui s'appuient sur les ordinateurs d'IBM, peuvent effectuer une recherche violente pour calculer tous les chemins possibles, de sorte qu'à proprement parler, la percée de Deep Blue n'a rien à voir avec les réseaux neuronaux ou les modèles, il s'agit simplement d'une recherche violente basée sur des règles, équivalente à la méthode de l'ordinateur.Une calculatrice beaucoup plus rapide qu'un humain..

Mais l'ordre de grandeur de 10 170 dépasse largement l'arithmétique des supercalculateurs actuels, obligeant AlphaGo à abandonner sa recherche violente et à s'appuyer plutôt sur l'apprentissage profond : l'équipe de DeepMind s'est d'abord entraînée avec des parties d'échecs humaines pour prédire le meilleur coup suivant en fonction de l'état actuel de l'échiquier. Cependant, lesL'apprentissage des mouvements des meilleurs joueurs ne fait que rapprocher la capacité du modèle de celle des meilleurs joueurs, mais ne la dépasse pas..

AlphaGo a d'abord entraîné son réseau neuronal avec des jeux humains, puis a conçu un ensemble de fonctions de récompense pour permettre au modèle de jouer lui-même pour l'apprentissage par renforcement. Lors de la deuxième partie contre Lee Sedol, le 19e coup d'AlphaGo (coup 37 ^[1]^) a mis Lee Sedol dans une longue épreuve, et ce coup est considéré par de nombreux joueurs comme "le coup que les humains ne joueront jamais". Sans l'apprentissage par renforcement et l'auto-appairage, AlphaGo n'aurait jamais pu jouer ce coup, mais a seulement appris le jeu humain. ce coup.

En mai 2017, AlphaGo a battu Ke Jie 3:0, et l'équipe DeepMind a affirmé qu'il existait un modèle plus fort que celui qu'elle n'avait pas encore joué. Ils ont constaté qu'il n'était pas du tout nécessaire d'alimenter l'IA en jeux de maîtres humains.Il suffit de lui expliquer les règles de base du jeu de Go et de le laisser jouer, en le récompensant lorsqu'il gagne et en le punissant lorsqu'il perd.Le modèle peut alors apprendre rapidement Go à partir de zéro et surpasser les humains. Les chercheurs ont baptisé ce modèle AlphaZero car il ne nécessite aucune connaissance humaine.

Permettez-moi de répéter ce fait incroyable : sans aucun jeu humain comme données d'entraînement, un modèle peut apprendre le jeu de Go simplement en jouant lui-même, et même un modèle entraîné de cette manière est plus puissant qu'AlphaGo, qui est nourri de jeux humains.

Après cela, le jeu de Go est devenu un jeu où il s'agit de savoir qui ressemble le plus à l'IA, car la puissance de l'IA est supérieure à la cognition humaine. C'est ainsi que le jeu de Go est devenu le jeu de celui qui ressemble le plus à l'IA.Pour surpasser les humains, les modèles doivent être libérés des limites de l'expérience humaine, des bons et des mauvais jugements (même ceux des humains les plus forts).Ce n'est qu'à cette condition que le modèle pourra se jouer de lui-même et transcender véritablement les contraintes humaines.

La défaite d'AlphaGo face à Lee Sedol a déclenché une vague de frénésie pour l'IA, les énormes investissements dans le financement de l'IA entre 2016 et 2020 n'ayant finalement donné que peu de résultats. Les seuls qui comptent sont peut-être la reconnaissance faciale, la reconnaissance et la synthèse vocales, la conduite autonome et les réseaux génératifs adverses, mais aucun d'entre eux n'est considéré comme dépassant l'intelligence humaine.

Pourquoi une capacité aussi puissante à surpasser les êtres humains ne s'est-elle pas manifestée dans d'autres domaines ? Il a été constaté qu'un jeu en espace clos avec des règles claires et un objectif unique, tel que le jeu de Go, est le mieux adapté à l'apprentissage par renforcement, alors que le monde réel est un espace ouvert avec des possibilités infinies pour chaque mouvement, aucun objectif défini (par exemple, "gagner"), aucune base claire pour le succès ou l'échec (par exemple, occuper plus de zones du plateau), et des coûts élevés d'essais et d'erreurs, avec de graves conséquences pour le pilotage automatique. Les conséquences d'une erreur sont graves.

L'espace IA est devenu froid et silencieux jusqu'à ce que ChatGPT L'émergence de la

ChatGPT Changer le monde

ChatGPT a été qualifié de photo floue du monde en ligne par le New Yorker (ChatGPT Is a Blurry JPEG of the Web ^[3]^ ), qui ne fait rien d'autre que d'introduire des données textuelles provenant de l'ensemble de l'Internet dans un modèle qui prédit ensuite quel sera le mot suivant sh_...

Le mot est probablement "么".

Un modèle doté d'un nombre fini de paramètres est contraint d'apprendre une quantité presque infinie de connaissances : des livres écrits dans différentes langues au cours des dernières centaines d'années, des textes générés sur l'internet au cours des dernières décennies. Il s'agit donc en réalité d'une compression de l'information : condenser la même sagesse humaine, les mêmes événements historiques et la même géographie astronomique, enregistrés dans différentes langues, en un seul modèle.

Les scientifiques ont été surpris de le découvrir :L'intelligence est créée par la compression.

Nous pouvons comprendre cela de la manière suivante : si le modèle lit un roman de déduction, à la fin du roman "le meurtrier est ____", si l'IA peut prédire avec précision le nom du meurtrier, nous avons des raisons de croire qu'elle a lu l'histoire dans son intégralité, c'est-à-dire qu'elle possède l'"intelligence", plutôt qu'un simple collage de mots ou une mémorisation par cœur.

Le processus consistant à faire en sorte que le modèle apprenne et prédise le mot suivant est appelé préformation (Pré-entraînement), à ce stade, le modèle ne peut que prédire en permanence le mot suivant, mais ne peut pas répondre à votre question, pour réaliser le ChatGPT comme les Q&R, il faut effectuer la deuxième étape de l'entraînement, que nous appelons Amélioration de la surveillance (Supervised Fine-Tuning, SFT), lorsqu'il est nécessaire de construire artificiellement un lot de données Q&A, par exemple.

# 例子一
人类:第二次世界大战发生在什么时候?
AI:1939年
# 例子二
人类:请总结下面这段话....{xxx}
AI:好的,以下是总结:xxx

Il convient de noter que les exemples ci-dessus sontsynthétiqueL'objectif est de permettre à l'IA d'apprendre les schémas de questions-réponses humaines, de sorte que lorsque vous dites "Veuillez traduire cette phrase : xxx", ce que vous envoyez à l'IA sera

人类:请翻译这句:xxx
AI:

En fait, il prédit toujours le mot suivant et, ce faisant, le modèle ne devient pas plus intelligent. Il apprend simplement les schémas de questions-réponses des humains et écoute ce que vous lui demandez de faire.

Cela ne suffit pas, car le modèle produit parfois de bonnes et parfois de mauvaises réponses, dont certaines sont discriminatoires sur le plan racial ou contraires à l'éthique humaine ( "Comment braque-t-on une banque ?" ), à ce stade, nous devons trouver un groupe de personnes pour annoter les milliers de données produites par le modèle : en attribuant des notes élevées aux bonnes réponses et des notes négatives aux réponses contraires à l'éthique, et finalement nous pouvons utiliser ces données annotées pour former un modèle d'évaluation de l'éthique.la modélisation des incitationsIl peut jugerLe modèle produit-il des réponses cohérentes avec les préférences humaines ?.

Nous l'utilisons.la modélisation des incitationspour continuer à former le modèle plus large afin qu'il produise des réponses plus conformes aux préférences humaines, un processus connu sous le nom de Reinforcement Learning through Human Feedback (RLHF) (apprentissage par renforcement par retour d'expérience).

En résumé.Le modèle est ensuite soumis à un ajustement supervisé pour lui permettre d'apprendre les schémas de questions-réponses des humains et, enfin, à un RLFH pour lui permettre de produire des réponses qui correspondent aux préférences des humains.

C'est l'idée générale de ChatGPT.

Les grands modèles se heurtent à un mur

Les scientifiques de l'OpenAI ont été parmi les premiers à croireLa compression en tant qu'intelligenceChatGPT est né de la conviction qu'une plus grande intelligence pouvait être générée en utilisant de plus grandes quantités de données de haute qualité et en formant des modèles avec un plus grand nombre de paramètres sur de plus grandes grappes de GPU.Google a créé Transformer, mais n'a pas pu faire le genre de grands paris que font les startups.

DeepSeek V3 a fait à peu près la même chose que ChatGPT, car les chercheurs intelligents ont été contraints d'utiliser des techniques d'entraînement plus efficaces (MoE/FP8) en raison des contrôles américains sur les exportations de GPU. Ils disposaient également d'une équipe d'infrastructure de haut niveau et ont fini par entraîner un modèle qui a rivalisé avec GPT-4o, dont l'entraînement a coûté plus de 100 millions de dollars, pour seulement 5,5 millions de dollars.

Toutefois, le présent document se concentre sur la R1.

Le fait est que les données générées par l'homme auront été consommées d'ici à la fin de 2024 et que, même si la taille du modèle peut facilement être augmentée d'un facteur 10 ou même 100 au fur et à mesure de l'ajout de grappes de GPU, la quantité incrémentale de nouvelles données générées par l'homme chaque année est presque négligeable par rapport aux données existantes des décennies et des siècles passés. Et selon les lois d'échelle de Chinchilla, pour chaque doublement de la taille du modèle, la quantité de données d'entraînement devrait également doubler.

Cela conduit à laPré-entraînement pour frapper le murLe fait que le volume de modèles ait été multiplié par 10, mais que nous n'ayons plus accès à 10 fois plus de données de haute qualité, le retard dans la publication de GPT-5 et les rumeurs selon lesquelles les grands fournisseurs de modèles nationaux ne font pas de pré-entraînement sont tous liés à ce problème.

RLHF n'est pas RL.

D'autre part, le plus gros problème de l'apprentissage par renforcement basé sur les préférences humaines (RLFH) est que le QI humain ordinaire n'est plus suffisant pour évaluer les résultats du modèle. À l'époque du ChatGPT, le QI de l'IA était inférieur à celui des humains ordinaires, de sorte qu'OpenAI pouvait embaucher une main-d'œuvre bon marché pour évaluer les résultats de l'IA : bon/moyen/mauvais, mais bientôt, avec le GPT-4o/Claude 3.5 Sonnet, le QI des grands modèles a dépassé celui des humains ordinaires, et seuls des annotateurs de niveau expert peuvent aider les modèles à s'améliorer.

Sans parler du coût de l'embauche d'un expert, mais que se passera-t-il ensuite ? Un jour, même les meilleurs experts ne pourront pas évaluer les résultats des modèles, et l'IA aura surpassé les êtres humains, pas vraiment. AlphaGo a joué le 19e coup contre Lee Sedol, un coup qui, du point de vue des préférences humaines, ne peut jamais être gagné, de sorte que si Lee Sedol devait faire une évaluation Human Feedback (HF) du coup de l'IA, il donnerait probablement un score négatif également. De cette manière, leL'IA n'échappera jamais au carcan de l'esprit humain..

On peut considérer l'IA comme un étudiant, dont la personne qui le note est passée d'un professeur de lycée à un professeur d'université ; l'étudiant s'améliore, mais il est presque impossible de surpasser le professeur.RLHF est essentiellement une méthode de formation qui satisfait l'homme, elle fait correspondre les résultats du modèle aux préférences humaines, mais en même temps, elle tue l'intelligence artificielle.transcende l'humanitépossibilités.

En ce qui concerne RLHF et RL, Andrej Karpathy a récemment exprimé des points de vue similaires ^[4]^ :

L'IA, comme les enfants, a deux modes d'apprentissage : 1) apprendre en imitant les joueurs experts (observer et répéter, c'est-à-dire pré-entraînement, mise au point supervisée), et 2) gagner par essais et erreurs constants et apprentissage par renforcement, mon exemple simple préféré étant AlphaGo.

Presque tous les résultats étonnants de l'apprentissage profond, et tous lesmagieLa source est toujours 2. L'apprentissage par renforcement (RL) est puissant, mais l'apprentissage par renforcement n'est pas la même chose que le feedback humain (RLHF), et RLHF n'est pas RL.

Vous trouverez ci-joint l'une de mes premières réflexions :

La solution d'OpenAI

Daniel Kahneman, dans Thinking Fast and Slow, suggère que le cerveau humain aborde les questions selon deux modes de pensée : un type de question donne une réponse sans passer par l'esprit, l'autre type de question donne une réponse sans passer par l'esprit, l'autre type de question donne une réponse sans passer par l'esprit.Réfléchissez rapidement.La catégorie des questions qui nécessitent un long test de type "Go" pour donner une réponse, c'est-à-dire la catégorie des questions de type "Go", est une catégorie de questions qui nécessitent un long test de type "Go" pour donner une réponse.réfléchir lentement.

Maintenant que la formation est terminée, est-il possible d'améliorer la qualité de la réponse en ajoutant plus de temps de réflexion au raisonnement, c'est-à-dire au moment où la réponse est donnée ? Il existe un précédent : les scientifiques ont découvert depuis longtemps que l'ajout de la phrase "Réfléchissons pas à pas" à la question d'un modèle permet à ce dernier de produire son propre processus de réflexion et, en fin de compte, de donner de meilleurs résultats. Les scientifiques ont depuis longtemps découvert que l'ajout de la phrase "Réfléchissons pas à pas" à la question d'un modèle permet à ce dernier de produire son propre processus de réflexion et, en fin de compte, de donner de meilleurs résultats. chaîne de pensée (Chaîne de pensée, CoT).

2024 Après que le pré-entraînement du grand modèle ait atteint le mur à la fin de l'annéeUtilisation de l'apprentissage par renforcement (RL) pour former des chaînes de réflexion modéliséesest devenu le nouveau consensus entre tous. Cette formation améliore considérablement les performances dans certaines tâches spécifiques, objectivement mesurables (par exemple, les mathématiques, le codage). Il s'agit de partir d'un modèle commun pré-entraîné et d'entraîner la chaîne de raisonnement des esprits dans une seconde étape en utilisant l'apprentissage par renforcement, appelé Modèle de raisonnementLe modèle o1 publié par OpenAI en septembre 2024, et le modèle o3 publié ultérieurement, sont des modèles de raisonnement.

Contrairement à ChatGPT et GPT-4/4o, lors de l'entraînement des modèles de raisonnement tels que o1/o3, lesLes réactions humaines n'ont plus d'importance.parce que les résultats de chaque étape de la réflexion peuvent être automatiquement évalués et donc récompensés/punis.Le PDG d'Anthropic dans le post d'hier ^[5]^ utilisaitpoint de rupturepour décrire cette voie technologique : il existe un nouveau paradigme puissant qui est en train de se développer. Loi d'échelle des premiers jours, des progrès significatifs peuvent être réalisés rapidement.

Bien qu'OpenAI n'ait pas dévoilé les détails de son algorithme d'apprentissage par renforcement, la récente publication de DeepSeek R1 nous montre une approche viable.

DeepSeek R1-Zéro

Je suppose que DeepSeek a baptisé son modèle d'apprentissage par renforcement R1-Zero en hommage à AlphaZero, l'algorithme qui surpasse les meilleurs joueurs en jouant lui-même et en n'apprenant aucun jeu.

Pour former un modèle de réflexion lente, il est d'abord nécessaire de construire des données d'une qualité suffisante pour contenir le processus de réflexion et, si l'on souhaite que l'apprentissage par renforcement soit indépendant de l'homme, il est nécessaire d'évaluer quantitativement (bien/mal) chaque étape de la réflexion afin d'attribuer des récompenses/pénalités pour les résultats de chaque étape.

Comme indiqué plus haut, les deux ensembles de données, mathématiques et code, sont les plus conformes, chaque étape de la dérivation des formules mathématiques étant vérifiée pour s'assurer qu'elle est correcte, et la sortie du code étant vérifiée en l'exécutant directement sur le compilateur.

Par exemple, dans les manuels de mathématiques, nous voyons souvent ce processus de raisonnement :

<思考>
设方程根为x, 两边平方得: x² = a - √(a+x)
移项得: √(a+x) = a - x²
再次平方: (a+x) = (a - x²)²
展开: a + x = a² - 2a x² + x⁴
整理: x⁴ - 2a x² - x + (a² - a) = 0
</思考>
<回答>x⁴ - 2a x² - x + (a² - a) = 0</回答>

Le texte ci-dessus contient à lui seul une chaîne de pensée complète, et nous pouvons faire correspondre le processus de pensée et la réponse finale avec des expressions régulières pour évaluer quantitativement les résultats de chaque étape du raisonnement du modèle.

Comme pour OpenAI, les chercheurs de DeepSeek ont entraîné l'apprentissage par renforcement (RL) basé sur le modèle V3 à la fois sur les mathématiques et le code, deux types de données qui contiennent des chaînes de pensée, et ils ont créé un algorithme d'apprentissage par renforcement appelé GRPO (Group Relative Policy Optimization), qui a finalement produit un modèle R1-Zero qui était significativement meilleur dans diverses métriques de raisonnement par rapport à DeepSeek V3, ce qui prouve que la capacité de raisonnement du modèle peut être stimulée par le RL seul. Ce modèle a finalement produit un modèle R1-Zero qui s'est avéré nettement meilleur que DeepSeek V3 en termes de raisonnement, ce qui prouve que la capacité de raisonnement du modèle peut être stimulée par l'apprentissage par renforcement uniquement.

c'estUn autre moment d'AlphaZero.Le processus de formation de R1-Zero ne s'appuie pas du tout sur l'intelligence, l'expérience ou les préférences humaines, mais uniquement sur le RL pour apprendre des vérités humaines objectives et mesurables, ce qui rend le raisonnement bien supérieur à tous les modèles non raisonnés.

Cependant, le modèle R1-Zero se contente d'effectuer un apprentissage par renforcement et n'effectue pas d'apprentissage supervisé, de sorte qu'il n'a pas appris le modèle de question-réponse humain et ne peut pas répondre aux questions humaines. De plus, il a un problème de mélange de langues pendant le processus de réflexion, parlant l'anglais à un moment et le chinois à un autre, avec une lisibilité médiocre. C'est pourquoi l'équipe de DeepSeek :

1. Une petite quantité de données de haute qualité sur la chaîne de pensée (CoT) a d'abord été collectée pour une première mise au point supervisée du modèle V3.Résolution du problème d'incohérence de la langue de sortiepour obtenir un modèle de démarrage à froid.
2. Ils effectuent ensuite un R1-Zérolike sur ce modèle de démarrage à froid.Entraînement RL puret ajouter un bonus de cohérence linguistique.
3. Enfin, afin de tenir compte d'une approche plus générale et plus répandue de ltâche non raisonnée(par exemple, l'écriture, les quiz factuels), ils ont construit un ensemble de données pour affiner le modèle dans un deuxième temps.
4. Combinaison de l'inférence et des données de tâches génériques pour l'apprentissage par renforcement final utilisant des signaux de récompense mixtes.

Le processus est probablement le suivant :

监督学习(SFT) - 强化学习(RL) - 监督学习(SFT) - 强化学习(RL)

Après le processus ci-dessus, DeepSeek R1 est obtenu.

La contribution de DeepSeek R1 au monde est d'ouvrir le premier modèle de raisonnement à source fermée (o1), qui permet maintenant aux utilisateurs du monde entier de voir le raisonnement du modèle avant de répondre à une question, le "monologue intérieur", et qui est entièrement gratuit.

Plus important encore, il révèle aux chercheurs les secrets qu'OpenAI a cachés :L'apprentissage par renforcement peut former les modèles de raisonnement les plus robustes sans s'appuyer sur le retour d'information humain et uniquement sur l'apprentissage par renforcement.Ainsi, dans mon esprit, le R1-Zero est plus logique que le R1. Ainsi, dans mon esprit, le R1-Zéro est plus logique que le R1.

Aligner les goûts humains VS transcender l'humanité

Il y a quelques mois, j'ai lu Suno répondre en chantant Recraft Interviews des fondateurs ^[6]^[7]^, Suno tente de rendre la musique générée par l'IA plus agréable à l'oreille, et Recraft tente de rendre les images générées par l'IA plus belles et plus artistiques. J'ai eu un sentiment de flou après l'avoir lu :L'alignement des modèles sur le goût humain plutôt que sur la vérité objective semble éviter l'arène véritablement brutale et quantifiable de la performance des grands modèles.

Il est épuisant de rivaliser chaque jour avec tous ses concurrents sur les listes AIME, SWE-bench, MATH-500, et de ne pas savoir quand un nouveau modèle sortira et vous laissera sur le carreau. Mais le goût humain est comme la mode : il ne s'améliore pas, il change, et Suno/Recraft sont manifestement assez sages pour satisfaire les musiciens et les artistes les plus exigeants de l'industrie (ce qui est difficile, bien sûr), les classements n'ont pas d'importance.

Mais l'inconvénient est également évident : l'amélioration des résultats résultant de vos efforts et de votre dévouement est également difficile à quantifier, par exemple, le Suno V4 est-il vraiment meilleur que le V3.5 ? D'après mon expérience, le V4 n'apporte qu'une amélioration sonore, et non une amélioration de la créativité. Et...Les modèles qui s'appuient sur le goût humain sont condamnés à ne pas être plus performants que les humainsEn revanche, si Suno crée un morceau de musique qui se situe en dehors du domaine du goût et de la compréhension de l'homme, il risque de sonner comme un simple bruit pour l'oreille humaine moyenne.

La compétition pour s'aligner sur la vérité objective est douloureuse mais fascinante parce qu'elle a le potentiel de transcender l'humain.

Quelques réponses au défi

Le modèle R1 de DeepSeek est-il vraiment plus performant que celui d'OpenAI ?

A titre indicatif, la capacité de raisonnement de R1Au-delà de tous les modèles non raisonnésVoici quelques exemples des types de données qui peuvent être utilisés dans la préparation du programme : ChatGPT/GPT-4/4o et ChatGPT-4/4o. Claude 3.5 Sonnet, avec le même modèle de raisonnement que o1approche(math.) genreinférieur à o3mais o1/o3 sont tous deux des modèles à source fermée.

L'expérience réelle pour beaucoup peut être différente, car Claude 3.5 Sonnet comprend mieux l'intention de l'utilisateur.

DeepSeek recueille les discussions des utilisateurs à des fins de formation.

échelonnerSi c'était vrai, WeChat et Messenger seraient les plus puissants du monde. Beaucoup de gens pensent à tort que les logiciels de chat comme ChatGPT deviendront plus intelligents en collectant les chats des utilisateurs à des fins de formation, mais ce n'est pas vrai. Si c'était le cas, WeChat et Messenger seraient en mesure de créer les grands modèles les plus puissants du monde.

Les modèles RL n'ont besoin d'être formés que sur des données de raisonnement de très haute qualité, informées par la chaîne de pensée, telles que les mathématiques et le code. Ces données peuvent être générées par le modèle lui-même, sans annotation humaine. Alexandr Wang, PDG de Scale AI, une entreprise qui annote les données des modèles, est donc probablement confronté à la perspective que les futurs modèles nécessiteront de moins en moins d'annotation humaine.

DeepSeek R1 est génial parce qu'il distille secrètement des modèles OpenAI.

échelonnerLes gains de performance les plus significatifs de R1 proviennent de l'apprentissage par renforcement, et vous pouvez voir que le modèle R1-Zéro, qui est purement RL et ne nécessite pas de données supervisées, est également fort en inférence. R1, en revanche, utilise des données d'apprentissage supervisé lors du démarrage à froid, principalement pour résoudre le problème de cohérence linguistique, et ces données n'améliorent pas la capacité d'inférence du modèle.

En outre, de nombreuses personnes sont intéressées pardistilléIl y a un malentendu : la distillation consiste généralement à utiliser un modèle puissant en tant qu'enseignant et à utiliser son résultat comme objet d'apprentissage pour un modèle étudiant (élève) avec des paramètres plus petits et de moins bonnes performances, rendant ainsi le modèle de l'élève plus puissant.Les performances du modèle distillé de l'élève sont presque certainement moins bonnes que celles du modèle de l'enseignant, mais le modèle R1 est plus performant que le modèle o1 sur certaines mesures.C'est pourquoi il est si stupide de dire que R1 distille à partir de o1.

J'ai demandé à DeepSeek Il dit que c'est un modèle OpenAI, donc c'est une coquille.

Les grands modèles sont formés sans savoirheure actuelle(math.) genrePar qui êtes-vous formé ?,Formez-vous sur le H100 ou le H800.Un utilisateur sur X a donné l'analogie subtile ^[8]^ :C'est comme demander à un passager d'Uber quelle marque de pneus il utilise.le modèle n'a aucune raison de connaître cette information.

Quelques sentiments

L'IA s'est enfin affranchie du retour d'information humain, et DeepSeek R1-Zero a montré comment améliorer les performances d'un modèle avec peu ou pas de retour d'information humain, dans son moment AlphaZero. De nombreuses personnes ont dit que "l'IA est aussi intelligente que les humains", mais ce n'est peut-être plus vrai. Si le modèle peut dériver le théorème de Pythagore à partir de triangles droits, il y a des raisons de croire qu'un jour il sera capable de dériver des théorèmes que les mathématiciens actuels n'ont pas encore découverts.

Est-ce qu'écrire du code a encore un sens ? Je n'en sais rien. Ce matin, j'ai vu le projet populaire llama.cpp sur Github, où un partageur de code a soumis un PR déclarant qu'il avait augmenté la vitesse de l'opération WASM par 2 en accélérant les instructions SIMD, et le code pour 99% a été fait par DeepSeek R1 ^[9]^, ce qui n'est certainement plus du code de niveau ingénieur junior, et je ne peux plus dire que l'IA ne peut que remplacer les programmeurs juniors. programmeurs juniors.

ggml : x2 vitesse pour WASM en optimisant SIMD

Bien sûr, je suis toujours très heureux de cette avancée, les limites des capacités humaines ont été repoussées une fois de plus, bravo DeepSeek !

bibliographie

1. Wikipedia : AlphaGo contre Lee Sedol
2. Nature : Maîtriser le jeu de go sans connaissances humaines
3. The New Yorker : ChatGPT est un JPEG flou du web
4. X : Andrej Karpathy
5. DeepSeek et les contrôles à l'exportation
6. Entretien avec le fondateur de Suno : la loi sur l'échelle n'est pas une panacée, du moins en ce qui concerne la musique
7. Recraft Interview : 20 personnes, 8 mois pour réaliser le meilleur grand modèle de Vincennes, l'objectif est la version IA de Photoshop !
8. X : DeepSeek a oublié de censurer son bot pour qu'il ne révèle pas qu'il utilise H100 et non H800.
9. ggml : x2 vitesse pour WASM en optimisant SIMD