Les "scientifiques" de l'IA remportent une première bataille : l'article passe l'examen par les pairs de l'ICLR, le statut de recherche humaine est remis en question ?

Le document généré par Sakana AI et intitulé "AI Scientist" a passé avec succès l'examen par les pairs lors de l'atelier de l'ICLR. Qu'est-ce que cela signifie ?

Sakana AI a récemment annoncé que les articles générés par son système "AI Scientist" avaient été évalués par des pairs lors d'un atelier à l'ICLR, la principale conférence sur l'apprentissage automatique. Cette annonce a suscité un vaste débat sur la question de savoir si les IA sont capables de mener des recherches scientifiques. Avant de nous pencher sur l'importance de cet événement, examinons ce que l'équipe Sakana AI a déclaré à propos de l'article.

L'auto-examen de Sakana AI : du potentiel, mais encore du travail à faire

Plutôt que de se satisfaire de l'adoption de ce document, Sakana AI s'est analysée de manière très pragmatique. Elle admet que le document n'a été accepté qu'à l'occasion de l'assemblée générale de l'ICLR. colloque publié sur le site de l'Union européenne qui fait autorité réunion principale On. En outre, sur les trois articles générés par l'IA qu'ils ont soumis, un seul a été accepté.

Les chercheurs de Sakana AI ont procédé à un examen interne des trois articles et ont franchement constaté qu'aucun d'entre eux ne répondait aux normes des articles de conférence de l'ICLR. Cela suggère que malgré les progrès réalisés par l'IA dans la production d'articles scientifiques, il lui reste encore un long chemin à parcourir avant d'atteindre le niveau des scientifiques humains.

Les évaluations internes de Sakana AI démontrent sa rigueur scientifique.

Plus intéressant encore, Sakana AI a également révélé certaines des "erreurs de bas niveau" commises par les scientifiques de l'IA au cours de leurs recherches, telles que les erreurs de citation.

L'IA commet également des erreurs, ce qui nous rappelle qu'elle reste un outil et non un penseur indépendant.

Dans l'ensemble, l'auto-évaluation de Sakana AI est objective et dépassionnée. Elle perçoit le potentiel de l'IA, mais est également consciente de ses limites actuelles. Cette attitude pragmatique mérite d'être saluée.

Programme des scientifiques de l'IA : transparence et collaboration

Sakana AI a mené cette recherche en totale collaboration avec la direction de l'ICLR et les organisateurs de l'atelier, et avec l'approbation de l'Institutional Review Board (IRB) de l'Université de Colombie Britannique. Cette approche ouverte et transparente constitue un bon exemple pour la communauté des chercheurs en IA.

Il est particulièrement intéressant de noter que Sakana AI déclare explicitement que même si des articles générés par l'IA sont acceptés, ils seront retirés avant d'être publiés. Cela montre qu'ils ne cherchent pas à augmenter le nombre d'articles publiés, mais qu'ils se préoccupent davantage de l'éthique et des normes de la recherche scientifique.

Comment le document a-t-il été produit ?

L'article examiné a été généré par la version améliorée de "AI Scientist" - "AI Scientist-v2". L'ensemble du processus a été réalisé par l'IA elle-même, y compris la proposition d'hypothèses, la conception d'expériences, l'écriture de codes, l'exécution d'expériences, l'analyse de données, la rédaction d'articles, etc. Les chercheurs humains n'ont fait que donner l'orientation générale de la recherche.

Sakana AI a collaboré avec les organisateurs de l'atelier de l'ICLR pour soumettre trois documents générés par l'IA à un examen en double aveugle. Les évaluateurs étaient au courant de l'existence des documents générés par l'IA, mais ne savaient pas exactement lesquels. Au final, un seul document a obtenu une note supérieure au seuil d'acceptation.

L'article, intitulé "Régularisation combinatoire : un obstacle inattendu à l'amélioration des capacités de généralisation des réseaux neuronaux", explore les défis de l'IA dans la recherche scientifique.

Une vision pour l'avenir : le potentiel et les défis de la recherche sur l'IA

Cette recherche de Sakana AI ouvre sans aucun doute une fenêtre sur le domaine de la recherche scientifique en matière d'IA. Elle montre que l'IA peut non seulement être utilisée pour des tâches telles que l'analyse de données et la reconnaissance d'images, mais qu'elle peut également être impliquée dans l'ensemble du processus de recherche scientifique, et même être capable de mener à bien des projets de recherche scientifique de manière autonome.

Cependant, nous devons également être conscients que la recherche en IA n'en est qu'à ses débuts, que la qualité des articles générés par l'IA varie et qu'il reste encore beaucoup de chemin à parcourir avant qu'ils ne soient publiés dans des revues de premier plan. En outre, les questions éthiques de la recherche en IA, les questions de sécurité des données, les questions de droits de propriété intellectuelle, etc. doivent toutes être sérieusement examinées et résolues.

La vision de Sakana AI est de "créer une IA qui améliore l'IA", ce qui ressemble un peu à de la science-fiction, mais comme la technologie continue d'évoluer, qui peut dire que ce n'est pas possible ? Cela ressemble un peu à de la science-fiction, mais comme la technologie continue d'évoluer, qui peut dire que ce n'est pas possible ? L'avenir de la recherche sur l'IA est plein de possibilités, alors voyons ce qu'il en est.

notes de bas de page

1. Pour plus d'informations sur les concurrents de Sakana AI et leurs recherches, voirNotes de bas de page du texte original.
2. Pour la définition de "peer-reviewed", voirNotes de bas de page du texte original.
3. Pour une sélection d'ateliers ICBINB, voirNotes de bas de page du texte original.