Os "cientistas" de IA vencem a primeira batalha: artigo revisado por pares do ICLR, status de pesquisa humana contestado?

O artigo gerado pelo "AI Scientist" da Sakana AI foi aprovado na revisão por pares no workshop do ICLR. O que isso significa?

A Sakana AI anunciou recentemente que os artigos gerados por seu sistema "AI Scientist" foram aprovados na revisão por pares em um workshop no ICLR, a principal conferência sobre aprendizado de máquina. Isso provocou uma ampla discussão sobre a capacidade das IAs de realizar pesquisas científicas. Antes de nos aprofundarmos na importância desse evento, vamos dar uma olhada no que a própria equipe de IA do Sakana tinha a dizer sobre o artigo.

Auto-exame da Sakana AI: potencial, mas ainda há trabalho a ser feito

Em vez de ser complacente com a aprovação desse documento, a Sakana AI analisou a si mesma de forma muito pragmática. Eles admitem que o documento só foi aceito no ICLR simpósio publicado no site de maior autoridade reunião principal Em. Além disso, dos três artigos gerados por IA que eles enviaram, apenas um foi aceito.

Os pesquisadores da Sakana AI realizaram uma análise interna dos três artigos e observaram francamente que nenhum deles atendia aos padrões dos artigos da conferência ICLR. Isso sugere que, apesar do progresso que a IA fez na geração de artigos científicos, ela ainda tem um longo caminho a percorrer antes de realmente atingir o nível dos cientistas humanos.

As análises internas da Sakana AI demonstram seu rigor científico.

O mais intrigante é que o Sakana AI também revelou alguns dos "erros de baixo nível" que os cientistas de IA cometem durante a pesquisa, como erros de citação.

A IA também comete erros, o que nos lembra que a IA ainda é uma ferramenta, não um pensador independente.

Em geral, a autoavaliação da Sakana AI é objetiva e imparcial. Eles enxergam o potencial da IA, mas também estão cientes das limitações atuais. Essa atitude pragmática merece reconhecimento.

Programa Cientista de IA: Transparência e colaboração

A Sakana AI conduziu esta pesquisa em total colaboração com a liderança do ICLR e os organizadores do workshop, e com a aprovação do Conselho de Revisão Institucional (IRB) da Universidade da Colúmbia Britânica. Essa abordagem aberta e transparente é um bom exemplo para a comunidade de pesquisa de IA.

É especialmente importante mencionar que a Sakana AI declara explicitamente que, mesmo que os artigos gerados por IA sejam aceitos, eles serão retirados antes da publicação. Isso mostra que eles não estão buscando o número de artigos publicados, mas estão mais preocupados com a ética e as normas da pesquisa científica.

Como o documento foi produzido?

O artigo analisado foi gerado pela versão atualizada do "AI Scientist" - "AI Scientist-v2". Todo o processo foi realizado pela própria IA, incluindo a proposição de hipóteses, o projeto de experimentos, a elaboração de códigos, a execução de experimentos, a análise de dados, a elaboração de artigos etc. Os pesquisadores humanos forneceram apenas a direção geral da pesquisa. Os pesquisadores humanos apenas forneceram a direção geral da pesquisa.

A Sakana AI trabalhou com os organizadores do workshop do ICLR para enviar 3 documentos gerados por IA para revisão duplo-cega. Os revisores estavam cientes dos artigos gerados por IA, mas não sabiam exatamente quais eram. No final, apenas um artigo obteve pontuação acima do limite de aceitação.

O artigo, intitulado "Combinatorial regularisation: an unexpected obstacle to enhancing the generalisation capabilities of neural networks" (Regularização combinatória: um obstáculo inesperado para aprimorar os recursos de generalização das redes neurais), explora os desafios da IA na pesquisa científica.

Uma visão para o futuro: o potencial e os desafios da pesquisa de IA

Essa pesquisa da Sakana AI, sem dúvida, abre uma janela para o campo da pesquisa científica de IA. Ela mostra que a IA não pode ser usada apenas para tarefas como análise de dados e reconhecimento de imagens, mas também pode estar envolvida em todo o processo de pesquisa científica e pode até mesmo ser capaz de concluir projetos de pesquisa científica de forma independente.

No entanto, também devemos estar cientes de que a pesquisa em IA ainda está em sua infância, e a qualidade dos artigos gerados por IA varia, e ainda há um longo caminho a percorrer antes que eles sejam publicados nas principais revistas. Além disso, as questões éticas da pesquisa de IA, as questões de segurança de dados, as questões de direitos de propriedade intelectual, etc., precisam ser seriamente consideradas e resolvidas.

A visão da Sakana AI é "criar IA que melhore a IA", o que soa um pouco como ficção científica, mas como a tecnologia continua a evoluir, quem pode dizer que não é possível? Isso soa um pouco como ficção científica, mas como a tecnologia continua a evoluir, quem pode dizer que não é possível - o futuro da pesquisa de IA está cheio de possibilidades, então vamos ver o que acontece.

notas de rodapé

1. Para obter mais informações sobre os concorrentes da Sakana AI e suas pesquisas, consulteNotas de rodapé do texto original.
2. Para obter a definição de "revisado por pares", consulteNotas de rodapé do texto original.
3. Para ver uma seleção de seminários do ICBINB, consulteNotas de rodapé do texto original.