Los "científicos" de la IA ganan su primera batalla: un artículo revisado por expertos del ICLR, ¿se cuestiona el estatus de investigación humana?

El artículo "AI Scientist" de Sakana AI pasó la revisión por pares en el taller ICLR. ¿Qué significa esto?

Sakana AI anunció recientemente que los artículos generados por su sistema "AI Scientist" habían superado la revisión por pares en un taller del ICLR, la principal conferencia sobre aprendizaje automático. Esto ha suscitado un amplio debate sobre si las IA son capaces de realizar investigación científica. Antes de profundizar en la importancia de este acontecimiento, echemos un vistazo a lo que el propio equipo de IA de Sakana tenía que decir sobre el documento.

Autoexamen de la IA de Sakana: potencial, pero aún queda trabajo por hacer

En lugar de mostrarse complaciente con la aprobación de este documento, Sakana AI se ha analizado a sí misma de forma muy pragmática. Admiten que el documento sólo fue aceptado en el ICLR de simposio publicado en la más autorizada reunión principal On. Además, de los tres trabajos generados por IA que presentaron, sólo uno fue aceptado.

Los investigadores de Sakana AI llevaron a cabo una revisión interna de los tres trabajos y señalaron con franqueza que ninguno de ellos cumplía los estándares de los trabajos de conferencia del ICLR. Esto sugiere que, a pesar de los avances de la IA en la generación de artículos científicos, aún le queda mucho camino por recorrer antes de alcanzar realmente el nivel de los científicos humanos.

Las revisiones internas de Sakana AI demuestran su rigor científico.

Y lo que es más intrigante, la IA Sakana también reveló algunos de los "errores de bajo nivel" que cometen los científicos de IA durante la investigación, como los errores de citación.

La IA también comete errores, lo que nos recuerda que sigue siendo una herramienta, no un pensador independiente.

En general, la autoevaluación de Sakana AI es objetiva y desapasionada. Ven el potencial de la IA, pero también son conscientes de las limitaciones actuales. Esta actitud pragmática merece reconocimiento.

Programa de científicos de IA: transparencia y colaboración

Sakana AI ha llevado a cabo esta investigación en plena colaboración con la dirección del ICLR y los organizadores del taller, y con la aprobación de la Junta de Revisión Institucional (IRB) de la Universidad de Columbia Británica. Este enfoque abierto y transparente constituye un buen ejemplo para la comunidad investigadora en IA.

Especialmente digno de mención es que Sakana AI declara explícitamente que incluso si se aceptan artículos generados por IA, se retirarán antes de su publicación. Esto demuestra que no persiguen el número de artículos publicados, sino que se preocupan más por la ética y las normas de la investigación científica.

¿Cómo se elaboró el documento?

El artículo revisado fue generado por la versión mejorada de "AI Scientist": "AI Scientist-v2". Todo el proceso fue realizado por la propia IA, incluyendo la propuesta de hipótesis, el diseño de experimentos, la escritura de código, la ejecución de experimentos, el análisis de datos, la redacción de artículos, etc. Los investigadores humanos sólo proporcionaron la dirección general de la investigación. Los investigadores humanos sólo proporcionaban la dirección general de la investigación.

Sakana AI colaboró con los organizadores del taller del ICLR para presentar 3 ponencias generadas por IA para su revisión a doble ciego. Los revisores conocían las ponencias generadas por IA, pero no sabían exactamente cuál de ellas. Al final, sólo una de ellas superó el umbral de aceptación.

El artículo, titulado "Regularización combinatoria: un obstáculo inesperado para mejorar la capacidad de generalización de las redes neuronales", explora los retos de la IA en la investigación científica.

Una visión de futuro: el potencial y los retos de la investigación en IA

Esta investigación de Sakana AI abre sin duda una ventana al campo de la investigación científica de la IA. Demuestra que la IA no sólo puede utilizarse para tareas como el análisis de datos y el reconocimiento de imágenes, sino que también puede participar en todo el proceso de la investigación científica, e incluso puede ser capaz de completar proyectos de investigación científica de forma independiente.

Sin embargo, también debemos ser conscientes de que la investigación sobre IA aún está en pañales, la calidad de los trabajos generados por IA varía y aún queda mucho camino por recorrer antes de que se publiquen en las mejores revistas. Además, hay que considerar seriamente y resolver los problemas éticos de la investigación en IA, los problemas de seguridad de los datos, los problemas de derechos de propiedad intelectual, etc.

La visión de Sakana AI es "crear IA que mejore la IA", lo que suena un poco a ciencia ficción, pero como la tecnología sigue evolucionando, ¿quién puede decir que no es posible? Suena un poco a ciencia ficción, pero como la tecnología sigue evolucionando, quién puede decir que no es posible. El futuro de la investigación en IA está lleno de posibilidades, así que veamos qué ocurre.

notas a pie de página

1. Para más información sobre los competidores de Sakana AI y sus investigaciones, véaseNotas al texto original.
2. Para la definición de "revisión por pares", véaseNotas al texto original.
3. Para ver una selección de seminarios del ICBINB, consulteNotas al texto original.