KI-"Wissenschaftler" gewinnen erste Schlacht: ICLR-Peer-Review-Papier, Anfechtung des Status der Humanforschung?

Das von Sakana AI erstellte Papier "AI Scientist" hat den Peer Review beim ICLR-Workshop bestanden. Was bedeutet das?

Sakana AI hat vor kurzem bekannt gegeben, dass die von seinem "AI Scientist"-System erstellten Arbeiten bei einem Workshop auf der ICLR, der wichtigsten Konferenz für maschinelles Lernen, die Peer Review bestanden haben. Dies hat eine breite Diskussion darüber ausgelöst, ob KI zu wissenschaftlicher Forschung fähig ist. Bevor wir uns mit der Bedeutung dieses Ereignisses befassen, wollen wir einen Blick darauf werfen, was das Sakana-KI-Team selbst zu diesem Papier zu sagen hatte.

Selbstprüfung von Sakana AI: Potenzial, aber noch viel zu tun

Anstatt sich über die Verabschiedung dieses Papiers zu beklagen, hat Sakana AI sich selbst auf sehr pragmatische Weise analysiert. Sie geben zu, dass das Papier nur auf der ICLR-Veranstaltung angenommen wurde. Fachtagung veröffentlicht auf der maßgeblichen Hauptsitzung ein. Darüber hinaus wurde von den drei von ihnen eingereichten KI-generierten Arbeiten nur eine angenommen.

Forscher von Sakana AI führten eine interne Überprüfung der drei Arbeiten durch und stellten freimütig fest, dass keine von ihnen den Standards von ICLR-Konferenzunterlagen entsprach. Dies deutet darauf hin, dass die KI trotz der Fortschritte bei der Erstellung wissenschaftlicher Arbeiten noch einen weiten Weg vor sich hat, bis sie tatsächlich das Niveau menschlicher Wissenschaftler erreicht.

Die internen Prüfungen von Sakana AI belegen die wissenschaftliche Strenge des Unternehmens.

Interessanterweise deckte Sakana AI auch einige der "einfachen Fehler" auf, die KI-Wissenschaftler während ihrer Forschung machen, wie z. B. Zitierfehler.

Auch KI macht Fehler, was uns daran erinnert, dass KI immer noch ein Werkzeug und kein unabhängiger Denker ist.

Insgesamt ist die Selbsteinschätzung von Sakana AI objektiv und unvoreingenommen. Sie sehen das Potenzial der KI, sind sich aber auch der derzeitigen Grenzen bewusst. Diese pragmatische Haltung verdient Anerkennung.

Programm für KI-Wissenschaftler: Transparenz und Zusammenarbeit

Sakana AI führte diese Forschung in voller Zusammenarbeit mit der ICLR-Leitung und den Workshop-Organisatoren und mit der Genehmigung des Institutional Review Board (IRB) der Universität von British Columbia durch. Dieser offene und transparente Ansatz ist ein gutes Beispiel für die KI-Forschungsgemeinschaft.

Besonders erwähnenswert ist, dass Sakana AI ausdrücklich darauf hinweist, dass selbst wenn KI-generierte Arbeiten angenommen werden, diese vor der Veröffentlichung zurückgezogen werden. Dies zeigt, dass es ihnen nicht um die Anzahl der veröffentlichten Arbeiten geht, sondern eher um die Ethik und die Normen der wissenschaftlichen Forschung.

Wie wurde das Papier hergestellt?

Die überprüfte Arbeit wurde von der aktualisierten Version von "AI Scientist" - "AI Scientist-v2" - erstellt. Der gesamte Prozess wurde von der KI selbst durchgeführt, einschließlich des Vorschlags von Hypothesen, der Planung von Experimenten, des Schreibens von Code, der Durchführung von Experimenten, der Analyse von Daten, des Schreibens von Papieren usw. Menschliche Forscher gaben nur die allgemeine Richtung der Forschung vor. Menschliche Forscher gaben nur die allgemeine Richtung der Forschung vor.

Sakana AI arbeitete mit den Organisatoren des ICLR-Workshops zusammen, um drei von der KI erstellte Beiträge zur Doppelblindprüfung einzureichen. Die Gutachter wussten, dass es sich um KI-generierte Beiträge handelte, aber sie wussten nicht genau, um welchen es sich handelte. Am Ende lag nur ein Beitrag über der Annahmeschwelle.

Das Papier mit dem Titel "Kombinatorische Regularisierung: ein unerwartetes Hindernis für die Verbesserung der Generalisierungsfähigkeiten neuronaler Netze" befasst sich mit den Herausforderungen der KI in der wissenschaftlichen Forschung.

Eine Vision für die Zukunft: das Potenzial und die Herausforderungen der KI-Forschung

Diese Forschung von Sakana AI öffnet zweifelsohne ein Fenster in den Bereich der wissenschaftlichen KI-Forschung. Sie zeigt, dass KI nicht nur für Aufgaben wie Datenanalyse und Bilderkennung eingesetzt werden kann, sondern auch in den gesamten Prozess der wissenschaftlichen Forschung eingebunden werden kann und möglicherweise sogar in der Lage ist, wissenschaftliche Forschungsprojekte eigenständig durchzuführen.

Wir müssen uns jedoch auch darüber im Klaren sein, dass die KI-Forschung noch in den Kinderschuhen steckt und die Qualität der von der KI erstellten Arbeiten schwankt, und es ist noch ein weiter Weg, bis sie in den besten Fachzeitschriften veröffentlicht werden. Darüber hinaus müssen die ethischen Fragen der KI-Forschung, Fragen der Datensicherheit, Fragen des geistigen Eigentums usw. ernsthaft geprüft und gelöst werden.

Die Vision von Sakana AI ist es, "eine KI zu schaffen, die die KI verbessert". Das klingt ein bisschen nach Science-Fiction, aber da sich die Technologie immer weiter entwickelt, wer sagt, dass das nicht möglich ist? Das klingt ein bisschen nach Science-Fiction, aber wer kann schon sagen, dass es nicht möglich ist, wenn sich die Technologie weiter entwickelt - die Zukunft der KI-Forschung ist voller Möglichkeiten, also warten wir ab, was passiert.

Fußnoten

1. Weitere Informationen über die Wettbewerber von Sakana AI und ihre Forschung finden Sie unterFußnoten zum Originaltext.
2. Die Definition von "peer-reviewed" finden Sie unterFußnoten zum Originaltext.
3. Eine Auswahl von ICBINB-Seminaren finden Sie unterFußnoten zum Originaltext.