Ученые в области ИИ выиграли первую битву: статья прошла экспертную оценку ICLR, статус исследования человека оспорен?

Статья "ИИ-ученый", подготовленная компанией Sakana AI, прошла экспертную оценку на семинаре ICLR. Что это значит?

Недавно компания Sakana AI объявила о том, что документы, подготовленные ее системой "ИИ-ученый", прошли экспертную оценку на семинаре в ICLR, ведущей конференции по машинному обучению. Это вызвало широкую дискуссию о том, способны ли ИИ вести научные исследования. Прежде чем мы рассмотрим значение этого события, давайте взглянем на то, что сама команда ИИ Sakana сказала об этой работе.

Самоанализ искусственного интеллекта Sakana: потенциал, но еще есть над чем работать

Вместо того чтобы успокоиться по поводу выхода этой статьи, Sakana AI проанализировала себя в очень прагматичной манере. Они признают, что статья была принята только в ICLR симпозиум опубликованные на более авторитетном основное заседание На. Кроме того, из трех представленных ими работ, сгенерированных ИИ, только одна была принята.

Исследователи из Sakana AI провели внутреннюю экспертизу этих трех работ и честно отметили, что ни одна из них не соответствует стандартам докладов на конференциях ICLR. Это говорит о том, что, несмотря на прогресс, достигнутый ИИ в создании научных работ, ему еще предстоит пройти долгий путь, прежде чем он достигнет уровня человеческих ученых.

Внутренние обзоры компании Sakana AI свидетельствуют о ее научной строгости.

Что еще более интригующе, ИИ Sakana также выявил некоторые "низкоуровневые ошибки", которые ученые ИИ допускают во время исследований, например, ошибки в цитировании.

ИИ тоже совершает ошибки, что напоминает нам о том, что ИИ - это все еще инструмент, а не самостоятельный мыслитель.

В целом самооценка Sakana AI объективна и беспристрастна. Они видят потенциал ИИ, но при этом осознают существующие ограничения. Такое прагматичное отношение заслуживает признания.

Программа для ученых в области искусственного интеллекта: прозрачность и сотрудничество

Компания Sakana AI провела это исследование в полном сотрудничестве с руководством ICLR и организаторами семинара, а также с одобрения Совета по институциональному надзору (IRB) Университета Британской Колумбии. Такой открытый и прозрачный подход служит хорошим примером для сообщества исследователей ИИ.

Особенно стоит отметить, что Sakana AI прямо заявляет, что даже если работы, сгенерированные ИИ, будут приняты, они будут отозваны до публикации. Это показывает, что они не преследуют цель увеличить количество опубликованных работ, а больше заботятся об этике и нормах научных исследований.

Как создавалась газета?

Рецензируемая статья была подготовлена обновленной версией "AI Scientist" - "AI Scientist-v2". Весь процесс, включая выдвижение гипотез, разработку экспериментов, написание кода, проведение экспериментов, анализ данных, написание статей и т. д. Человеческие исследователи только задавали общее направление исследований. Исследователи-люди лишь задавали общее направление исследований.

Компания Sakana AI совместно с организаторами семинара ICLR представила на двойное слепое рецензирование 3 статьи, сгенерированные ИИ. Рецензенты знали о том, что это работы, сгенерированные ИИ, но не знали, какие именно. В итоге только один доклад получил оценку выше порога принятия.

Статья, озаглавленная "Комбинаторная регуляризация: неожиданное препятствие для повышения способности нейронных сетей к обобщению", посвящена проблемам ИИ в научных исследованиях.

Видение будущего: потенциал и проблемы исследований в области ИИ

Это исследование Sakana AI, несомненно, открывает окно в область научных исследований ИИ. Оно показывает, что ИИ можно использовать не только для решения таких задач, как анализ данных и распознавание образов, но и вовлекать во все процессы научных исследований, и даже может быть способен самостоятельно завершать научно-исследовательские проекты.

Однако мы также должны понимать, что исследования в области ИИ все еще находятся в зачаточном состоянии, качество работ, созданных ИИ, разнится, и до их публикации в ведущих журналах еще далеко. Кроме того, необходимо серьезно рассмотреть и решить этические вопросы исследований ИИ, вопросы безопасности данных, права интеллектуальной собственности и т. д.

Концепция Sakana AI заключается в том, чтобы "создавать ИИ, который улучшает ИИ", что звучит немного как научная фантастика, но поскольку технологии продолжают развиваться, кто скажет, что это невозможно? Это звучит немного похоже на научную фантастику, но поскольку технологии продолжают развиваться, кто скажет, что это невозможно - будущее исследований ИИ полно возможностей, так что давайте посмотрим, что произойдет.

сноски

1. Для получения дополнительной информации о конкурентах Sakana AI и их исследованиях см.Сноски к оригинальному тексту.
2. Определение термина "рецензируемый" см.Сноски к оригинальному тексту.
3. О семинарах ICBINB см.Сноски к оригинальному тексту.