Использование STORM: построение интернет-поиска на основе авторских статей в стиле Википедии

Диссертация:https://arxiv.org/abs/2402.14207

Можем ли мы научить магистров писать длинные статьи с нуля, основываясь на достоверных источниках?
Думают ли редакторы Википедии, что это им поможет?
📣 Анонсируем STORM, систему для написания статей в стиле Википедии на основе интернет-поиска. Теперь я использую STORM в своих ежедневных исследованиях!

Создавать длинные статьи с цитатами очень сложно и трудно оценить!

Мы разделим это на два этапа:
1️⃣ Предварительная работа, в ходе которой система собирает справочную информацию и создает набросок.
2️⃣, при котором система генерирует окончательный вариант статьи с цитатами.

"Предварительная работа" включает в себя исследование темы с нуля.
Это сложно даже для экспертов-людей. Прямая постановка вопросов о создании языковой модели не работает! Этим проблемам не хватает глубины и широты.
Цель STORM - научить моделированию языка **задавать хорошие вопросы**.

STORM улучшает постановку вопросов, автоматически обнаруживая точки зрения на темы исследований и добавляя их в подсказки. Он также моделирует диалоги по поиску информации, чтобы стимулировать часто более глубокие последующие вопросы.

Мы создали FreshWiki, чтобы уменьшить утечку данных в обучающие данные LM для оценки.
Для измерения качества мы ввели мягкий отзыв заголовков и отзыв сущностей. Оценка контуров облегчает предварительное написание прототипов методов.
STORM превосходит хорошо разработанный базовый уровень RAG!

На заключительном этапе написания STORM генерирует текст с цитатами и пишет полную статью раздел за разделом.

оставить (кому-л.) ШТОРМ Сгенерированные статьи предпочитают автоматические метрики *и* опытные редакторы Википедии!

Иллюстративный материал всегда должен основываться на фактах.
Мы оценили качество цитирования и попросили редакторов Википедии оценить правдоподобность. Мы обнаружили, что основная проблема заключается в том, чтобы перевести разговор с широко обсуждаемых фактических иллюзий.
Для этого нужно не только проверять факты, но и проводить исследования!

Мы также спросили редакторов Википедии о том, насколько полезен STORM. Захватывающе, но все участники согласились с тем, что STORM был полезен им на этапе подготовки статьи. Кроме того, я сам использую STORM для более глубокого изучения концепций в своих исследованиях (если вы еще не видели наше демонстрационное видео, нажмите здесь).

Стоит отметить, что STORM - это хорошо продуманная система управления знаниями, а не отдельный совет или модель.
Для создания STORM мы используем DSPy, который предлагает очень удобную модульность - это позволяет нам продолжать расширять нашу работу, не теряясь в большом количестве файлов-подсказок.