Aprovechamiento de STORM: creación de un artículo tipo Wikipedia para la autoría basada en búsquedas en Internet

Tesis:https://arxiv.org/abs/2402.14207

¿Podemos enseñar a los LLM a escribir artículos largos desde cero, basándose en fuentes fiables?
¿Creen los editores de Wikipedia que esto les ayudará?
📣 Anunciamos STORM, un sistema para escribir artículos al estilo Wikipedia basados en búsquedas en Internet. ¡Ahora utilizo STORM en mi investigación diaria!

Generar artículos largos con citas es difícil de hacer y de evaluar.

Lo dividimos en dos pasos:
1️⃣ Preescritura en la que el sistema recopila referencias y genera un esquema.
2️⃣ redacción, en la que el sistema genera el artículo final con citas.

La "preescritura" consiste en investigar un tema desde cero.
Esto es difícil incluso para los expertos humanos. Plantear directamente preguntas de generación de modelos lingüísticos no funciona. Estos problemas carecen de profundidad y tienen una amplitud limitada.
STORM pretende enseñar a modelar el lenguaje **hace buenas preguntas**.

STORM mejora el interrogatorio descubriendo automáticamente perspectivas sobre temas de investigación y añadiendo perspectivas a las preguntas. También simula diálogos de búsqueda de información para fomentar preguntas de seguimiento a menudo más profundas.

Construimos FreshWiki para reducir la fuga de datos en los datos de entrenamiento de LM para la evaluación.
Para medir la calidad, introdujimos el recuerdo suave de los encabezamientos y el recuerdo de entidad de los encabezamientos. La evaluación de esquemas facilita la preescritura de métodos de creación de prototipos.
¡STORM es superior a una línea de base RAG bien diseñada!

En la fase final de redacción, STORM genera un texto con citas y redacta el artículo completo sección por sección.

dejar (a algn.) TORMENTA Los artículos generados se ven favorecidos por las métricas automatizadas *y* ¡por los editores experimentados de Wikipedia!

Esta redacción ilustrativa debe basarse siempre en hechos.
Evaluamos la calidad de las citas y pedimos a los editores de Wikipedia que calificaran la verificabilidad. Descubrimos que el principal reto consiste en alejar la conversación de las ilusiones fácticas ampliamente debatidas.
Esto requiere una investigación que va más allá de la comprobación de los hechos.

También preguntamos a los editores de Wikipedia sobre la utilidad percibida de STORM. Sorprendentemente, todos los participantes coincidieron en que STORM les resultaba útil en la fase previa a la redacción. Además, yo mismo utilizo STORM para profundizar en los conceptos de mi investigación (si no ha visto nuestro vídeo de demostración, haga clic aquí).

Conviene señalar que STORM es una cadena de gestión del conocimiento bien diseñada, no un único consejo o modelo.
Utilizamos DSPy para construir STORM, que ofrece una modularidad muy cuidada, lo que nos permite seguir ampliando nuestro trabajo sin perdernos en un montón de archivos de pistas.