Dissertation:https://arxiv.org/abs/2402.14207
Können wir LLMs lehren, lange Artikel von Grund auf zu schreiben, die auf verlässlichen Quellen beruhen?
Glauben die Wikipedia-Redakteure, dass dies ihnen helfen wird?
📣 Ich kündige STORM an, ein System zum Schreiben von Wikipedia-ähnlichen Artikeln auf der Grundlage von Internetsuchen. Ich verwende STORM jetzt bei meiner täglichen Recherche!
Die Erstellung langer Artikel mit Zitaten ist schwer zu bewerkstelligen und schwer zu beurteilen!
Wir unterteilen dies in zwei Schritte:
1️⃣ Pre-writing, bei dem das System Referenzen sammelt und eine Gliederung erstellt.
2️⃣ Schreiben, bei dem das System den endgültigen Artikel mit Zitaten erstellt.
Beim "Prewriting" wird ein Thema von Grund auf recherchiert.
Dies ist selbst für menschliche Experten schwierig. Die direkte Eingabe von Fragen zur Erstellung von Sprachmodellen funktioniert nicht! Diesen Problemen fehlt es an Tiefe und sie haben eine begrenzte Breite.
STORM zielt darauf ab, Sprachmodellierung zu lehren **stellt gute Fragen**.
STORM verbessert die Befragung, indem es automatisch Perspektiven zu Forschungsthemen ermittelt und Perspektiven zu Aufforderungen hinzufügt. Es simuliert auch Dialoge, in denen Informationen gesucht werden, um häufig tiefer gehende Folgefragen zu fördern.
Wir haben FreshWiki entwickelt, um den Datenverlust bei den LM-Trainingsdaten für die Bewertung zu reduzieren.
Um die Qualität zu messen, haben wir den Soft-Recall von Überschriften und den Entity-Recall von Überschriften eingeführt. Die Gliederungsbewertung erleichtert die Erstellung von Prototyping-Methoden.
STORM ist einer gut durchdachten RAG-Basislinie überlegen!
In der abschließenden Schreibphase generiert STORM Text mit Zitaten und schreibt den kompletten Artikel Abschnitt für Abschnitt.
es (jemandem) überlassen STURM Die generierten Artikel werden von automatischen Metriken *und* erfahrenen Wikipedia-Redakteuren bevorzugt!
Dieses anschauliche Schreiben sollte immer auf Fakten beruhen.
Wir bewerteten die Qualität der Zitate und baten die Wikipedia-Redakteure, die Überprüfbarkeit zu bewerten. Wir fanden heraus, dass die größte Herausforderung darin besteht, das Gespräch von den weithin diskutierten faktischen Illusionen weg zu lenken.
Dies erfordert Recherchen, die über die Überprüfung der Fakten hinausgehen!
Wir befragten die Wikipedia-Redakteure auch nach der wahrgenommenen Nützlichkeit von STORM. Erstaunlicherweise waren sich alle Teilnehmer einig, dass STORM in der Phase vor dem Verfassen des Artikels hilfreich war. Außerdem verwende ich selbst STORM, um die Konzepte in meiner Forschung zu vertiefen (falls Sie unser Demo-Video noch nicht gesehen haben, klicken Sie hier).
Es sei darauf hingewiesen, dass es sich bei STORM um eine gut durchdachte Wissensmanagement-Pipeline handelt und nicht um einen einzelnen Tipp oder ein Modell.
Wir verwenden DSPy, um STORM zu erstellen, das eine sehr gute Modularität bietet - dies ermöglicht es uns, unsere Arbeit weiter auszubauen, ohne uns in einer Menge von Hinweisdateien zu verlieren.
