CoD: Chain of Density

Originaltext:https://arxiv.org/pdf/2309.04269

Schnelles Lesen:Von spärlich zu dicht: GPT-4 Abstraktgenerierung mit verketteten Dichtehinweisen

Gesammelt in:Zusammenfassen der Kenntnisse über häufig verwendete Prompts

Abstracts

Die Bestimmung der "richtigen" Menge an Informationen, die in eine automatische Textzusammenfassung aufzunehmen sind, ist eine schwierige Aufgabe. Eine gute Zusammenfassung muss detailliert und entitätenzentriert sein, darf aber nicht zu lang und schwer verständlich sein. Um diesen Zielkonflikt besser zu verstehen, schlagen wir eine Cueing-Methode namens Chain of Density (CoD) vor, mit der GPT-4 in der Lage ist, immer dichtere Zusammenfassungen zu erstellen. Wir stellen fest, dass CoD-generierte Zusammenfassungen abstrakter und konvergenter sind und weniger Eröffnungsverzerrungen aufweisen als GPT-4-Zusammenfassungen, die mit normalen Hinweisen generiert werden. Anhand einer menschlichen Präferenzstudie mit 100 CNN/DailyMail-Artikeln finden wir heraus, dass Menschen dichtere Zusammenfassungen bevorzugen als GPT-4-Zusammenfassungen, die mit normalen Aufforderungen generiert wurden, und dass ihre Dichte fast mit der von manuell geschriebenen Zusammenfassungen vergleichbar ist.

1. einleitung

Automatisierte Zusammenfassungsverfahren haben in den letzten Jahren einen weiten Weg zurückgelegt, vor allem dank des Paradigmenwechsels von der überwachten Feinabstimmung zur stichprobenlosen Eingabeaufforderung unter Verwendung von groß angelegten Sprachmodellen (LLM). Beispielsweise kann GPT-4 eine feinkörnige Kontrolle über Zusammenfassungsmerkmale (z. B. Länge, Thema und Stil) mit gut konzipierten Hinweisen ohne zusätzliches Training erreichen.

Die Informationsdichte einer Zusammenfassung ist jedoch ein Aspekt, der häufig übersehen wird. Theoretisch sollte eine Zusammenfassung als Komprimierung eines anderen Textes eine höhere Informationsdichte aufweisen als das Ausgangsdokument. Die Dichte einer Zusammenfassung ist jedoch eine offene Frage. Enthält eine Zusammenfassung zu wenig Informationen, ist sie belanglos; enthält sie zu viele Informationen, kann sie schwer verständlich werden, ohne die Gesamtlänge zu erhöhen. Um mehr Informationen innerhalb eines festen Token-Budgets zu vermitteln, ist eine Kombination aus Abstraktion, Komprimierung und Verschmelzung erforderlich. Es gibt eine Grenze für die Menge an Platz, die für zusätzliche Informationen geschaffen werden kann, bevor sie unverständlich oder sogar sachlich falsch werden.

2. verkettete Dichtekennziffern (CoD)

2.1 Zielsetzungen

Unser Ziel war es, eine Reihe von GPT-4-Zusammenfassungen mit unterschiedlicher Informationsdichte zu erstellen und dabei die Länge zu kontrollieren, die sich bei der Bewertung von Zusammenfassungen als starker Störfaktor erwiesen hat. Zu diesem Zweck haben wir einen einzelnen Chained Density (CoD) Cue entwickelt, mit dem eine anfängliche Zusammenfassung generiert wird, die dann schrittweise in Entitäten verdichtet wird. Konkret wird für eine feste Anzahl von Runden eine eindeutige Gruppe hervorstechender Entitäten aus dem Ausgangstext identifiziert und mit der vorherigen Zusammenfassung verschmolzen, ohne deren Länge zu erhöhen. Die erste Zusammenfassung ist entitätenarm, da sie sich nur auf 1-3 anfängliche Entitäten konzentriert.

2.2 Daten

Für die Erstellung von CoD-Zusammenfassungen wurden 100 Artikel aus dem CNN/DailyMail-Zusammenfassungstest zufällig ausgewählt.

2.3 Referenzpunkte

Zum Vergleich haben wir die Statistiken der CoD-Abstracts mit manuell verfassten Bullet-Point-Referenz-Abstracts und mit GPT-4-Abstracts verglichen, die mit Hilfe allgemeiner Eingabeaufforderungen erstellt wurden:

• Gewöhnliche Tipps"Schreiben Sie eine kurze Zusammenfassung des Artikels in höchstens 70 Wörtern".

Wir stellen die erforderliche Tokenlänge so ein, dass sie der Länge des CoD-Digest entspricht (wie in der Tabelle unten dargestellt).

2.4 Beispiele für Tipps

Nachstehend finden Sie ein Beispiel für eine CoD-Aufforderung:

Bitte erstellen Sie eine sehr kurze Zusammenfassung, nicht mehr als 70 Wörter. Fügen Sie dann nach und nach 1-3 fehlende wichtige Einheiten hinzu, ohne die Länge zu erhöhen.

Beispiel für einen vollständigen CoD-Prompt (englisches Original).

Artikel: {{ ARTICLE }}
Sie werden immer prägnantere, entitätsdichte Zusammenfassungen des obigen Artikels erstellen.
Wiederholen Sie die folgenden 2 Schritte 5 Mal.
Schritt 1: Identifizieren Sie 1-3 informative Einheiten (";" abgegrenzt) aus dem Artikel, die in der zuvor erstellten Zusammenfassung fehlen.
Schritt 2: Schreiben Sie eine neue, dichtere Zusammenfassung von gleicher Länge, die jede Entität und jedes Detail der vorherigen Zusammenfassung plus die fehlenden Entitäten abdeckt.
Eine fehlende Entität ist.
- relevant für den Hauptartikel Geschichtespezifisch und doch prägnant (5 Wörter oder weniger)
- spezifisch und doch prägnant (5 Wörter oder weniger), neuartig (nicht in der vorherigen Zusammenfassung), neuartig (nicht in der vorherigen Zusammenfassung), und
- neuartig (nicht in der vorherigen Zusammenfassung), getreu (im Artikel vorhanden),, und
- treu (im Artikel vorhanden), überall (kann überall im Artikel gefunden werden).
- (nicht in der vorherigen Zusammenfassung), treu (im Artikel vorhanden), überall (kann überall im Artikel gefunden werden).
Leitlinien.
- Die erste Zusammenfassung sollte lang sein (4-5 Sätze, ~80 Wörter), aber sehr unspezifisch und wenig Informationen über die als fehlend markierten Stellen hinaus enthalten. Verwenden Sie übertrieben ausführliche Formulierungen und Füllwörter (z. B. "Dieser Artikel behandelt"), um auf ~80 Wörter zu kommen.
- Lassen Sie jedes Wort zählen: Schreiben Sie die vorherige Zusammenfassung um, um den Fluss zu verbessern und Platz für zusätzliche Entitäten zu schaffen.
- Schaffen Sie Platz durch Verschmelzung, Komprimierung und Streichung uninformativer Formulierungen wie "der Artikel behandelt".
- Die Zusammenfassungen sollten sehr dicht und prägnant, aber dennoch in sich geschlossen sein, d. h. ohne den Artikel leicht verständlich.
- Fehlende Elemente können überall in der neuen Zusammenfassung erscheinen.
- Lassen Sie niemals Elemente aus der vorherigen Zusammenfassung weg, und wenn dies nicht möglich ist, fügen Sie weniger neue Elemente hinzu.
Denken Sie daran, für jede Zusammenfassung genau dieselbe Anzahl von Wörtern zu verwenden.
Antwort in JSON: Das JSON sollte eine Liste (Länge 5) von Wörterbüchern sein, deren Schlüssel "Missing_Entities" und "Denser_Summary" sind.

Erläuterung der Stichwörter.

Dieses detaillierte CoD-Stichwort soll GPT-4 dazu anleiten, schrittweise dichtere Zusammenfassungen zu erstellen, wobei der Kerngedanke darin besteht, der Zusammenfassung in jeder Runde durch einen iterativen Prozess neue Schlüsselelemente hinzuzufügen, während die Länge der Zusammenfassung konstant bleibt. Schauen wir uns die Bestandteile dieses Stichworts an:

• Artikel: {{ ARTIKEL }}: Dies ist ein Platzhalter für den Inhalt des Artikels, den Sie zusammenfassen möchten. {{ ARTIKEL }}.
• Sie werden immer prägnantere, entitätsdichte Zusammenfassungen des obigen Artikels erstellen.Dies ist der Kern der Direktive, die dem Modell mitteilt, dass das Ziel darin besteht, immer prägnantere und entitätsreichere Zusammenfassungen zu erstellen.
• Wiederholen Sie die folgenden 2 Schritte 5 Mal.Die Angabe der Anzahl der Iterationen mit 5 bedeutet, dass das Modell die nächsten beiden Schritte fünf Runden lang wiederholt und dabei die Dichte der Zusammenfassungen schrittweise erhöht.
• Schritt 1: Identifizieren Sie 1-3 informative Entitäten (";" abgegrenzt) aus dem Artikel, die in der zuvor erstellten Zusammenfassung fehlen.: Schritt 1: Identifizierung fehlender Einheiten. Das Modell muss ein bis drei informative Entitäten aus dem Originalartikel identifizieren, die in den zuvor erstellten Zusammenfassungen nicht vorkommen dürfen. Entitäten werden durch Semikolon getrennt ; Abtrennung.
• Schritt 2: Schreiben Sie eine neue, dichtere Zusammenfassung von gleicher Länge, die alle Elemente und Details der vorherigen Zusammenfassung sowie die fehlenden Elemente enthält.: Schritt 2: Erstellen Sie eine dichtere Zusammenfassung. Das Modell muss auf der Grundlage der vorherigen Zusammenfassung eine neue Zusammenfassung erstellen, in die die in Schritt 1 ermittelten fehlenden Einheiten aufgenommen werden. Es ist wichtig, dass die neue Zusammenfassung genau die gleiche Länge hat wie die vorherige Zusammenfassung, was das Modell zwingt, die Informationen zu komprimieren und zu verschmelzen, um die neuen Entitäten aufzunehmen.
• Eine fehlende Einheit ist.:: Definiert Kriterien für "fehlende Entitäten", um sicherzustellen, dass die ausgewählten Entitäten von hoher Qualität und Relevanz sind:
  • - relevant für die Haupthandlung: Bezieht sich auf die Hauptgeschichte des Artikels.
  • - spezifisch und dennoch prägnant (5 Wörter oder weniger):: Spezifisch und prägnant, nicht mehr als fünf Wörter.
  • - Roman (nicht in der vorherigen Zusammenfassung): In früheren Zusammenfassungen nicht vorhanden.
  • - gläubig (im Artikel vorhanden): Muss in dem Artikel echt sein.
  • - an beliebiger Stelle (kann sich an beliebiger Stelle im Artikel befinden): Kann an einer beliebigen Stelle des Artikels stehen.
• Leitlinien.Eine Reihe von Leitfäden wird bereitgestellt, um das Modell detaillierter anzuweisen, wie die Aufgabe der Zusammenfassungserstellung auszuführen ist:
  • - Die erste Zusammenfassung sollte lang sein (4-5 Sätze, ~80 Wörter), aber sehr unspezifisch...: Leitfaden für die erste ZusammenfassungDie erste Zusammenfassung muss länger (~80 Wörter, 4-5 Sätze), aber weniger informativ sein und soll vor allem die Grundlage für die folgenden Durchgänge bilden. Redundante Formulierungen und Füllwörter können verwendet werden.
  • - Lassen Sie jedes Wort zählen: Schreiben Sie die vorherige Zusammenfassung um, um den Fluss zu verbessern und Platz für zusätzliche Einheiten zu schaffen.: Sprache vereinfachen:: Betonung der Notwendigkeit, frühere Zusammenfassungen umzuschreiben, um den sprachlichen Ausdruck zu optimieren und Platz für die Aufnahme neuer Einheiten zu schaffen.
  • - Schaffen Sie Platz durch Verschmelzung, Komprimierung und Streichung uninformativer Formulierungen wie "der Artikel behandelt".: Raumskalierungstechnik:: Explizite Angabe des Einsatzes von Techniken wie Fusion, Komprimierung und Entfernung uninformativer Phrasen zur Komprimierung von Zusammenfassungen.
  • - Die Zusammenfassungen sollten sehr dicht und prägnant, aber dennoch in sich geschlossen sein, d. h. auch ohne den Artikel verständlich.: Zusammenfassung der Qualitätsziele:: Die endgültige Zusammenfassung muss sehr dicht und prägnant, aber gleichzeitig in sich geschlossen sein, d.h. der Inhalt der Zusammenfassung kann verstanden werden, ohne den Originaltext zu lesen.
  • - Fehlende Entitäten können überall in der neuen Zusammenfassung erscheinen.: physischer Standort:: Neu hinzugefügte Entitäten können überall in der neuen Zusammenfassung erscheinen.
  • - Lassen Sie niemals Entitäten aus der vorherigen Zusammenfassung fallen. Wenn kein Platz geschaffen werden kann, fügen Sie weniger neue Entitäten hinzu.: Reservierungen von Entitäten:: Betonen Sie, dass Entitäten aus früheren Zusammenfassungen niemals gelöscht werden sollten. Wenn nicht genügend Platz vorhanden ist, können neue Einheiten sparsam hinzugefügt werden.
  • - Denken Sie daran, für jede Zusammenfassung genau dieselbe Anzahl von Wörtern zu verwenden.: einheitlich:: Betonen Sie erneut, dass die Länge der in jeder Runde erstellten Zusammenfassungen einheitlich sein muss.
  • Die Antwort in JSON sollte eine Liste (Länge 5) von Dictionaries sein, deren Schlüssel "Missing_Entities" und "Denser_Summary" sind.: AusgabeformatJSON: Das Modell muss die Ergebnisse im JSON-Format ausgeben. Das JSON sollte eine Liste von 5 Dictionaries sein, die jeweils die Schlüssel "Missing_Entities" (fehlende Entitäten, die in dieser Runde hinzugefügt wurden) und "Denser_Summary" (dichtere Zusammenfassung, die in dieser Runde erstellt wurde) enthalten.

Abbildung 1:: Hinweise zur verketteten Dichte (CoD) und Beispielausgabe. In jedem Schritt werden 1-3 zusätzliche Details (Entitäten) zu der vorherigen Zusammenfassung hinzugefügt, ohne die Länge zu erhöhen. Bestehende Inhalte werden umgeschrieben (z. B. komprimiert, verschmolzen), um Platz für neue Entitäten zu schaffen. Die Hälfte der Annotatoren (2/4) bevorzugte die vorletzte Zusammenfassung, der Rest die letzte.

Beispiel für die Verwendung von CoD-Stichwörtern in der Praxis:

Nehmen wir an, wir haben einen Nachrichtenartikel über den Besuch von US-Präsident Joe Biden in Polen" und möchten eine Reihe von Zusammenfassungen unterschiedlicher Dichte unter Verwendung von CoD-Stichwörtern erstellen.

Schritt 1: Vorbereitungen für die Eingabe des Artikels

Zunächst müssen wir zum Beispiel den Inhalt des Nachrichtenartikels vorbereiten:

US-Präsident Joe Biden неожиданно ist zu einem Besuch in Polen eingetroffen, um sich mit dem polnischen Präsidenten Andrzej Duda zu treffen. Der Besuch fällt mit dem ersten Jahrestag des russisch-ukrainischen Konflikts zusammen. Es wird erwartet, dass die beiden Staatsoberhäupter unter anderem die regionale Sicherheit, die weitere Unterstützung der Ukraine und die Stärkung der Ostflanke der NATO erörtern werden. Mit seinem Besuch würdigt Biden die Bemühungen Polens um die Unterstützung ukrainischer Flüchtlinge und die militärische Hilfe für die Ukraine. Darüber hinaus wird Biden in Warschau eine wichtige Rede über den russisch-ukrainischen Konflikt halten und mit US-Soldaten in Polen zusammentreffen.

Schritt 2: Erstellen Sie die API-Anfrage (OpenAI API als Beispiel)

Wir werden die OpenAI API (oder eine andere API, die das GPT-4-Modell unterstützt) verwenden, um die Anfrage zu senden. Der Hauptteil der Anfrage enthält unser CoD-Aufforderungswort und die {{ ARTIKEL }} Ersetzen Sie ihn durch den Inhalt des vorbereiteten Artikels.

{
"model": "gpt-4".
"prompt": "Artikel: US-Präsident Joe Biden неожиданно trifft zu einem Besuch in Polen ein, um sich mit dem polnischen Präsidenten Andrzej Duda zu treffen. Der Besuch fällt mit dem ersten Jahrestag des russisch-ukrainischen Konflikts zusammen, und es wird erwartet, dass die beiden Staatsoberhäupter unter anderem über regionale Sicherheit, weitere Unterstützung für die Ukraine und die Stärkung der Ostflanke der NATO sprechen werden. Mit seinem Besuch würdigt Biden die Bemühungen Polens um die Unterstützung ukrainischer Flüchtlinge und die militärische Hilfe für die Ukraine. Darüber hinaus wird Biden in Warschau eine wichtige Rede zum russisch-ukrainischen Konflikt halten und mit US-Soldaten in Polen zusammentreffen. \nSie werden zunehmend prägnante Zusammenfassungen des obigen Artikels erstellen.\n\nWiederholen Sie die folgenden 2 Schritte 5 Mal.\n\nSchritt 1: Identifizieren Sie 1 Identifizieren Sie 1-3 informative Entitäten (\";\" abgegrenzt) aus dem Artikel, die in der zuvor erstellten Zusammenfassung fehlen.\nSchritt 2: Schreiben Sie eine neue, dichtere Zusammenfassung von gleicher Länge, die jede entitätsdichte Zusammenfassung abdeckt. Schreiben Sie eine neue, dichtere Zusammenfassung von identischer Länge, die jede Entität und jedes Detail aus der vorherigen Zusammenfassung plus die fehlenden Entitäten abdeckt. relevant für die Haupthandlung, \n- spezifisch und dennoch prägnant (5 Wörter oder weniger), \n- neuartig (nicht in der vorherigen Zusammenfassung), \n- glaubwürdig (im Artikel vorhanden), \n- überall (kann überall im Artikel stehen), \n- eine neue, dichtere Zusammenfassung von identischer Länge, die jede Einheit und jedes Detail der vorherigen Zusammenfassung plus die fehlende Einheit abdeckt. an beliebiger Stelle (kann sich an beliebiger Stelle im Artikel befinden). \n\nRichtlinien:\n\n- Die erste Zusammenfassung sollte lang (4-5 Sätze, ~80 Wörter), aber sehr unspezifisch sein und nur wenige Informationen über die als fehlend markierten Elemente hinaus enthalten. Verwenden Sie übermäßig ausführliche Formulierungen und Füllwörter (z. B. \"Dieser Artikel diskutiert"), um auf ~80 Wörter zu kommen.\n- Lassen Sie jedes Wort zählen. Schreiben Sie die vorherige Zusammenfassung um, um den Fluss zu verbessern und Platz für zusätzliche Einheiten zu schaffen. uninformativen Phrasen wie \"der Artikel diskutiert". \n- Die Zusammenfassungen sollten sehr dicht und prägnant, aber dennoch in sich geschlossen sein, d. h. ohne den Artikel leicht verständlich. \n- Fehlende Elemente können überall in der neuen Zusammenfassung erscheinen. Lassen Sie niemals Einheiten aus der vorherigen Zusammenfassung weg. Wenn der Platz nicht ausreicht, fügen Sie weniger neue Einheiten hinzu. \n\nErinnern Sie sich daran, dass Sie für jede Zusammenfassung genau dieselbe Anzahl von Wörtern verwenden. Denken Sie daran, dass Sie für jede Zusammenfassung genau dieselbe Anzahl von Wörtern verwenden. \nAntwort in JSON. Das JSON sollte eine Liste (Länge 5) von Wörterbüchern sein, deren Schlüssel \"Missing_Entities\" und \"Denser_Entities\" sind. und \"Denser_Summary\"." , "max_tokens".
"max_tokens": 1000, // Stellen Sie sicher, dass das Modell über genügend Token verfügt, um die vollständige JSON-Ausgabe zu erzeugen.
"temperature": 0.7 // Einstellbare Temperatur zur Steuerung der Zufälligkeit der generierten Ergebnisse.
}

Schritt 3: Senden der API-Anfrage und Empfangen der JSON-Antwort

Senden Sie die obige JSON-Anfrage an den OpenAI-API-Endpunkt. Die API gibt eine Antwort im JSON-Format zurück, die eine Zusammenfassung der fünf verschiedenen Dichten und der fehlenden Entitäten enthält, die bei jedem Schritt hinzugefügt wurden.

Schritt 4: Parsing der JSON-Antwort und Verwendung des Digests

Analysiert die von der API zurückgegebene JSON-Antwort. Sie erhalten eine JSON-Liste, ähnlich der folgenden:

{
"Missing_Entities": [], "Denser_Summary": "Dieser Artikel behandelt einen Besuch.
"Denser_Summary": "Dieser Artikel behandelt einen Besuch. Es geht um einen Präsidenten, der ein Land besucht. Der Präsident ist Amerikaner, das Land ist Polen. Der Besuch findet in einer Zeit statt, in der ein Konflikt zwischen Russland und der Ukraine herrscht. Ziel des Besuchs ist es, Unterstützung zu zeigen und wichtige Angelegenheiten zu besprechen.
Weitere Einzelheiten werden noch bekannt gegeben.}
Weitere Einzelheiten werden noch bekannt gegeben." }, {

"Denser_Summary": "US-Präsident Joe Biden besuchte Polen und traf sich mit dem polnischen Präsidenten Andrzej Duda. Bei diesem Besuch geht es um internationale Beziehungen und er findet während des Gipfels Russland-Ukraine statt. Bei diesem Besuch geht es um die internationalen Beziehungen und er findet während des Russland-Ukraine-Konflikts statt. Sie werden über Unterstützung und Sicherheit sprechen.
}, {
Weitere Details werden erwartet." }, {

"Denser_Summary": "US-Präsident Joe Biden traf den polnischen Präsidenten Andrzej Duda in Polen am einjährigen Jahrestag des Russland-Ukraine-Konflikts. Sie erörterten die regionale Sicherheit und die Unterstützung für die Ukraine mit Schwerpunkt auf den internationalen Beziehungen."
}, {
{

"Denser_Summary": "Am einjährigen Jahrestag des Russland-Ukraine-Konflikts besuchte US-Präsident Joe Biden Polen und traf Präsident Andrzej Duda um über regionale Sicherheit, Unterstützung für die Ukraine (einschließlich Flüchtlinge und Militärhilfe) und die Stärkung der Ostflanke der NATO zu sprechen."
}, {
{
"Missing_Entities": ["Warschau"; "große Rede"; "US-Truppen in Polen" ], { "Denser_Summary".
"Denser_Summary": "Anlässlich des einjährigen Bestehens des Russland-Ukraine-Konflikts besuchte US-Präsident Joe Biden Warschau, Polen, und traf sich mit Präsident Andrzej Duda, um über regionale Sicherheit, ukrainische und internationale Beziehungen und die Notwendigkeit eines umfassenderen Ansatzes für den Konflikt zu sprechen. Duda besprach mit ihm die regionale Sicherheit, die Unterstützung der ukrainischen Flüchtlinge und des Militärs, die Stärkung der Ostflanke der NATO sowie Bidens geplante große Rede und das Treffen mit den US-Truppen. und ein Treffen mit den US-Truppen in Polen."
}
]

Sie können die richtige Dichte der Zusammenfassungen für Ihre Bedürfnisse wählen. Wenn Sie zum Beispiel eine sehr kurze Zusammenfassung benötigen, können Sie die erste oder zweite wählen; wenn Sie eine ausführlichere, aber dennoch knappe Zusammenfassung benötigen, können Sie die vierte oder fünfte wählen.

Praktische Anwendungsszenarien:

• Nachrichtenaggregation und Inhaltsempfehlungen: Bereitstellung von Zusammenfassungen in unterschiedlicher Dichte für verschiedene Nutzer oder Plattformen, um unterschiedliche Informationsbedürfnisse zu erfüllen.
• Information Retrieval: Anzeige von Zusammenfassungen in unterschiedlicher Dichte in den Suchergebnissen, um den Nutzern eine schnelle Beurteilung der Relevanz von Artikeln zu ermöglichen.
• Leseverständnishilfe: Hilft dem Leser, den Inhalt des Textes von Anfang bis Ende zu verstehen, indem die Dichte der Zusammenfassungen schrittweise erhöht wird.
• Generierung von Social Media-Inhalten: Generieren Sie Zusammenfassungen unterschiedlicher Länge und Dichte für verschiedene Social Media-Plattformen (z. B. Twitter, Facebook).

Mit den oben genannten Schritten können Sie CoD-Stichwörter in der Praxis effektiv einsetzen, um mit GPT-4 hochwertige Textzusammenfassungen mit hoher Dichte zu erstellen.

3. statistische Daten

3.1 Direkte Statistiken

In Tabelle 1 berechnen wir die Token mithilfe von NLTK, messen die eindeutigen Entitäten mithilfe von Spacy und berechnen die Entitätsdichten als Quotienten Der CoD-Cue folgt weitgehend einem festen Token-Budget. Tatsächlich führt der zweite Schritt zu einer durchschnittlichen Reduktion von 5 Token (von 72 auf 67), da unnötige Wörter aus der ursprünglich langen Zusammenfassung entfernt werden. Die Entitätsdichte stieg - ausgehend von einer anfänglichen Dichte von 0,089, die niedriger war als die der menschlichen und der regulären GPT-4 (0,151 bzw. 0,122) - auf 0,167 nach fünf Verdichtungsschritten.

3.2 Indirekte Statistiken

Mit jedem Schritt des CoD sollte die Abstraktion zunehmen, da die Zusammenfassung iterativ umgeschrieben wird, um Platz für jede zusätzliche Entität zu schaffen. Wir messen die Abstraktion anhand der Extraktionsdichte: die durchschnittliche quadrierte Länge der extrahierten Fragmente. In ähnlicher Weise sollte der Grad der Fusion monoton zunehmen, wenn Entitäten zu einer Zusammenfassung mit fester Länge hinzugefügt werden. Als Proxy für die Fusion dient die durchschnittliche Anzahl der Quellensätze, die für jeden abstrakten Satz abgeglichen wurden. Für das Alignment verwenden wir die Methode der relativen ROUGE-Verstärkung, die die Ausgangssätze an die Zielsätze anpasst, bis die relative ROUGE-Verstärkung der hinzugefügten Sätze nicht mehr positiv ist. Wir erwarten auch, dass sich die Inhaltsverteilung - die Position im Artikel, aus der die Zusammenfassung stammt - ändert. Insbesondere erwarten wir, dass CoD-Zusammenfassungen anfangs eine starke Verzerrung am Anfang aufweisen (Lead Bias), aber allmählich beginnen, Entitäten aus der Mitte und dem Ende des Artikels einzuführen. Um dies zu messen, verwenden wir das Alignment in der Fusion und messen den durchschnittlichen Satzrang aller alignierten Quellensätze. Abbildung 2 bestätigt diese Hypothesen: Mit zunehmender Umschreibestufe nimmt die Abstraktion zu (linkes Feld), die Fusionsrate steigt (mittleres Feld), und die Abstracts beginnen, Inhalte aus der Mitte und dem Ende des Artikels aufzunehmen (rechtes Feld). Interessanterweise sind alle CoD-Abstracts abstrakter als die handgeschriebenen und die Basis-Abstracts.

Abbildung 2CoD-generierte Zusammenfassungen werden immer abstrakter und weisen gleichzeitig mehr Konvergenz und weniger Anfangsverzerrungen auf.

4. ergebnisse

4.1 Menschliche Vorlieben

Um die Kompromisse, die die CoD-Abstracts darstellen, besser zu verstehen, haben wir eine präferenzbasierte Studie mit einer Bewertung des GPT-4 durchgeführt.

Tabelle 1CoD: Zusammenfassung der prozentualen Anteile der Erstplatzierten nach Stufen. Basierend auf den kombinierten Präferenzen hat die CoD-Stufe eine Mehrzahl von 2, einen Median von 3 und einen Erwartungswert von 3,06.

Erstens berichten wir über einen niedrigen Wert von 0,112 für Fleiss' kappa (Fleiss, 1971), was darauf schließen lässt, dass subtile Unterschiede zwischen Zusammenfassungen und der Art der Aufgabe subjektiv sind. Neuere Studien haben auch eine geringe Übereinstimmung auf Instanzebene bei der Beurteilung von GPT-basierten Zusammenfassungen festgestellt (Goyal et al., 2022).

Auf der Systemebene zeichnen sich jedoch einige Trends ab. Für 3 der 4 Annotatoren erhielt CoD-Schritt 1 den größten Anteil der Erstplatzierten von 100 Beispielen (28%, 43% bzw. 31,4%). Zusammengenommen umfasste die erstplatzierte Zusammenfassung von 61% (23,0+22,5+15,5) jedoch ≥3 Verdichtungsschritte. Der Median der Anzahl der bevorzugten CoD-Schritte lag im mittleren Bereich (3), mit einem gewünschten Schritt von 3,06.

Ausgehend von der durchschnittlichen Dichte der Schritt 3-Abstracts können wir grob ableiten, dass die Dichte der bevorzugten Entitäten unter den CoD-Kandidaten etwa 0,15 beträgt. Wie wir aus Tabelle 1 ersehen können, stimmt diese Dichte mit den manuell geschriebenen Abstracts (0,151) überein, ist aber deutlich höher als die Abstracts, die mit dem normalen GPT-4-Prompt erstellt wurden (0,122).

4.2 Automatische Anzeigen

Es hat sich gezeigt, dass der GPT-4 als Evaluator mit der menschlichen Beurteilung übereinstimmt (Fu et al., 2023; Liu et al., 2023a) und bei einigen Annotationsaufgaben sogar besser abschneidet als die Crowdsourcing-Mitarbeiter (Gilardi et al., 2023). Ergänzend zu unserer menschlichen Bewertung baten wir die GPT-4, CoD-Zusammenfassungen auf einer Skala von 1 bis 5 auf den folgenden Dimensionen zu bewerten: Informativität, Qualität, Kohärenz, Zuordenbarkeit und insgesamt. Die Definitionen von Informativität, Qualität und Zurechenbarkeit stammen von Aharoni et al. (2023), während die Kohärenz von Fabbri et al. (2021) stammt. Das allgemeine Ziel ist die Erfassung der gemeinsamen Qualität. Siehe Anhang A für die Tipps, die zur Erfassung der Werte für jede Dimension verwendet wurden. Tabelle 3 zeigt, dass die Verdichtung mit der Informativität korreliert ist, aber es gibt eine Grenze, die bei Stufe 4 (4,74) erreicht wird. Die Dimensionen "kein Artikel", "Qualität" und "Kohärenz", nahmen nach Schritt 2 bzw. 1 ab. Alle Zusammenfassungen wurden als dem Ausgangsartikel zurechenbar betrachtet. Die Gesamtpunktzahl war zugunsten dichterer und informativerer Zusammenfassungen verzerrt, wobei die höchste Punktzahl auf Stufe 4 erreicht wurde. Im Durchschnitt wurden der erste und der letzte CoD-Schritt am wenigsten bevorzugt, während die drei mittleren Schritte nahe beieinander lagen (4,78, 4,77 bzw. 4,76).

In Anhang A geben wir die höchste Korrelation der Gesamtmetriken mit der menschlichen Beurteilung auf der Ebene der Zusammenfassungen an (Pearson-Korrelation von 0,31), stellen aber fest, dass die Gesamtkorrelation niedrig bleibt - ein Phänomen, das auch in der Studie von Deutsch et al. (2022) beobachtet wurde, als die Zusammenfassungen von ähnlicher Qualität waren.

4.3 Qualitative Analyse

Es gibt einen klaren Kompromiss zwischen der Kohärenz/Lesbarkeit von Zusammenfassungen und der Menge an Informationen, die sie enthalten. Um dies zu veranschaulichen, zeigen wir in Abbildung 4 zwei CoD-Schritte: eine Zusammenfassung wird durch mehr Details verbessert, die andere wird beeinträchtigt. Im Durchschnitt erreicht die mittlere CoD-Zusammenfassung dieses Gleichgewicht am besten, aber wir überlassen es der zukünftigen Arbeit, diesen Kompromiss genau zu definieren und zu quantifizieren.

Abbildung 4Beispiele für vom Menschen bevorzugte Verdichtungsschritte (links) und ein Beispiel für nicht bevorzugte Verdichtungsschritte (rechts). Für die linke Seite wird die untere Zusammenfassung bevorzugt, weil die Hinzufügung von "Liverpool" und der Torschütze für das Thema relevant sind. Die zweite Zusammenfassung bietet Raum für eine sinnvolle Komprimierung, z. B. die Zusammenfassung von "möglichen Wegen zurück ins Spiel" zu "Gegenangriffen". Auf der rechten Seite kompensiert das Hinzufügen weiterer Details über "TVMonde" nicht die ungeschickte Verschmelzung von Entitäten ("Cyberangriff" und "Yves Bigot"), die eine direkte Folge der Straffung der vorherigen Zusammenfassung war.

5. verwandte Arbeiten

GPT Zusammenfassung

Goyal et al. (2022) verglichen GPT-3 bei der Erstellung von Zusammenfassungen von Nachrichtenartikeln und stellten fest, dass Menschen GPT-3-Zusammenfassungen gegenüber einer früheren überwachten Basislinie bevorzugten, die die vorhandenen referenzbasierten und referenzlosen Metriken nicht widerspiegelte.Zhang et al. (2023) stellten fest, dass durch das Einholen hochwertiger Zusammenfassungen von Freiberuflern Null Stichproben-GPT-3-Zusammenfassungen mit der menschlichen Leistung vergleichbar waren.

Entitätsbasierte Zusammenfassung

Narayan et al. (2021) schlagen vor, Ketten von Entitäten als Planungsschritt für die überwachte Feinabstimmung des Zusammenfassungsmodells zu erzeugen, im Gegensatz zu Schlüsselwörtern (Li et al., 2020; Dou et al., 2021) oder rein extrahierten Einheiten (Dou et al., 2021; Adams et al., 2023a). Entitäten wurden auch als eine Form der Kontrolle in Auszüge integriert (Liu und Chen, 2021; He et al., 2022; Maddela et al., 2022), um die Wiedergabetreue zu erhöhen (Nan et al., 2021; Adams et al., 2022) und als Einheiten zur Bewertung (Cao et al., 2022; Adams et al., 2023b).

6. schlussfolgerung

Wir haben untersucht, wie sich die Verdichtung von Zusammenfassungen auf die Präferenzen der Menschen hinsichtlich der Gesamtqualität auswirkt. Wir fanden heraus, dass ein gewisses Maß an Verdichtung willkommen ist, es jedoch schwierig ist, die Lesbarkeit und Kohärenz aufrechtzuerhalten, wenn Abstracts zu viele Entitäten enthalten. Wir haben die Testmenge mit Annotationen sowie eine größere unannotierte Trainingsmenge zur Verfügung gestellt, um das Thema der Abstracts mit fester Länge und variabler Dichte weiter zu untersuchen.

7. beschränkungen

Wir haben die CoDs nur für einen einzigen Bereich analysiert, nämlich für Nachrichtenzusammenfassungen. Die Annotationen zeigen keine Konsistenz auf der hohen Ebene der Zusammenfassungen, aber sie beginnen, Trends auf Systemebene zu zeigen, was mit früheren Arbeiten zu LLM-basierten Bewertungen übereinstimmt (Goyal et al., 2022). Schließlich ist das GPT-4 ein Closed-Source-Modell, so dass wir die Modellgewichte nicht weitergeben konnten. Allerdings haben wir alle Bewertungsdaten, Anmerkungen und 5.000 unkommentierte CoDs für nachgelagerte Anwendungsfälle freigegeben, z. B. für die Extraktion von Dichten in Open-Source-Modelle wie LLAMA-2 (Touvron et al., 2023).

bibliographie

(Liste der Referenzen entfällt hier)

GPT-4-Indikatoren

Für die Bewertung des GPT-4 im Likert-Stil verwenden wir die folgende Aufforderungsvorlage.

Zusammenfassung: {{Abstrakt}} {{Definition}}

Im Folgenden finden Sie Beispiele für die Definitionen der einzelnen Qualitätsindikatoren.

• Informationsmenge:: Informative Zusammenfassungen fassen wichtige Informationen aus dem Artikel zusammen und präsentieren sie in präziser und prägnanter Form.
• Masse (in der Physik):: Hochwertige Zusammenfassungen sind leicht verständlich und nachvollziehbar.
• KonsistenzKohärente Zusammenfassungen sind gut strukturiert und organisiert.
• zurechenbarSind alle Informationen in der Zusammenfassung vollständig dem Artikel zuzuordnen?
• GesamtpräferenzEine gute Zusammenfassung sollte die Hauptgedanken des Artikels in knapper, logischer und kohärenter Form wiedergeben.

Zu den Qualitäts- und Kohärenzmerkmalen gehören keine Merkmale in Artikeln. Diese Definitionen wurden aus früheren Arbeiten zur Annotation von Zusammenfassungen übernommen: (Fabbri et al., 2021; Aharoni et al., 2023).

Tabelle 2Zusammenfassung der Pearson-Korrelationskoeffizienten zwischen menschlichen Präferenzen und GPT-4 Likert-Bewertungen.

Meta-Evaluierung

Um die Korrelationen auf der Ebene der Zusammenfassungen zu berechnen, haben wir zunächst die Präferenzdaten in einen Vektor umgewandelt, der angibt, wie oft diese Zusammenfassung eine Erstplatzierung erhalten hat. Tabelle 4 zeigt, dass - wenig überraschend - die Stichwörter, die zur Erfassung der Gesamtbewertung der Zusammenfassung entwickelt wurden, die höchste Pearson-Korrelation auf Gesamtebene mit den Gesamtpräferenzen aufweisen (0,31), aber die Gesamtkorrelation bleibt niedrig.

Zusammenfassungen

In diesem Beitrag wird untersucht, wie GPT-4 zur Erstellung immer dichterer Zusammenfassungen durch die Chained Density Cueing (CoD)-Methode verwendet werden kann. Es wird festgestellt, dass ein gewisses Maß an Verdichtung die Qualität von Zusammenfassungen verbessern kann, dass aber zu viel Dichte die Lesbarkeit und Kohärenz beeinträchtigen kann. Das Forschungsteam validierte diese Erkenntnis durch menschliche Präferenzstudien und automatische GPT-4-Bewertung und stellte die zugehörigen kommentierten und unkommentierten Zusammenfassungsdaten als Open-Source zur Verfügung, was eine wertvolle Ressource für künftige Forschung darstellt.

Zusammenfassung der wichtigsten Punkte:

• Verkettete Dichtemerkmale (CoD)Generierung dichterer Zusammenfassungen durch schrittweises Hinzufügen fehlender Entitäten, ohne die Länge zu erhöhen.
• physikalische DichteDie Verwendung der Entitätsdichte als Maß für die Informativität von Zusammenfassungen ergab, dass die menschlichen Präferenzen der Dichte von manuell geschriebenen Zusammenfassungen nahe kommen.
• Abstraktheit und IntegrationCoD erzeugt Abstracts, die abstrakter und konvergenter sind und weniger einseitig sind.
• menschliche VorliebeMenschen bevorzugen dichtere als normale GPT-4-Zusammenfassungen, aber eine zu hohe Dichte verringert die Lesbarkeit.
• Automatisierte BewertungDie Ergebnisse der automatischen Bewertung des GPT-4 stimmten im Allgemeinen mit den menschlichen Präferenzen überein, aber die Gesamtkorrelation war gering.

Zukünftige Forschungsrichtungen:

• Eine genauere Definition von KompromissenKünftige Forschungsarbeiten könnten den Zielkonflikt zwischen Informationsgehalt und Lesbarkeit genauer definieren und quantifizieren.
• Multidisziplinäre Anwendungen:: Anwendung der CoD-Methodik auf andere Bereiche, wie z. B. akademische Arbeiten, technische Dokumentation usw., um ihre Verallgemeinerbarkeit zu prüfen.
• Verbesserungen der Modellierung:: Suche nach Möglichkeiten zur Verbesserung des Modells, um die Lesbarkeit zu erhöhen und gleichzeitig ein hohes Maß an Informationen zu erhalten.

Anhand dieses Papiers können wir sehen, dass die KI beeindruckende Fortschritte bei der Textverarbeitung und -generierung gemacht hat, aber immer noch vor der Herausforderung steht, Informationsgehalt und Lesbarkeit in Einklang zu bringen. In Zukunft, wenn die Technologie weiter voranschreitet, haben wir Grund zu der Annahme, dass KI-generierte Zusammenfassungen noch intelligenter und benutzerfreundlicher sein werden.