Entlarvung der großen Modell-Illusion: HHEM-Rankings geben Aufschluss über den Stand der faktischen Konsistenz im LLM-Studium

Während sich die Fähigkeiten von Large Language Models (LLMs) ständig weiterentwickeln, war das Phänomen von faktischen Fehlern oder "Illusionen" von Informationen, die nichts mit dem Originaltext zu tun haben, in ihren Ergebnissen immer eine große Herausforderung, die eine breitere Nutzung und tieferes Vertrauen in sie verhindert hat. Um dieses Problem quantitativ bewerten zu können, wurde dieHughes Halluzination Evaluation Model (HHEM) Ranglistenwurde erstellt, um die Häufigkeit von Phantasmen in Mainstream-LLMs bei der Erstellung von Dokumentenzusammenfassungen zu messen.

Der Begriff "Illusion" bezieht sich auf die Tatsache, dass das Modell "Fakten" in die Zusammenfassung einführt, die im Originaldokument nicht enthalten sind oder sogar widersprüchlich sind. Dies ist ein kritischer Qualitätsengpass für Informationsverarbeitungsszenarien, die auf LLM beruhen, insbesondere für solche, die auf Retrieval Augmented Generation (RAG) basieren. Denn wenn das Modell den gegebenen Informationen nicht treu bleibt, wird die Glaubwürdigkeit seines Ergebnisses stark beeinträchtigt.

Wie funktioniert das HHEM?

Das Ranking verwendet das von Vectara entwickelte Halluzinationsbewertungsmodell HHEM-2.1. Es funktioniert so, dass das HHEM-Modell für ein Quelldokument und eine von einem bestimmten LLM erstellte Zusammenfassung eine Halluzinationsbewertung zwischen 0 und 1 ausgibt. Je näher die Punktzahl bei 1 liegt, desto höher ist die sachliche Übereinstimmung der Zusammenfassung mit dem Quelldokument; je näher sie bei 0 liegt, desto stärker sind die Halluzinationen oder sogar vollständig erfundene Inhalte.Vectara bietet auch eine Open-Source-Version, HHEM-2.1-Open, für Forscher und Entwickler an, um die Bewertung lokal durchzuführen, und die Modellkarten werden auf der Plattform Hugging Face veröffentlicht.

Bewertungsmaßstäbe

Für die Evaluierung wurde ein Datensatz von 1006 Dokumenten verwendet, die hauptsächlich aus öffentlich zugänglichen Datensätzen wie dem klassischen CNN/Daily Mail Corpus stammen. Das Projektteam erstellte für jedes Dokument eine Zusammenfassung unter Verwendung der einzelnen LLMs, die an der Evaluierung beteiligt waren, und berechnete dann den HHEM-Score für jedes Paar (Ausgangsdokument, erstellte Zusammenfassung). Um eine Standardisierung der Auswertung zu gewährleisten, wurden alle Modellaufrufe auf temperature Der Parameter ist 0 und dient dazu, die deterministischste Ausgabe des Modells zu erhalten.

Zu den Bewertungsindikatoren gehören u. a:

• Halluzinationsrate. Prozentualer Anteil der Abstracts mit HHEM-Werten unter 0,5. Je niedriger der Wert, desto besser.
• Rate der faktischen Konsistenz. 100% minus der Rate der Halluzinationen, die den Anteil der Zusammenfassungen widerspiegelt, deren Inhalt mit dem Original übereinstimmt.
• Antwortrate. Prozentsatz der Modelle, die erfolgreich nicht leere Zusammenfassungen erstellen. Einige Modelle verweigern möglicherweise die Antwort oder machen Fehler aufgrund von Sicherheitsrichtlinien für Inhalte oder aus anderen Gründen.
• Durchschnittliche Länge der Zusammenfassung. Die durchschnittliche Anzahl der Wörter in den erstellten Zusammenfassungen gibt einen Einblick in den Stil der Ausgabe des Modells.

LLM-Illusion-Rankings erklärt

Nachfolgend finden Sie die LLM-Halluzinationsrankings auf der Grundlage der HHEM-2.1-Modellbewertung (Stand: 25. März 2025, bitte beachten Sie die aktuelle Aktualisierung):

Hinweis: Die Modelle sind in absteigender Reihenfolge nach der Phantomrate geordnet. Die vollständige Liste und die Details zum Modellzugang können im ursprünglichen HHEM Leaderboard GitHub-Repository eingesehen werden.

Ein Blick auf die Rangliste zeigt, dass Googles Gemini Familie von Modellen und einige der neueren Modelle von OpenAI (z. B. das o3-mini-high-reasoning) haben beeindruckende Ergebnisse erzielt, wobei die Rate der Halluzinationen auf einem sehr niedrigen Niveau gehalten wurde. Dies zeigt die Fortschritte, die die Hersteller von Kopfhörern bei der Verbesserung der Faktorisierung ihrer Modelle gemacht haben. Gleichzeitig sind erhebliche Unterschiede zwischen den Modellen verschiedener Größen und Architekturen festzustellen. Einige kleinere Modelle, wie das von Microsoft Phi Serie oder Googles Gemma Reihe, erzielten ebenfalls gute Ergebnisse, was darauf hindeutet, dass die Anzahl der Modellparameter nicht die einzige Determinante für die faktische Konsistenz ist. Einige frühe oder speziell optimierte Modelle weisen jedoch relativ hohe Täuschungsquoten auf.

Diskrepanz zwischen starken Inferenzmodellen und Wissensbasen: der Fall DeepSeek-R1

die Charts (der Bestseller) DeepSeek-R1 Die relativ hohe Rate an Halluzinationen (14,31 TP3T) wirft eine Frage auf, die es wert ist, untersucht zu werden: Warum neigen einige Modelle, die bei logischen Aufgaben gut abschneiden, bei faktenbasierten Zusammenfassungsaufgaben zu Halluzinationen?

DeepSeek-R1 Solche Modelle sind oft so konzipiert, dass sie komplexes logisches Denken, das Befolgen von Befehlen und das Denken in mehreren Schritten beherrschen. Ihre Hauptstärke liegt in der "Deduktion" und "Ableitung" und nicht einfach in der "Wiederholung" oder "Paraphrasierung". Allerdings können Wissensdatenbanken (insbesondere RAG (Wissensbasis in Szenarien) ist die Kernanforderung genau die letztgenannte: Das Modell muss Antworten oder Zusammenfassungen ausschließlich auf der Grundlage der bereitgestellten Textinformationen geben, wobei die Einführung von externem Wissen oder eine Überextraktion auf ein Minimum beschränkt werden.

Wenn ein starkes Reasoning-Modell nur auf die Zusammenfassung mit einem bestimmten Dokument beschränkt ist, kann sein "Reasoning"-Instinkt ein zweischneidiges Schwert sein. Es kann:

1. Überinterpretation. Unnötige Extrapolation von Informationen aus dem Originaltext und Ziehen von Schlussfolgerungen, die im Originaltext nicht ausdrücklich erwähnt werden.
2. Informationen zum Nähen. Es wird versucht, die fragmentierten Informationen im Originaltext durch eine "vernünftige" logische Kette zu verknüpfen, die möglicherweise nicht durch den Originaltext gestützt wird.
3. Externes Standardwissen. Selbst wenn sie aufgefordert werden, sich nur auf den Originaltext zu verlassen, kann das in ihrer Ausbildung erworbene umfangreiche Wissen über die Welt unbewusst einfließen und zu Abweichungen von den Fakten des Originaltextes führen.

Einfach ausgedrückt, können solche Modelle "zu viel denken", und in Szenarien, die eine genaue und getreue Wiedergabe von Informationen erfordern, neigen sie dazu, "zu schlau für ihr eigenes Wohl" zu sein und Inhalte zu schaffen, die vernünftig zu sein scheinen, aber in Wirklichkeit eine Illusion sind. Dies zeigt, dass die Argumentationsfähigkeit von Modellen und die faktische Konsistenz (insbesondere bei eingeschränkten Informationsquellen) zwei unterschiedliche Fähigkeitsdimensionen sind. Für Szenarien wie Wissensdatenbanken und RAGs kann es wichtiger sein, Modelle mit einer niedrigen Halluzinationsrate auszuwählen, die die eingegebenen Informationen getreu wiedergeben, als einfach nur eine Argumentationsbewertung zu verfolgen.

Methodik und Hintergrund

Das HHEM-Ranking ist nicht aus dem Nichts entstanden und baut auf einer Reihe früherer Bemühungen im Bereich der Erforschung der faktischen Konsistenz auf, wie z. B. den folgenden SUMMAC, TRUE, TrueTeacher Die Methodik, die in den Arbeiten von et al. Die zentrale Idee besteht darin, ein Modell speziell für die Erkennung von Halluzinationen zu trainieren, das ein hohes Maß an Korrelation mit menschlichen Bewertern bei der Beurteilung der Übereinstimmung der Zusammenfassung mit dem Originaltext erreicht.

Die Zusammenfassungsaufgabe wurde im Rahmen des Evaluierungsprozesses als Proxy für die Faktizität des LLM ausgewählt. Dies liegt nicht nur daran, dass die Zusammenfassungsaufgabe selbst ein hohes Maß an faktischer Konsistenz erfordert, sondern auch daran, dass sie dem Arbeitsmodell des RAG-Systems sehr ähnlich ist - in RAG ist es das LLM, das die Rolle der Integration und Zusammenfassung der abgerufenen Informationen spielt. Die Ergebnisse dieses Rankings sind daher aufschlussreich für die Beurteilung der Zuverlässigkeit des Modells in RAG-Anwendungen.

Es sei darauf hingewiesen, dass das Bewertungsteam Dokumente ausschloss, bei denen die Modelle die Antwort verweigerten oder sehr kurze, ungültige Antworten gaben, und schließlich die 831 Dokumente (von ursprünglich 1006), für die alle Modelle erfolgreich Zusammenfassungen erstellen konnten, für die endgültige Berechnung der Rangfolge verwendete, um Fairness zu gewährleisten. Die Metriken für die Antwortrate und die durchschnittliche Länge der Zusammenfassungen spiegeln auch die Verhaltensmuster der Modelle bei der Bearbeitung dieser Anfragen wider.

Die für die Bewertung verwendete Prompt-Vorlage lautet wie folgt:

You are a chat bot answering questions using data. You must stick to the answers provided solely by the text in the passage provided. You are asked the question 'Provide a concise summary of the following passage, covering the core pieces of information described.' <PASSAGE>'

Zum Zeitpunkt des eigentlichen Anrufs wird die<PASSAGE> wird durch den spezifischen Inhalt des Quelldokuments ersetzt.

vorausschauend

Das HHEM-Ranking-Programm hat angekündigt, dass es plant, den Umfang der Bewertung in Zukunft zu erweitern:

• Genauigkeit der Zitate. Fügen Sie eine Bewertung der Genauigkeit der LLM-Quellennachweise in den RAG-Szenarien hinzu.
• Andere RAG-Aufgaben. Abdeckung weiterer RAG-bezogener Aufgaben, wie z.B. die Zusammenfassung von mehreren Dokumenten.
• Mehrsprachige Unterstützung. Ausweitung der Bewertung auf andere Sprachen als Englisch.

Das HHEM-Ranking bietet ein wertvolles Fenster für die Beobachtung und den Vergleich der Fähigkeit verschiedener LLMs, Täuschungen zu kontrollieren und die faktische Konsistenz zu erhalten. Es ist zwar nicht das einzige Maß für die Qualität eines Modells und deckt auch nicht alle Arten von Täuschungen ab, aber es hat sicherlich die Aufmerksamkeit der Branche auf das Thema der LLM-Zuverlässigkeit gelenkt und bietet einen wichtigen Bezugspunkt für Entwickler, um Modelle auszuwählen und zu optimieren. In dem Maße, wie die Modelle und Bewertungsmethoden weiter verbessert werden, können wir noch mehr Fortschritte bei der Bereitstellung von genauen und vertrauenswürdigen Informationen aus LLMs erwarten.