Ich habe heute einen interessanten Artikel mit dem Titel "TheGroße Sprachmodelle als analoge Reasoner Ein neuer Ansatz für Prompts wird erwähnt - "Analogical Prompts".
Wenn Sie mit Cue-Engineering vertraut sind, haben Sie sicher schon von CoT (Chain of Thought) gehört, die die Argumentationsfähigkeit von Large Language Models (LLMs) erheblich verbessern kann. Bei der Verwendung von CoT müssen wir jedoch relevante Anleitungen oder Denkbeispiele bereitstellen, um das Modell zu leiten.
Die beiden am häufigsten verwendeten CoT-Methoden sind: "0-shot CoT" und "few-shot CoT". 0-shot CoT bedeutet, die Schlussfolgerungsschritte explizit in der Aufforderung anzugeben und den LLM auf die Schritte zur Vervollständigung der Schlussfolgerung verweisen zu lassen. Der 0-shot CoT besteht darin, die Schlussfolgerungsschritte explizit in der Aufforderung anzugeben und den LLM auf die Schritte verweisen zu lassen, um die Schlussfolgerung zu vervollständigen. few-shot CoT besteht darin, eine kleine Anzahl von Beispielen anzugeben und den LLM auf die Beispiele verweisen zu lassen, um die Schlussfolgerung zu vervollständigen.
Vergleich von drei Prompting-Methoden
Zum Beispiel gibt es jetzt eine Mathefrage: "Es gibt ein Quadrat, dessen vier Eckpunkte (-2, 2), (2, -2), (-2, -6) und (-6, -2) sind. "
Wenn Sie den CoT nicht verwenden, dann werfen Sie das Problem einfach auf den LLM und lassen ihn die Antwort finden. Dieses Problem sollte für GPT-4 lösbar sein, aber es ist wahrscheinlich, dass es für GPT-3.5 falsch ist, und sogar noch mehr für andere Modelle mit schwächerer Argumentation.
Wenn Sie eine 0-Schuss-CoT verwenden, müssen Sie die Ableitungsschritte beispielsweise explizit in der Eingabeaufforderung angeben:
Bitte befolgen Sie die nachstehenden Schritte zur Berechnung:
1, berechnen Sie zunächst den Abstand zwischen zwei benachbarten Scheitelpunkten als Länge der Seite des Quadrats
2、Berechnen Sie das Quadrat der Seitenlänge, um die quadratische Fläche zu erhalten
Die Befolgung dieser Schritte sollte korrekte Ergebnisse für ein LLM mit einem GPT von 3,5 liefern.
Wenn Sie "few-shot CoT" verwenden, gibt es beispielsweise nur eine kleine Anzahl von Beispielen:
F: Ein Quadrat mit den vier Eckpunkten (0, 0), (1, 1), (0, 1) und (1, 0): Wie groß ist die Fläche dieses Quadrats?
A: Wir wählen zwei benachbarte Eckpunkte aus, z.B. (0, 0) und (1, 1), berechnen ihre Abstände, um eine Kantenlänge von 1 zu erhalten, und berechnen dann das Quadrat der Kantenlänge, um eine Fläche von 1 zu erhalten.
F: Es gibt ein Quadrat mit den vier Eckpunkten (-2, 2), (2, -2), (-2, -6) und (-6, -2), wie groß ist der Flächeninhalt des Quadrats?
Wir geben in der Eingabeaufforderung explizit ein Beispiel an und weisen den LLM an, die Schritte des Beispiels zu befolgen, so dass der LLM mit GPT-3.5 in der Lage sein sollte, das richtige Ergebnis zu erhalten.
Was also ist "analoges Cueing"?
Denken Sie daran, wie wir in der Schule Mathematik gelernt haben. Wenn wir eine solche Frage stellen, denken wir darüber nach, ob wir ähnliche Aufgaben gelöst haben, vor allem Kleinstadt-Problemlöser wie ich - ich weiß nicht, wie viele Aufgaben ich damals gelöst habe.
Die Wissensreserve des LLM ist stärker als die des Menschen, und er hat alle Arten von Wissen und Fällen während der Ausbildung angesammelt. Was wir also tun müssen, ist, den LLM zu "stimulieren", damit er das Wissen und die Fälle herausfindet, die mit dem Problem zusammenhängen, und sie dann zu nutzen, um zu argumentieren und das Problem zu lösen.
Die "analoge Hinweismethode" besteht also darin, den LLM nicht zuerst das Problem lösen zu lassen, sondern zuerst eine Reihe von Beispielen aufzulisten, die mit dem Problem zusammenhängen, und dann diese Beispiele zu benutzen, um das Problem zu lösen. Dies ist gleichbedeutend damit, dass Sie den LLM Ihnen helfen lassen, einen "few-shot" zu schreiben, der Ihnen hilft, eine Gedankenkette zu entwickeln.
Das ist so ähnlich, wie wenn man eine Matheaufgabe bekommt und das Programm bittet, zuerst dieser Matheaufgabe zu folgen, um ähnliche Beispiele und Referenzantworten zu finden, und es dann bittet, diesen Beispielen und Referenzantworten zu folgen, um das ursprüngliche Problem zu lösen.
Die Struktur von Prompt ist wie folgt:
Ausgangsfrage: \
Verwandte Probleme: Erinnern Sie sich an drei verwandte und einzigartige Probleme und beschreiben Sie jedes Problem und seine Lösung.
Lösen Sie das ursprüngliche Problem:
Lassen Sie den LLM, nachdem er das Problem erhalten hat, sich an drei verwandte und einzigartige Probleme erinnern und jedes Problem und jede Lösung auflisten (vorzugsweise mit Schritten), und stellen Sie sicher, dass Sie die Zwischenprozesse ausdrucken. Wenn der LLM die Ausgabe dieser relevanten Beispiele beendet hat, drucken Sie das ursprüngliche Problem erneut aus (um zu verhindern, dass es vergessen wird), so dass der LLM diese relevanten Beispiele benutzen kann, um über das ursprüngliche Problem nachzudenken.
Eine vollständige Referenz zu Prompt unter Verwendung analoger Hinweise:
Ihre Aufgabe ist es, mathematische Probleme zu lösen. Wenn Sie ein mathematisches Problem vor sich haben, rufen Sie sich einige verwandte Themen als Beispiele ins Gedächtnis. Gehen Sie dann zurück und lösen Sie die allererste Aufgabe.
# Die allererste Frage:
Eine Fluggesellschaft bietet jedem Passagier im Flugzeug ein Abendessen an, bei dem er entweder Steak oder Fisch wählen kann. Drei der sechs Besatzungsmitglieder können sich für Steak und drei für Fisch entscheiden. Wie hoch ist die Wahrscheinlichkeit, dass beide Piloten Fisch bekommen, wenn das Essen zufällig zugewiesen wird?
# Betriebsanleitung:
Die folgenden Punkte müssen in Ihrer Antwort enthalten sein:
## Verwandte Fragen:
Denken Sie sich drei Mathematikaufgaben aus, die mit der allerersten Aufgabe in Zusammenhang stehen. Beachten Sie, dass sich jede Aufgabe von den anderen unterscheiden sollte, auch von der allerersten Aufgabe (z. B. mit anderen Zahlen und Namen). Jede Aufgabe sollte dem unten stehenden Format entsprechen:
- "Q:" gefolgt von einer Beschreibung des Problems
- "A:", gefolgt von der Lösung der Aufgabe, und schreiben Sie die endgültige Antwort in das Feld.
## Lösen Sie das Problem gleich zu Beginn:
Sagen Sie: "Lasst uns die folgende Matheaufgabe lösen". Beantworten Sie dann die Aufgabe in folgendem Format:
F: Kopieren Sie die allererste Frage und fügen Sie sie hier ein.
A: Erkläre die Lösung und schreibe die endgültige Antwort in \boxed.
LLM wird Folgendes ausgeben:
## Verwandte Fragen:
### Frage 1:
- **Q:** Auf einer Party hat jeder die Wahl, entweder Apfelkuchen oder Vanilleeis zu essen. Fünf der Damen haben die Wahl zwischen Apfelkuchen und fünf der Damen haben die Wahl zwischen Vanilleeis. Wie groß ist die Wahrscheinlichkeit, dass beide Damen Vanilleeis bekommen, wenn die Desserts zufällig zugewiesen werden?
- **A:** Verwenden Sie die kombinatorische Berechnung, um dieses Problem zu lösen. Der gesamte Weg besteht darin, zwei von fünf Damen auszuwählen, die Eiscreme wählen können, das sind \( \binom{5}{2} = 10 \) Wege. Und die Gesamtverteilung besteht darin, zwei von zehn Damen auszuwählen, also \( \binom{10}{2} = 45 \) Möglichkeiten. Die Wahrscheinlichkeit ist also \( \frac{10}{45} = \frac{2}{9} \). Die endgültige Antwort lautet \( \boxed{\frac{2}{9}} \).
### Frage 2:
- **Q:** Bei einer Dinnerparty hat jeder Teilnehmer die Wahl zwischen Rot- und Weißwein. Es gibt vier Männer, die Rotwein wählen können, und vier Männer, die Weißwein wählen können. Wenn die Weine zufällig zugewiesen werden, wie groß ist die Wahrscheinlichkeit, dass alle drei Männer Weißwein bekommen?
- **A:** Mit einer ähnlichen Methode werden drei Männer aus den vier Männern ausgewählt, die auf \( \binom{4}{3} = 4 \) Arten Weißwein wählen können. Und die Gesamtverteilung erfolgt durch die Auswahl von drei aus acht Männern, d. h. \( \binom{8}{3} = 56 \) Möglichkeiten. Die Wahrscheinlichkeit ist also \( \frac{4}{56} = \frac{1}{14} \). Die endgültige Antwort lautet \( \boxed{\frac{1}{14}} \).
### Frage 3:
- **Q:** In einem Café kann jeder Kunde entweder einen Milchkaffee oder einen Cappuccino wählen. Drei Kunden können einen Milchkaffee und drei Kunden können einen Cappuccino wählen. Wie hoch ist die Wahrscheinlichkeit, dass ein Kunde einen Cappuccino bekommt, wenn der Kaffee zufällig zugewiesen wird?
- **A:** In diesem Fall gibt es \( \binom{3}{1} = 3 \) Möglichkeiten, einen Kunden auszuwählen, der einen Cappuccino haben kann. Die gesamte Zuteilung besteht darin, einen Kunden aus sechs auszuwählen, d. h. \( \binom{6}{1} = 6 \) Möglichkeiten. Die Wahrscheinlichkeit ist also \( \frac{3}{6} = \frac{1}{2} \). Die endgültige Antwort lautet \( \boxed{\frac{1}{2}} \).
## Lösen wir die folgende Matheaufgabe.
### F: Eine Fluggesellschaft bietet ein Abendessen für alle Passagiere eines Flugzeugs an, die entweder Steak oder Fisch wählen können. Drei der sechs Besatzungsmitglieder können sich für Steak und drei für Fisch entscheiden. Wie hoch ist die Wahrscheinlichkeit, dass beide Piloten Fisch bekommen, wenn das Essen zufällig zugeteilt wird?
### A: Wir können eine ähnliche Lösung für dieses Problem verwenden. Wir haben drei Piloten, die den Fisch wählen können, und wir wollen zwei von ihnen wählen. Dies geschieht auf \( \binom{3}{2} = 3 \) Arten. Die Gesamtverteilung ist zwei von sechs Piloten, das sind \( \binom{6}{2} = 15 \) Möglichkeiten. Die Wahrscheinlichkeit ist also \( \frac{3}{15} = \frac{1}{5} \). Die endgültige Antwort lautet \( \boxed{\frac{1}{5}} \).
