AI Zusammenfassung
skizziert.
AI Tipps Technik In einer Rundtischdiskussion tauschten mehrere Anthropic-Experten ihre Kenntnisse und praktischen Erfahrungen mit der Technik von Queues aus verschiedenen Blickwinkeln aus, darunter Forschung, Verbraucher und Unternehmen.
Der Artikel beschreibt die Definition von Cue Engineering, seine Bedeutung und wie man ein guter Cue Engineer wird.
Der Kerngedanke ist, dass Cue-Engineering mehr ist als einfache Texteingabe, sondern ein Prozess, der ständige Iteration, Experimente und ein tieferes Verständnis der Psychologie des Modells erfordert..
Es geht darum, wie man effektiv mit KI-Modellen kommuniziert und sie in das Gesamtsystem integriert.
Die Ähnlichkeiten zwischen Cue Engineering und Programmierung werden ebenso untersucht wie die unterschiedlichen Schwerpunkte in verschiedenen Anwendungsszenarien (z.B. Forschung, Unternehmen und Alltagsdialog).
Unterstreichungen Klare Kommunikation, Fähigkeit zur Iteration und sorgfältige Beobachtung der Modellergebnisse Das ist der Schlüssel, um das Projekt in Gang zu bringen.
Die Experten erörterten auch verschiedene Herausforderungen, die in der Praxis auftreten, und gaben wertvolle Erfahrungen und Tipps weiter, z. B. wie man mit Grenzfällen umgeht, wie man das Feedback der Modelle selbst nutzt, um die Hinweise zu verbessern, und wie man zwischen verschiedenen Arten von Modellen unterscheiden kann.
Kurz und bündig.Dieser Artikel bietet den Lesern einen umfassenden und aufschlussreichen Leitfaden zum Thema Sofortengineering und einen Ausblick auf künftige Entwicklungen.
Wichtigste Punkte
- Cue-Engineering ist ein Prozess der klaren Kommunikation mit einem Modell und der Iteration, um sein Potenzial zu maximieren.
- Das Herzstück des Ingenieurwesens ist das Experimentieren und Ausprobieren, die Fähigkeit, verschiedene Ansätze von Grund auf neu zu erproben.
- Prompts sind nicht nur Text, sondern ein in das Gesamtsystem integrierter Programmieransatz, der die Berücksichtigung von Datenquellen, Latenzzeiten und Systemdesign erfordert.
- Gute Prompting-Ingenieure müssen in der Lage sein, klar zu kommunizieren, zu iterieren und die Modellergebnisse eingehend zu analysieren.
- Das Verständnis des "Geistes" des Modells ist von entscheidender Bedeutung und muss berücksichtigen, wie das Modell die Anweisungen interpretiert.
Innovative Einblicke
- Betrachten Sie das geschriebene Wort als Code, und halten Sie das Schreiben eines guten Aufsatzes für genauso wichtig wie das Schreiben von Code.
- Es wird betont, wie wichtig es ist, die Modellausgabe zu lesen, ähnlich wie beim maschinellen Lernen "die Daten zu betrachten".
- Bieten Sie an, Modelle zu verwenden, um die Hinweise zu optimieren, oder lassen Sie das Modell sogar auf seine eigenen Fehler hinweisen.
- Es wird argumentiert, dass es in vielen Fällen effektiver ist, dem Modell die Aufgabe direkt zu erklären, anstatt so zu tun, als sei es eine Figur.
- Die Zukunft des Cue-Engineerings wird sich mehr darauf konzentrieren, Informationen vom Benutzer zu erhalten, wobei Modelle die Rolle von Ratgebern spielen.
Wichtige Zitate und Übersetzungen
Originalbeitrag 1: Ich denke, der technische Teil kommt vom Ausprobieren. Eine wirklich schöne Sache, wenn man mit einem Modell spricht, ist, dass man diese Neustart-Taste hat, anders als bei einem Menschen.
Übersetzung: Ich denke, dass der "technische" Teil aus Versuch und Irrtum resultiert. Nun, einer der großen Unterschiede zwischen dem Gespräch mit einem Modell und dem mit einem Menschen ist, dass man eine Reset-Taste hat. Mit dieser riesigen Taste fängt man wieder ganz von vorne an.
Grund des Zitats: Dieses Zitat verdeutlicht die Bedeutung von "Engineering" im Cue-Engineering und unterstreicht die Bedeutung von kontinuierlichen Experimenten und Iterationen zur Verbesserung von Cues, was der Schlüssel zur Unterscheidung von Cue-Engineering von anderen Formen der Kommunikation ist.
Original 2: Ich betrachte Prompts als die Art und Weise, wie man Modelle programmiert, das macht es zu kompliziert. Denn ich denke, Zack hat im Allgemeinen Recht, dass es einfach nur Aber wenn man ein bisschen darüber nachdenkt, wie man ein Modell programmiert, muss man sich überlegen, woher die Daten kommen, auf welche Daten man zugreifen kann... (Absatz 7)
Übersetzung: Ich denke, Hinweise sind eine Art, das Modell zu programmieren, auch wenn es ein bisschen kompliziert ist, das zu sagen. Denn ich denke, Zack hat Recht, dass eine klare Kommunikation wichtig ist. Aber wenn man Prompts als Programmierung eines Modells ansieht, muss man sich überlegen, woher die Daten kommen und auf welche Daten man Zugriff hat.
Grund des Zitats: Diese Passage stellt eine Verbindung zwischen Cueing und Programmierung her und betont, dass es beim Cueing nicht nur um Sprache geht, sondern dass ein systemisches Denken erforderlich ist, das Faktoren wie Daten, Latenzzeiten und Systemintegration einbezieht.
Ich denke also, dass ich dem Modell vertrauen kann, wenn ich mir 100 Ausgaben davon ansehe und es wirklich konsistent ist. Und ich weiß, dass ich diese konstruiert habe, um im Grunde alle Randfälle und alle seltsamen Dinge, die das Modell tun könnte, seltsame Eingaben usw. herauszufinden. Und ich weiß, dass ich sie so konstruiert habe, dass ich im Grunde alle Randfälle und alle seltsamen Dinge, die das Modell tun könnte, seltsame Eingaben usw. herausfinden konnte. Darauf vertraue ich wahrscheinlich mehr als auf einen viel lockerer konstruierten Satz von mehreren Tausend.
Übersetzung: Wenn ich mir also 100 Ausgaben eines Modells ansehe und sie sehr konsistent sind und ich weiß, dass ich diese Ausgaben so konstruiert habe, dass alle Grenzfälle und seltsamen Dinge, die das Modell tun könnte, und seltsame Eingaben usw. herausgearbeitet wurden, werde ich diesem Modell wahrscheinlich mehr vertrauen als einer lose konstruierten Anzahl von Ausgaben.
Grund des Zitats: Diese Passage unterstreicht den Wert von kleinen Datensätzen mit hoher Qualität gegenüber großen Datensätzen mit niedriger Qualität. Beim Cue-Engineering sollte der Schwerpunkt auf der angemessenen Berücksichtigung von Randfällen liegen, anstatt blindlings eine große Anzahl von Stichproben zu verfolgen.
Anmerkungen zum Lesen
[Hinweise zum Wesen der Technik]: Iteration und Experimentieren
- Cue-Engineering ist der Prozess der Optimierung von Modellausgaben durch Versuch und Irrtum und Iteration.
- Der Schwerpunkt liegt auf der Verwaltung und Verfolgung von Experimenten, als ob sie programmiert wären.
- Klare Kommunikation ist die Grundlage des Cue Engineering.
#rompetenentwicklung #iteration 1TP5Experimentation
[Qualitäten eines prompten Ingenieurs]: Verständnis und Beobachtung
- Klare Kommunikationsfähigkeiten und die Bereitschaft, sich zu verbessern, sind erforderlich.
- Erfordert ein tiefes Verständnis des Modells und die Fähigkeit, aus den Ergebnissen des Modells zu lernen.
- Berücksichtigung der Vielfalt praktischer Nutzungsszenarien und der Benutzereingaben.
#Kommunikation 1TP5Verständnis 1TP5Beobachtung
[Modell Interaktion]: Vertrauen und Herausforderung
- Modellen sollte nicht blind vertraut werden, sondern sie müssen laufend auf ihre Zuverlässigkeit geprüft und validiert werden.
- Modelle können zur Selbstdiagnose von Fehlern und für Verbesserungsvorschläge verwendet werden.
- Modelle können den Nutzern helfen, Aufgaben besser zu verstehen und angeleitet zu werden.
#rust #Feedback #Zusammenarbeit
- Tipps für den Engineering-Prozess::
Start --> Eingabeaufforderung schreiben --> Ausgabe modellieren --> Ergebnisse analysieren --> Eingabeaufforderung modifizieren --> Schleife bis zur Zufriedenheit
Ähnlich wie bei einem zyklischen Prozess werden die Spitzen ständig verbessert, um das gewünschte Ergebnis zu erzielen.
- Modellierungsbewertung::
| Konsistenz der Ausgabe | Abdeckung von Randfällen | Eingabevielfalt |
| ------------| ------------| ------------|
| Hoch | Hoch | Hoch |
- Je höher die drei Schlüsseldimensionen Konsistenz, Abdeckung von Randfällen und Eingabevielfalt, desto besser.
Tipps für die Zukunft der Technik
Benutzeranforderungen --> Modellverständnis --> Modellfragen --> Benutzerfeedback --> Optimierungshinweise --> Endgültige Ergebnisse
- In Zukunft werden Modelle aktiver in den Prozess des Verstehens der Benutzeranforderungen und der Optimierung von Cues einbezogen.
Fragen und Antworten zu zentralen Themen
1. was ist ein Sofortprojekt?
Schnelles Engineering ist eine Technik, mit der große Sprachmodelle (LLM) durch den Entwurf und die Optimierung von Aufforderungen (Prompts) zur Ausführung bestimmter Aufgaben angeleitet werden. Ziel ist es, das Modell durch klare und präzise Kommunikation in die Lage zu versetzen, die gewünschte Ausgabe zu produzieren. Im Folgenden wird das Prompts Engineering ausführlich erläutert:
Definition eines Stichworts
- RichtlinienPrompt: Ein Prompt ist eine Anweisung, die der Benutzer dem Modell gibt, damit es eine bestimmte Aufgabe ausführt. Sie kann ein einfacher Satz oder eine komplexe Beschreibung mit mehreren Schritten sein.
- VerfahrenHinweis: Hinweise können auch als eine in natürlicher Sprache geschriebene Prozedur betrachtet werden, die das Modell bei der Ausführung einer Aufgabe anleitet.
- KommunikationsmethodeIm Wesentlichen sind Aufforderungen eine Art der Kommunikation mit dem Modell, ähnlich der Kommunikation mit einer Person, und müssen klar und eindeutig sein.
Stichworte zu den Kernelementen des Projekts
- klare KommunikationPrompt Engineering legt Wert auf eine klare Kommunikation, damit die Benutzer ihre Bedürfnisse genau ausdrücken können und das Modell die spezifischen Anforderungen der Aufgabe versteht.
- Iterativer ProzessCue-Engineering ist ein iterativer Prozess, bei dem Cues kontinuierlich ausprobiert, verändert und optimiert werden, um die Leistung eines Modells zu verbessern. Es ist vergleichbar mit dem Entwicklungs- und Fehlerbehebungsprozess in der Softwareentwicklung.
- TestBeobachten Sie die Reaktion des Modells, indem Sie verschiedene Stichwörter ausprobieren und die Stichwörter entsprechend den Ergebnissen anpassen.
- Informationen zurücksendenAnalysieren Sie den Output des Modells, identifizieren Sie Fehler und korrigieren Sie sie entsprechend.
- ZyklusWiederholen Sie die Experimente und Rückmeldungen, bis das gewünschte Ergebnis erreicht ist.
- systemisches DenkenPrompt-Engineering bedeutet nicht nur das Schreiben einzelner Prompts, sondern auch die Überlegung, wie Prompts in das Gesamtsystem integriert werden. Dies erfordert Überlegungen zur Quelle der Daten, zu ihrer Verarbeitung und zur Rolle des Modells im System.
- Modelle verständlich machenCueing-Ingenieure müssen verstehen, wie Modelle funktionieren und wo ihre Grenzen liegen, um Cues besser entwickeln zu können. Dazu gehört auch das Verständnis dafür, wie das Modell mit verschiedenen Arten von Eingaben umgeht und wie der Denkprozess des Modells gelenkt werden kann.
- Fähigkeiten zur ProblemlösungTipp: Ingenieure müssen systematisch alle möglichen Szenarien in Betracht ziehen und Lösungen für diese Szenarien anbieten, als ob es sich um technische Probleme handeln würde.
- Fehler bei der VorhersageVorhersage von Fehlern, die bei einem Modell auftreten können, und Erarbeitung geeigneter Hinweise zur Behebung dieser Fehler.
- Umgang mit GrenzfällenÜberlegen Sie, wie das Modell reagiert, wenn es auf ungewöhnliche Eingaben oder Fehler stößt.
- VersionskontrolleHinweise wie Code behandeln, einschließlich Versionskontrolle, Verfolgung von Experimenten usw.
- Lesen der ModellausgabeLesen Sie die Ergebnisse eines Modells sorgfältig, um seinen Denkprozess zu verstehen, und nicht nur, um zu sehen, ob die Ergebnisse korrekt sind.
- theoretisches DenkenWenn Sie ein Modell verstehen wollen, müssen Sie überlegen, wie das Modell Ihre Anweisungen auf theoretischer Ebene verstehen könnte, anstatt nur von Ihrem eigenen Verständnis her zu schreiben.
Zweck des Erinnerungsprojekts
- Entfaltung des Potenzials der ModellierungDer Zweck des Cue Engineering besteht darin, das volle Potenzial eines Modells zu nutzen, um es in die Lage zu versetzen, Aufgaben zu erfüllen, die über seine ursprünglichen Konstruktionsmöglichkeiten hinausgehen.
- Optimierung der ModellleistungVerbesserung der Leistung des Modells bei bestimmten Aufgaben durch gut durchdachte Anhaltspunkte.
- Modellhaftes VerhaltenDas Verhalten des Modells durch Hinweise steuern, die es dem Modell ermöglichen, gewünschte Ergebnisse zu produzieren und unerwünschte Ergebnisse zu vermeiden.
Cue Engineering Herausforderungen
- Schwierigkeiten bei der ArtikulationEs ist schwierig, eine Aufgabe in Worten genau zu beschreiben und alle Annahmen zu beseitigen.
- Models stellen keine Fragen.Modelle stellen keine klärenden Fragen wie Menschen, daher müssen Cueing-Ingenieure mögliche Modellfragen selbst vorhersehen und die entsprechenden Antworten im Cue geben.
- Die Schwierigkeit, den perfekten Tipp zu findenDie Suche nach dem perfekten Tipp kann ein schwieriges Unterfangen sein, da es immer die Möglichkeit eines besseren Tipps gibt.
Cue Engineering Anwendungen
- Verschiedene SzenenCue Engineering kann in einer Vielzahl von Szenarien eingesetzt werden, einschließlich Forschung, Unternehmensanwendungen und Verbraucheranwendungen.
- Verschiedene Arten von AufgabenPrompt-Projekte können für verschiedene Aufgabentypen verwendet werden, z. B. zur Texterstellung, Informationsextraktion, Beantwortung von Fragen und Codegenerierung.
- Integration in SystemePrompt-Engineering: Es geht nicht nur um das Schreiben einzelner Prompts, sondern auch um die Integration von Prompts in das Gesamtsystem.
Tipps für die Zukunft der Technik
- Modellgestützte HinweiseKünftig wird das Modell den Nutzern dabei helfen können, bessere Prompts zu schreiben, indem es Fragen stellt, Vorschläge macht und automatisch Prompts generiert.
- Mensch-Maschine-KollaborationKünftig könnte sich das Cue-Engineering zu einem Modell der Mensch-Computer-Zusammenarbeit entwickeln, bei dem das Modell auf der Grundlage der Ziele des Benutzers Fragen stellt und den Benutzer anleitet, effektivere Cues zu schreiben.
- Von der Orientierung zur BeratungDa die Modelle immer intelligenter werden, kann sich das Cue-Engineering von einem Führungsmodell zu einem Beratungsmodell wandeln, bei dem das Modell dem Benutzer auf der Grundlage der Ziele des Benutzers umgekehrte Hinweise gibt.
Prompt Engineering ist eine Technik, die Kreativität, logisches Denken und Systemdenken erfordert. Es geht nicht nur darum, einen guten Hinweis zu schreiben, sondern auch darum, das Modell zu verstehen, Experimente zu entwerfen, iterativ zu optimieren und Probleme zu lösen. Cue-Ingenieure müssen wie Ingenieure experimentieren und lernen, um das volle Potenzial eines Modells auszuschöpfen.
2) Was sind die Qualitäten eines guten Tontechnikers?
- Klare KommunikationsfähigkeitenGute Prompting-Ingenieure sind in der Lage, Ideen klar zu formulieren, Aufgaben klar zu verstehen und Konzepte genau zu beschreiben. Dazu gehört auch die Fähigkeit, Anweisungen so zu formulieren, dass sie für das Modell leicht zu verstehen sind.
- Iterative FähigkeitenSie sind bereit, die Eingabeaufforderungen ständig zu wiederholen und zu optimieren und darüber nachzudenken, wo das Modell sie möglicherweise falsch interpretiert. Dieser iterative Prozess beinhaltet die Analyse der Antwort des Modells, die Ermittlung von Fehlern und die Vornahme von Korrekturen.
- Randfälle testenSie werden aktiv über die weniger häufigen Situationen nachdenken, in denen der Hinweis falsch sein könnte, z. B. wenn die Eingabe ungültig ist oder nicht dem erwarteten Format entspricht. Dazu gehört das Testen einer Vielzahl von Ausnahmen, um sicherzustellen, dass das Modell in verschiedenen Situationen richtig funktioniert.
- Verstehen der ModellergebnisseGute Cueing-Ingenieure achten auf den Output des Modells, nicht nur auf die Ergebnisse. Sie werden sich mit dem Denkprozess des Modells befassen und versuchen, seine Überlegungen zu verstehen.
- theoretisches DenkenSie sind in der Lage, von ihrem eigenen Verständnis auszugehen und systematisch alle Informationen aufzuschlüsseln, die zur Erfüllung der Aufgabe erforderlich sind. Sie sind in der Lage, die notwendigen Informationen in einer für das Modell verständlichen Weise zu vermitteln.
- EinfühlungsvermögenSie sind in der Lage, sich in die Lage des Modells zu versetzen und zu verstehen, wie das Modell ihre Anweisungen wahrnimmt. Sie müssen auch die Bedürfnisse des Benutzers berücksichtigen und verstehen, wie der Benutzer mit dem Modell interagiert.
- experimentelle DenkweiseSie entdecken die Grenzen des Modells durch ständiges Experimentieren und Ausprobieren. Sie haben keine Angst vor dem Scheitern und lernen daraus. Sie vertiefen ihr Verständnis des Modells, indem sie die Grenzen seiner Fähigkeiten ausloten...
- Verbesserungen durch ModellierungSie verbessern die Anweisungen nicht nur durch ihre eigenen Bemühungen, sondern auch durch die Nutzung des Modells selbst. Zum Beispiel werden sie das Modell bitten, auf Unklarheiten in den Anweisungen hinzuweisen oder das Modell bitten, Änderungen vorzuschlagen. Sie werden versuchen, das Modell dazu zu bringen, seine Fehler zu erklären und die Anweisungen zu verbessern.
- Vertrauen, aber nachprüfenSie sind vorsichtig, was die Fähigkeiten des Modells angeht, und stellen seine Zuverlässigkeit durch wiederholte Tests sicher. Sie validieren die Ergebnisse des Modells durch umfangreiche Tests, anstatt dem Modell blind zu vertrauen.
- PrüfungSie lesen die Aufforderungen und die Modellausgabe sorgfältig und analysieren die Details. Sie lernen, wie das Modell denkt, indem sie die Details der Modellausgabe analysieren.
- Nicht besessen von PerfektionAnstatt nach dem perfekten Prompt zu streben, werden sie es immer wieder versuchen und aus ihren Fehlern lernen. Sie werden erkennen, dass Prompting ein iterativer Prozess und keine einmalige Aufgabe ist.
- Behandlung von Text als CodeSie können die Bedeutung von Text als Code verstehen und wissen, dass Hinweise auch eine Versionskontrolle, die Verfolgung von Experimenten usw. erfordern.
- Fähigkeit, aus verschiedenen Perspektiven zu denkenGute Cueing-Ingenieure sind in der Lage, die Dinge aus verschiedenen Blickwinkeln zu betrachten, z. B. indem sie sich in die Lage des Modells versetzen und die Bedürfnisse des tatsächlichen Benutzers berücksichtigen.
- Fähigkeit, neue Konzepte zu entwickelnSie werden bei Bedarf neue Konzepte definieren und diese durch die Arbeit mit Modellen verdeutlichen.
- Fähigkeit, Ideen zu externalisierenSie können ihre Ideen klar ausdrücken und komplexe Konzepte in ihrem Gehirn in Anweisungen übersetzen, die von Modellen verstanden werden können.
Gute Cueing-Ingenieure sind nicht nur klar kommunizierend und iterativ, sondern auch einfühlsam, in der Lage, sich in das Modell hineinzuversetzen, und in der Lage, kontinuierlich zu experimentieren und zu lernen, indem sie die Grenzen des Modells durch das Testen von Randfällen entdecken. Sie werden auch das Modell selbst nutzen, um Hinweise zu verbessern und aus den Details der Modellausgabe zu lernen. Sie müssen verstehen, dass der Prozess, um zum Stichwort zu gelangen, iterativ ist und nicht nach Perfektion strebt, und sie müssen die Ähnlichkeiten zwischen Text und Code verstehen. Sie müssen die Sache aus verschiedenen Blickwinkeln betrachten, sowohl im Hinblick auf die Benutzererfahrung als auch auf die Art und Weise, wie das Modell selbst wahrgenommen wird. Vor allem müssen sie in der Lage sein, ihre Ideen zu artikulieren und die Konzepte in ihren Köpfen zu verankern.
3) Wie kann man effektiv mit dem Modell arbeiten?
3.1 Klare Kommunikation steht im Mittelpunkt
- Genaue Formulierung der Bedürfnisse: Genau wie bei der Kommunikation mit Menschen müssen Sie Ihre Bedürfnisse klar zum Ausdruck bringen, damit das Modell genau versteht, was Sie anstreben.Vermeiden Sie zweideutige AnweisungenVersuchen Sie, so genau wie möglich zu beschreiben, was das Modell leisten soll.
- Klären Sie die Einzelheiten der Aufgabe: Das müssen Sie.Legen Sie alle Ihre Annahmen ab.und geben alle Informationen an, die das Modell wissen muss.Gehen Sie nicht davon aus, dass das Modell etwas weiß, was Sie ihm nicht ausdrücklich mitgeteilt haben..
3.2 Betrachten Sie die Aufforderung als ein Verfahren
- Code in natürlicher Sprache: Ein Prompt kann als eine in natürlicher Sprache geschriebene Prozedur betrachtet werden, die das Modell durch eine Aufgabe führt.
- Systemorientiertes Denken: Eingabeaufforderungen wie Code behandelneinschließlich Versionskontrolle, Verfolgung von Experimenten usw. Es ist zu überlegen, wie sich die Stichwörter in das Gesamtsystem einfügen, einschließlich der Datenquellen, der Datenverarbeitung und der Rolle des Modells im System.
3.3 Iteration und Experimentieren sind erwünscht
- Versuch und Irrtum sind die Regel: Cue-Engineering ist ein Versuch-und-Irrtum-Prozess, bei dem ständig verschiedene Cues ausprobiert und auf der Grundlage des Feedbacks des Modells angepasst werden.
- Schaltfläche Neustart: Das Modell verfügt über einen "Neustart-Knopf", so dass Sie jederzeit zum Anfang zurückkehren und einen neuen Ansatz ausprobieren können, ohne durch frühere Versuche gestört zu werden.
- Iterieren Sie häufig: Effektives Cueing Engineering erfordert häufige Interaktion mit dem Modell für mehrereiterativ vor und zurückstatt perfekte Ergebnisse auf einmal zu erwarten.
3.4 Den Geist des Modells verstehen
- Modellierungsperspektiven: Versuchen Sie, Ihre Anweisungen aus dem Blickwinkel des Modells zu betrachten und zu verstehen, wie das Modell Ihre Anforderungen verstehen könnte. Dies erfordert von IhnenDas Modell spielender Figur und ahmt ihre Denkweise nach.
- Lesen Sie die Modellausgabe: Lesen Sie die Ergebnisse des Modells sorgfältig und achten Sie dabei nicht nur darauf, ob die Ergebnisse korrekt sind, sondern auch darauf, dass Sie den Denkprozess des Modells verstehen.Vom Output lernenVerstehen Sie, wie das Modell Ihre Anweisungen versteht.
- Erforschen Sie den Modellfehler: Ignorieren Sie nicht die Fehler, die das Modell macht.Fragen Sie, warum das Modell falsch istund versuchen, die Ursache des Fehlers zu verstehen, und können das Modell sogar auffordern, die Anweisungen zu ändern. Modelle sind manchmal in der Lage, auf Unklarheiten in Anweisungen hinzuweisen und Verbesserungsvorschläge zu machen.
3.5 Umgang mit Grenzfällen
- Vorhersagefehler: Situationen vorhersehen, in denen das Modell schief gehen könnteund entwerfen Sie die entsprechenden Hinweise zur Behandlung dieser Fehler. Überlegen Sie zum Beispiel, wie das Modell reagiert, wenn es auf ungewöhnliche Eingaben oder Fehler stößt:
- Bieten Sie Optionen an: Wenn das Modell nicht sicher ist, was es mit bestimmten Eingaben tun soll, geben Sie ihm einen "Exit", d. h. lassen Sie es das Label "not sure" ausgeben.
- Testen Sie auf Extremwerte: Testen Sie Ihre Prompts mit einer Reihe von Extremen (z. B. leere Zeichenfolgen, Eingaben, die nicht den Erwartungen entsprechen), um sicherzustellen, dass das Modell in verschiedenen Situationen gut funktioniert.
3.6 Fähigkeit, Modelle zu respektieren
- Unterschätzen Sie das Modell nicht: Denken Sie nicht, dass das Modell dumm ist und "überredet" werden muss, damit es funktioniert.Respektieren Sie die Fähigkeiten des ModellsGeben Sie ihm genügend Kontext und Informationen, damit es Ihre Ziele verstehen kann.
- Geben Sie direkte Informationen: Wenn Sie möchten, dass ein Modell eine neue Technik erlernt, können Sie ihm einfach das entsprechende Papier oder Dokument geben, anstatt zu versuchen, es mit Ihren eigenen Worten zu beschreiben.
- Vermeiden Sie eine zu starke Vereinfachung: Vereinfachen Sie Ihre Anweisungen nicht absichtlich; vertrauen Sie dem Modell, dass es komplexe Aufgaben bewältigen kann.
3.7 Verwendung von Modellierhilfen
- Beispiel für die Modellerstellung: Durch die Verwendung des Modells zur Erstellung von Beispielen, die Sie dann ändern können, können Sie schneller qualitativ hochwertige Prompts erstellen.
- Modellierung für Interviews: Lassen Sie sich von dem Modell interviewen, extrahieren Sie die Informationen in Ihrem Kopf und wandeln Sie diese Informationen in Eingabeaufforderungen um.
3.8 Übertreiben Sie es nicht mit den perfekten Tipps
- Es gibt keine Perfektion: Tappen Sie nicht in die Falle der "Suche nach dem perfekten Tipp" und erkennen Sie, dass es immer Raum für Verbesserungen gibt.
- Kontinuierliches Lernen: Jede Interaktion mit dem Modell ist eine Lernmöglichkeit, und jeder Versuch wird Ihnen helfen, das Modell besser zu verstehen.
- Schwerpunkt auf der Erkundung von Grenzen: Versuchen Sie, das Modell dazu zu bringen, etwas zu tun, was Sie ihm nicht zutrauen, und lernen Sie, indem Sie die Grenzen des Modells ausloten.
3.9 Unterscheiden Sie zwischen verschiedenen Szenarien
- Forschung und Unternehmen: In einem Forschungsumfeld legen Sie vielleicht mehr Wert auf Vielfalt und Erkundung, während Sie in einem Unternehmensumfeld mehr Wert auf Zuverlässigkeit und Konsistenz legen.
- Dialog zwischen Mensch und Computer und Systemanwendungen: Bei einem Dialog zwischen Mensch und Computer können Sie mehrere Iterationen durchführen, aber bei einer Systemanwendung müssen Sie Eingabeaufforderungen schreiben, die eine Vielzahl von Situationen auf einmal behandeln können.
3.10 Meta-Prompts verwenden
- Generieren Sie Prompts für Prompts: Sie können "Meta-Hinweise" verwenden, um Modelle dazu zu bringen, die von Ihnen benötigten Ausgaben oder Abfragen zu erzeugen. Sie können dem Modell einfach ein Papier über die Hinting-Technik geben und es einen Meta-Hinweis generieren lassen, um andere Modelle dazu zu bringen, die Technik auszuführen.
Kurz gesagt, eine effektive Interaktion mit Modellen erfordert eine klare Kommunikation, systematisches Denken, konsequentes Experimentieren, tiefes Verständnis und Respekt für die Fähigkeiten des Modells. Gleichzeitig kann der effektive Einsatz von Modellen Ihnen helfen, Ihre Aufforderungen schneller zu iterieren und zu optimieren. Denken Sie daran, dass es keinen perfekten Hinweis gibt, sondern nur kontinuierliches Lernen und Verbesserung.
4. häufige Missverständnisse über Prompt
4.1 Hinweise sind nur einfache Anweisungen:
- Mißverständnis: Die Menschen denken oft, dass Aufforderungen einfache Anweisungen an ein Modell sind, wie die Eingabe von Schlüsselwörtern in eine Suchmaschine. Sie denken vielleicht, dass sie nur einige Schlüsselwörter eingeben müssen, um das Modell dazu zu bringen, die Aufgabe zu erledigen, und ignorieren dabei, wie wichtig eine klare und präzise Kommunikation ist.
- Fakten: In der Tat.Hinweise sind eine komplexe Art der Programmierungdie wie Code behandelt werden müssen, einschließlich Versionskontrolle und Verfolgung von Experimenten. Gute Hinweise müssen sorgfältig entworfen und wiederholt werden, um sicherzustellen, dass das Modell die Aufgabe genau versteht und die gewünschte Leistung erbringt.
4.2 Die Prompts sind statisch und können einmalig geschrieben werden:
- Mißverständnis: Manche Leute denken, dass das Schreiben eines Prompts wie das Schreiben eines Aufsatzes ist; er ist fertig und muss nicht mehr überarbeitet werden.
- Fakten: Das Projekt "hint" ist einIterativer ProzessDies erfordert ständiges Experimentieren, Ändern und Optimieren. Sie müssen mehrmals mit dem Modell arbeiten, uminteragieren hin und herund verbessern Sie Ihre Hinweise, indem Sie die Modellausgabe lesen und die Fehler analysieren. Effektives Cue Engineering erfordertExperimentieren und Feedback annehmenanstatt einen einstufigen Prozess zu erwarten.
4.3 Tipps erfordern perfekte Grammatik und Zeichensetzung:
- Mißverständnis: Häufig wird davon ausgegangen, dass ein Modell nur dann verstanden werden kann, wenn der Prompt eine perfekte Grammatik und Zeichensetzung aufweist.
- Fakten: Die Liebe zum Detail ist zwar wichtig, aber dieModelle verstehen oft Aufforderungen, die Rechtschreib- oder Grammatikfehler enthalten. Wichtig.Konzeptionelle Klarheitund nicht grammatikalische Perfektion. Während es gut ist, Fehler in der endgültigen Fassung zu korrigieren, ist es akzeptabel, während der Wiederholungen unvollkommen zu sein.
4.4 Die Modelle müssen zum Funktionieren "überredet" werden:
- Mißverständnis: Manche Menschen denken, dass Models dumm sind und mit Tricks oder "Lügen" durch die Aufgaben geführt werden müssen, indem man dem Model eine falsche Identität oder Rolle gibt.
- Fakten: Modelle haben ein ausgeprägtes VerständnisSie brauchen es nicht zu "überreden". Das sollten Sie aber.Modell respektierenund geben Sie ihm direkt klare, genaue Informationen, damit es Ihre Ziele versteht.Beschreiben Sie Ihre Aufgabe direktanstatt Metaphern oder ähnliche Aufgaben zur Steuerung des Modells zu verwenden.
4.5 Das Herzstück des Cue-Engineerings ist das Schreiben perfekter Anweisungen:
- Mißverständnis: Manche Leute denken, dass der Sinn des Cue Engineering darin besteht, die perfekten Anweisungen zu finden und viel Zeit damit zu verbringen, jedes Wort herauszufinden.
- Fakten: Genaue Anweisungen sind zwar wichtig, aber noch wichtiger ist es, dass dieVerstehen, wie das Modell funktioniertund durchLesen Sie die Ausgabe des Modells, um zu lernen.Verstehen der Denkweise des Modellswie auchWie es mit verschiedenen Eingaben umgehtmehr als das Streben nach perfekten Anweisungen. Ein guter Cueing Engineer sollte in der Lage seinExtraktion von Signalen aus der Ausgabe des Modellsund den Denkprozess zu verstehen, und nicht nur, ob das Ergebnis korrekt ist.
4.6 Tipp Technik ist einfach nur Schreiben:
- Mißverständnis: Einige sind der Meinung, dass die Kernkompetenz des Prompt-Engineerings in den Schreibfähigkeiten liegt, und glauben, dass gute Schreiber von Natur aus gute Prompt-Ingenieure sind.
- Fakten: Gute Schreibkenntnisse sind zwar notwendig, aber esKeine Kernkompetenz für Cue Engineering. Ein guter Souffleur muss Folgendes könnenExperimentierfreude, Systemdenken, ProblemlösungskompetenzzuDie Fähigkeit, den Modellgedanken zu verstehen.Iteration und PrüfungMehr als nur Schreibkenntnisse.
4.7 Man sollte vermeiden, dem Modell zu viele Informationen zu geben:
- Mißverständnis: Manche befürchten, dass das Modell durch zu viele Informationen verwirrt wird, und versuchen daher, die Anweisungen zu vereinfachen und die Komplexität zu verbergen.
- Fakten: Mit zunehmender Leistungsfähigkeit der Modelle sind sie in der LageWeitere Informationen und Kontext.Sie sollten dem Modell vertrauen.Geben Sie ihm genügend Informationen, damit er Ihre Aufgabe besser verstehen kann.
4.8 Mehr Beispieltipps sind immer besser:
- Mißverständnis: Man könnte meinen, dass die Bereitstellung einer großen Anzahl von Beispielen die einzige Möglichkeit ist, die Leistung des Modells zu verbessern.
- Fakten: Beispiele sind zwar hilfreich für das Modell, aber zu viele Beispiele könnenEinschränkung von Kreativität und Vielfalt bei der Modellierung.. Im Rahmen der Forschung.Verwenden Sie eher illustrative Beispiele als spezifische BeispieleEs kann effektiver sein, weil es das Modell dazu anregt, über die Aufgabe selbst nachzudenken, anstatt nur das Beispiel zu kopieren.
4.9 Modelle denken und argumentieren wie Menschen:
- Mißverständnis: Man könnte meinen, ein Modell würde wie ein Mensch denken und die "Denkschritte"-Hinweise verstehen.
- Fakten: Modelle können zwar den Denkprozess nachahmen, zum Beispiel durchGedankenketteaber es ist nicht unbedingt eine echte Argumentation. Das Modell generiert lediglich Text auf der Grundlage der Anweisungen und Beispiele, die Sie ihm geben. Es ist wichtig zu verstehen, dassModelle und Menschen denken unterschiedlichVermenschlichen Sie das Verhalten des Modells nicht zu sehr.
4.10 Aufforderungen zum Rollenspiel funktionieren immer:
- Mißverständnis: Einige sind der Meinung, dass das Modell, wenn es eine bestimmte Rolle spielt (z. B. "Du bist ein Lehrer"), seine Leistung verbessert.
- Fakten: Rollenspiele können in manchen Situationen hilfreich sein, sind aber nicht immer notwendig. Beschreiben Sie direkt, was Sie erreichen wollenDas ist effektiver, als so zu tun, als ob das Modell eine andere Person wäre. Wenn sich die Fähigkeiten des Modells verbessern, kann es besser sein, ihm die Aufgabenbeschreibung und den Kontext direkt zu geben, anstatt ihm eine falsche Identität zu geben.
4.11 Wenn Sie einmal einen guten Tipp gefunden haben, wird er immer funktionieren:
- Mißverständnis: Manche Leute glauben, dass ein einmal gefundenes Stichwort für immer funktioniert und nicht mehr verändert werden muss.
- Fakten: Da sich die Modellierungsmöglichkeiten weiter verbessern, wird dieWirksame Tipps können auch veraltet sein. Einige Cueing-Techniken können dem Modell antrainiert werden, so dass es nicht mehr explizit angeleitet werden muss. Sie müssenKontinuierliches Lernen und Anpassungum auf Änderungen im Modell zu reagieren.
Wenn Sie diese häufigen Missverständnisse verstehen, können Sie effektiver mit Modellen interagieren und das Cue Engineering für eine Vielzahl von Aufgaben besser nutzen. Hint Engineering ist nicht nur eine einfache Befehlseingabe, sondern eine Disziplin, die tiefes Verständnis und Übung erfordert.
5. unternehmensbezogene Tipps vs. Forschungstipps
Tipps für Unternehmenim Gesang antwortenTipps zur ForschungsebeneEs gibt erhebliche Unterschiede in Bezug auf Ziele, Methoden und Schwerpunkte.
Tipps für Unternehmen
- Betonung der ZuverlässigkeitIn Unternehmensanwendungen ist die Zuverlässigkeit von entscheidender Bedeutung. Das Ziel von Hinweisen auf Unternehmensebene ist es, sicherzustellen, dass das Modell in einer Vielzahl von Situationen konsistente und erwartete Ergebnisse liefert. Dies erfordert in der Regel eine große Anzahl von Beispielen und spezifische Anleitungen, um die Freiheit des Modells zu begrenzen.
- Fokus auf Format:: Die Eingabeaufforderungen für Unternehmen konzentrieren sich stark auf das Format der Ausgabe. Für Geschäftsanwendungen ist die Stabilität und Konsistenz des Ausgabeformats oft wichtiger als die Vielfalt, da sie die Effizienz der Darstellung auf der Benutzeroberfläche und der anschließenden Datenverarbeitung beeinflusst.
- Fokus auf die Bedürfnisse der NutzerPrompts der Unternehmensklasse müssen in hohem Maße auf die spezifischen Bedürfnisse des Benutzers reagieren. Das bedeutet, dass die Prompts in der Lage sein müssen, eine Vielzahl unterschiedlicher Eingaben zu verarbeiten und Ausgaben zu generieren, die den spezifischen Bedürfnissen des Benutzers entsprechen.
- Systemisches DenkenCues auf Unternehmensebene erfordern oft die Integration des Cues in größere Systeme. Dies beinhaltet die Berücksichtigung von Datenquellen, Latenzzeiten und die Integration des Modells in andere Software und Prozesse.
- Viele Tests und IterationenEnterprise Tips: Enterprise Tips müssen unter einer Vielzahl von Eingaben und Szenarien getestet werden, um ein hohes Maß an Zuverlässigkeit und Stabilität in realen Anwendungen zu gewährleisten. Dazu gehört das Testen einer Vielzahl von Randfällen sowie einer Vielzahl von möglichen Benutzereingaben.
- Fokus auf KonsistenzIn Unternehmensanwendungen ist eine Antwort, auch wenn sie sich wiederholt, akzeptabel, solange sie den Erwartungen entspricht. Dies unterscheidet sich von den Sondierungszielen in einer Forschungsumgebung.
- Konzentration auf langfristige AnwendungenUnternehmenstipps: Unternehmenstipps wurden entwickelt, um ein System aufzubauen, das viele Male wiederverwendet werden kann. Folglich erfordern Unternehmens-Tipps mehr Zeit und Mühe, um sicherzustellen, dass sie zuverlässig funktionieren.
- Vermeiden von zu viel Abstraktion:: Prompts auf Unternehmensebene sollten allzu abstrakte Anweisungen vermeiden und stattdessen die Aufgabe und den erforderlichen Output klar beschreiben.
Tipps zur Forschungsebene
- Betonung von Vielfalt und ErforschungZiel der Aufforderungen auf Forschungsebene ist es, die verschiedenen Möglichkeiten des Modells zu erforschen und neue Verwendungsmöglichkeiten für das Modell zu entdecken. Dies bedeutet in der Regel, dass die Beschränkungen für das Modell verringert werden und es ermutigt wird, verschiedene Ergebnisse und Lösungen zu untersuchen.
- wenige oder keine Beispiele bevorzugenUm den Umfang der Erforschung des Modells nicht einzuschränken, wird in der Regel die Anzahl der Beispiele reduziert oder es werden keine spezifischen Beispiele genannt.
- Konzentration auf kognitive AufgabenDie Aufforderungen auf Forschungsebene konzentrieren sich mehr auf kognitive Aufgaben, d. h. darauf, wie das Modell komplexe Probleme versteht und löst.
- Verwendung anschaulicher BeispieleWenn in den Aufforderungen auf Forschungsebene Beispiele genannt werden, so sind diese eher illustrativ als konkret. Das bedeutet, dass die Beispiele sich von den Daten unterscheiden können, mit denen das Modell tatsächlich arbeiten muss, und das Ziel ist es, dem Modell zu helfen, die Art der Aufgabe zu verstehen, anstatt die Beispiele direkt nachzuahmen.
- Ausprobieren neuer GrenzenZiel der Aufforderungen auf Forschungsebene ist es, die Grenzen der Fähigkeiten des Modells herauszufordern und herauszufinden, was das Modell gut und was es schlecht kann. Dazu gehört auch, Aufgaben zu versuchen, die das Modell nicht gut kann, um die Grenzen des Modells besser zu verstehen.
- Verstärkte Konzentration auf flexible und diversifizierte Produkte:: Aufforderungen auf Forschungsebene können sich mehr darauf konzentrieren zu untersuchen, welche Arten von Ergebnissen Modelle produzieren können, selbst wenn diese Ergebnisse nicht sehr konsistent sind. Aufforderungen auf Forschungsebene konzentrieren sich mehr auf die Denkweise von Modellen und die Qualität und Tiefe ihrer Ergebnisse, als darauf, ob die Ergebnisse korrekt sind.
- Mehr SondierungCues für die Forschung sind eher explorativ und konzentrieren sich weniger auf Konsistenz oder Format. Der Forscher interessiert sich mehr dafür, wie das Modell angesichts einer neuen Situation reagiert und wie der Hinweis genutzt werden kann, um das Modell in die Richtung der Erkundung zu lenken.
Zusammenfassungen::
- Unterschiedliche ZieleAufforderungen auf Unternehmensebene zielen darauf ab, reale Probleme zu lösen, wobei der Schwerpunkt auf Zuverlässigkeit und Konsistenz liegt, während Aufforderungen auf Forschungsebene darauf abzielen, Modellierungsmöglichkeiten zu erkunden, wobei der Schwerpunkt auf Vielfalt und Innovation liegt.
- Verschiedene MethodenAufforderungen auf Unternehmensebene verwenden in der Regel eine große Anzahl konkreter Beispiele, um den Output des Modells zu kontrollieren, während Aufforderungen auf Forschungsebene in der Regel nur wenige oder gar keine Beispiele enthalten, um das Modell zu ermutigen, neue Möglichkeiten zu erkunden.
- Unterschiede im SchwerpunktDie Aufforderungen auf Unternehmensebene konzentrieren sich auf Benutzeranforderungen und Systemintegration, während die Aufforderungen auf Forschungsebene auf kognitive Prozesse und Modellgrenzen ausgerichtet sind.
- Unterschiedliche Entwicklungs- und Testzyklen:: Hinweise für Unternehmen müssen in der Regel über lange Zeiträume in Produktionsumgebungen eingesetzt werden und erfordern daher strengere Tests und Qualitätskontrollen, während Hinweise für Forschungszwecke kürzere Test- und Iterationszyklen haben können, um die verschiedenen Möglichkeiten des Modells zu erkunden.
- Verschiedene Ansätze zur Modellierung:: Prompts auf Unternehmensebene "passen" sich manchmal dem Modell an, um sicherzustellen, dass es richtig verstanden wird, während Prompts auf Forschungsebene dazu neigen, die Fähigkeiten des Modells zu "respektieren" und ihm mehr Autonomie zu geben.
Der grundlegende Unterschied zwischen Aufforderungen zur Einreichung von Vorschlägen auf Unternehmensebene und auf Forschungsebene ist ihr Zweck und ihr Schwerpunkt.
Während die Hinweise auf Unternehmensebene darauf abzielen, den Benutzern zuverlässige Lösungen zu bieten, dienen die Hinweise auf Forschungsebene dazu, unser Verständnis für die Fähigkeiten des Modells zu erweitern.
In der Praxis können diese beiden Anhaltspunkte unterschiedliche Ansätze und Techniken erfordern.
6) Tipps für die Zukunft der Technik
6.1 Die Modelle werden Ihre Absichten besser verstehen, aber Klarheit ist immer noch wichtig.
- Eine informationstheoretische Perspektive: In Zukunft wird das Modell Ihre Bedürfnisse besser verstehen, aber Sie müssen immer noch genügend Informationen liefern, um Ihre Ziele zu verdeutlichen. Selbst wenn das Modell in der Lage ist, zu verstehen, was Sie sagen, ohneDie klare Formulierung Ihrer Erwartungen bleibt entscheidend.
- Die Bedeutung klarer Ziele: Ganz gleich, wie intelligent das Modell ist, dieDie Fähigkeit, Ziele zu definieren, steht im Mittelpunkt. Auch wenn Modelle Ziele setzen können, müssen Sie, wenn Sie sie zur Lösung eines Problems einsetzen wollen, immer noch ausdrücklich angeben, was sie tun sollen.
- Laufende Kommunikation: Auch wenn die Modelle intelligenter werden und Ihre Absichten besser verstehen, müssen Sie immer nochMit den Modellen kommunizieren, Feedback geben und Anpassungen vornehmen.
6.2 Modelle werden Ihre Assistenten sein
- Zusammenarbeit mit Modellen: In Zukunft werden Sie mit dem Modell intensiver zusammenarbeiten können, um festzustellen, was geschrieben werden muss und was fehlt. Modelle werden Ihnen helfenEntdecken Sie, woran Sie vielleicht noch nicht gedacht habenund bietenVorschläge zur Verbesserung der Prompts.
- Modellgestützte Generierung von Hinweisen: Sie können das Modell verwenden, um Beispiele, Entwürfe und Meta-Prompts zu generieren, um den Entwicklungsprozess der Fragen zu beschleunigen. Sie können das Modell zum Beispiel verwenden, um Beispiele zu generieren, die Sie dann überarbeiten, was viel einfacher ist, als die perfekte Antwort von Grund auf zu schreiben.
- Interaktionen mit hoher Bandbreite: In Zukunft werden Sie in der Lage sein, mit dem Modell in einer großen Bandbreite zu interagieren, z. B. Feedback zu geben und das Modell um Anpassungen zu bitten. Diese Interaktion wird ähnlich sein wie die Zusammenarbeit mit einem Designer, bei der Sie hochgesteckte Ziele vorgeben und das Modell Ihnen hilft, diese zu konkretisieren.
6.3 Meta-Tipps werden immer wichtiger
- Verwenden Sie Hinweise, um Hinweise zu generieren: In Zukunft werden Sie vielleicht mehr Zeit damit verbringen, nach Hinweisen zu suchen, die es den Modellen ermöglichen, die gewünschten Ausgaben oder Abfragen zu erzeugen. Sie werden Meta-Prompts verwenden, um Modelle dazu zu bringen, bestimmte Prompting-Techniken durchzuführen oder Prompting-Vorlagen für andere Modelle zu erstellen.
- Geben Sie Muster-Lernmaterialien: Anstatt eigene Cues zu schreiben, können Sie den Modellen relevante Papiere oder Dokumente zur Verfügung stellen, um neue Cueing-Techniken zu erlernen. Die Modelle können die Dokumente direkt lesen und das Wissen daraus für die Erstellung von Hinweisen nutzen.
6.4 Cue Engineering wird sich auf die Grenzen des Modells konzentrieren
- Die Fähigkeit, Modelle zu erforschen: Sie werden weiterhin die Grenzen der Fähigkeiten des Modells ausloten und herausfordern, was das Modell leisten kann.
- Das Streben nach Spitzenleistungen: Sie werden sich darauf konzentrieren, das höchste Leistungsniveau aus Ihren Modellen herauszuholen und herauszufinden, was die Modelle kaum leisten können.
6.5 Das Modell kann wiederum vorschlagen, dass Sie
- Das Modell versteht, was Sie vorhaben: Wenn Modelle mehr über den Kontext der Aufgabe wissen als Sie, können sie Sie auffordern, Ihre Bedürfnisse zu klären. Modelle können Fragen stellen, um Ihnen zu helfen, zu klären, was Sie zu erreichen versuchen, und um Randfälle zu erkennen, die Sie vielleicht übersehen haben.
- Vom Anweisungsempfänger zum Fachberater: Das Modell verwandelt sich von einem einfachen Empfänger von Anweisungen in einen fachkundigen Berater, mit dem Sie sich über die Einzelheiten der Aufgabe beraten können. Es ist wie bei der Arbeit mit einem Designer, der Ihnen Fragen stellt, um Ihre Bedürfnisse besser zu verstehen.
- Model-Interviews: Um Ihre Bedürfnisse besser zu verstehen, kann das Modell zu Ihnen kommen und mit Ihnen wie bei einem Interview interagieren.
6.6 Die Zukunft erfordert mehr Selbstreflexion
- Das Modell versteht Sie: In Zukunft wird das Modell Ihre Ideen verstehen müssen, und nicht Sie das Modell.
- Machen Sie sich für das Modell sichtbar: Sie müssen lernen, Ihre Ideen und Bedürfnisse klar auszudrücken, damit das Modell Ihre Absichten verstehen kann.
- Definieren Sie den Begriff: Manchmal müssen Sie neue Konzepte erstellen und definieren, was sie bedeuten, damit das Modell Ihre Absichten versteht.
6.7 Cue Engineering kann zu einer philosophischen Praxis werden
- Deutlich ausgedrückt: Künftig könnte die Technik für Cues Folgendes erfordernDenken und schreiben wie ein PhilosophSie verwenden eine klare, präzise Sprache, um komplexe Ideen auszudrücken.
- Schreiben für den gebildeten Durchschnittsbürger: Sie müssen die Aufforderung so schreiben, als ob Sie für einen gebildeten Laien schreiben würden, damit auch jemand, der mit dem Thema nicht vertraut ist, Ihre Absicht verstehen kann.
- Externalisieren Sie Ihr Gehirn: Ein gutes Cue-Engineering erfordert, dass Sie die Ideen in Ihrem Kopf nach außen tragen und sie dem Modell verständlich machen.
6.8 Tipp Technische Fähigkeiten werden auf höhere Aufgaben übertragen
- Von einfachen bis hin zu hochrangigen Missionen: Im weiteren Verlauf des Modells werden Sie sich nicht mehr auf Aufforderungen für einfache Aufgaben konzentrieren müssen, sondern auf Aufgaben auf höherer Ebene, wie z. B. Aufgabenzerlegung und komplexes Denken.
- Geführte Interaktion: Künftige Interaktionen werden wahrscheinlich eher geführten Dialogen ähneln als Modellen, die Text in eine Konsole eintippen, um ein Endergebnis zu erreichen.
Hinweise darauf, dass die Zukunft der Technik Folgendes erfordern könnteStärkere Fähigkeiten zur Zusammenarbeit, Introspektive und Ausdrucksfähigkeit. Sie müssen mit Modellen arbeiten, um deren Möglichkeiten zu erkunden und Ihre Bedürfnisse zu definieren. Darüber hinaus.Sie müssen auch ständig lernen und sich an die Veränderungen des Modells anpassenund nicht nach einer Einheitslösung suchen. Die Zukunft des Prompt-Engineerings wird sich zwar verändern, aber die Klarheit der Zielsetzung und die Artikulation werden weiterhin im Mittelpunkt stehen.
7 Tipps für Souffleurarbeiten
Der Schwerpunkt liegt darauf, wieVerbesserung der Effizienz und Effektivität der Kommunikation mit Modellen::
7.1 Iteration und Experimentieren:
- Versuchen Sie es weiter: Das Projekt "hint" ist einIterativer Prozessdie ein ständiges Experimentieren, Überarbeiten und Optimieren erfordert. Erwarten Sie nicht, dass Sie beim ersten Mal den perfekten Prompt schreiben, sondern seien Sie darauf vorbereitet, mehrereinteragieren hin und her.
- Lernen Sie aus Ihren Fehlern: Wenn das Modell falsch ist, analysieren Sie es sorgfältigGründe für den Fehlerund verbessern Sie Ihre Aufforderungen entsprechend. Jede Interaktion mit einem Modell ist eine Lernchance.
- Lassen Sie sich auf das Experiment ein: Seien Sie offen dafür, verschiedene Methoden auszuprobieren, um zu sehen, welche am besten funktioniert. Das Herzstück des Projekts "cue" istExperimentieren und Feedbackund nicht einen Schritt nach dem anderen.
7.2 Klare und präzise Kommunikation:
- Formulieren Sie die Aufgabe klar und deutlich: Kosten oder AufwandKlare, prägnante SpracheBeschreiben Sie die Aufgabe, die das Modell erfüllen soll. Vermeiden Sie vage oder zweideutige Begriffe.
- Stellen Sie ausreichende Informationen zur Verfügung: Scheuen Sie sich nicht, dem ModellDetaillierte Kontext- und Hintergrundinformationen bereitstellen. Stellen Sie sicher, dass das Modell Ihre Ziele und die spezifischen Anforderungen der Aufgabe versteht.
- Respektieren Sie das Modell: Anstatt zu versuchen, das Modell zu "überreden", ist es wichtig, dassModell respektierendes Verständnisses. Beschreiben Sie Ihre Aufgabe direkt und verwenden Sie keine Metaphern oder fiktive Figuren.
7.3 Verstehen, wie Modelle funktionieren:
- Lesen Sie die Modellausgabe: Lesen Sie die Ausgabe des Modells sorgfältig durch, um dieDenkweiseund Argumentationsprozesse. Beobachten Sie, wie das Modell mit verschiedenen Eingaben umgeht, und passen Sie Ihre Aufforderungen entsprechend an.
- Erkunden Sie die Grenzen des Modells: Versuchen Sie, das Modell dazu zu bringen, Aufgaben zu erledigen, von denen Sie glauben, dass es dazu nicht in der Lage ist, umVerstehen des Umfangs der Fähigkeiten des Modells. Dies kann Ihnen helfen, die Grenzen des Modells besser zu verstehen.
- Versuchen Sie, das Modell zu spielen: Versuchen Sie, sich in die Lage der folgenden Personen zu versetzenDenken in Form von ModellenVerstehen Sie, wie das Modell Ihre Anweisungen wahrnimmt. Dies kann Ihnen helfen, das Verhalten des Modells besser vorherzusagen.
7.4Verschiedene Cueing-Methoden:
- Beispiel für die Verwendung: Durch die Bereitstellungtypisches Beispielum das Modell durch die Aufgabe zu führen. Achten Sie jedoch darauf, sich nicht zu sehr auf Beispiele zu verlassen, da dies die Kreativität des Modells einschränken könnte.
- Verwenden Sie Meta-Tipps: Verwenden Sie die Eingabeaufforderungen, umZusätzliche Tipps generierenoder lassen Sie das Modell Ausgaben generieren, die bestimmten Anforderungen entsprechen. Dies kann Ihnen helfen, verschiedene Cueing-Strategien effizienter zu erforschen.
- Kettenhaftes Denken: ein Modell bauenEine schrittweise Erläuterung des Argumentationsprozesses. Dadurch erhalten Sie ein besseres Verständnis für den Entscheidungsprozess des Modells und können die Leistung des Modells verbessern.
- Rollenspiel: Auch wenn es nicht immer notwendig ist, ist es in manchen Fällen sinnvoll, das ModellEine bestimmte Rolle spielenDas kann helfen, die Arbeit zu erledigen. Wie auch immer.Es ist oft effektiver, seinen Auftrag direkt zu formulieren.
7.5 Tipps für Fortgeschrittene:
- Definieren Sie den Begriff: Um Ihre Absichten zu vermitteln, müssen Sie manchmalDefinition neuer Konzepteund erklären, was sie bedeuten.
- Lassen Sie sich vom Model interviewen: Lassen Sie sich abwechselnd vom Modell interviewen, umHilft Ihnen, den Kopf frei zu bekommendie die Informationen extrahiert, die Sie dem Modell zur Verfügung stellen müssen.
- Auf die Philosophie zurückgreifen: Lernen Sie vom philosophischen Schreiben, wie SieKomplexe Ideen artikulierendamit das Modell Ihre Absichten verstehen kann.
- Informieren Sie das Modell: Anstatt eigene Aufforderungen zu verfassen, können Sie den Modellen einfach die entsprechenden Papiere oder Dokumente geben und sie selbständig lernen lassen.
7.6 Anmerkungen.
- Achten Sie nicht zu sehr auf die Grammatik: Auch wenn die Liebe zum Detail wichtig ist, sollten Sie sich nicht zu sehr auf Grammatik oder Zeichensetzung konzentrieren. Das ist das Wichtigste.Konzeptionelle Klarheit.
- Unterschätzen Sie das Modell nicht: Denken Sie nicht, dass Modelle dumm sind und zum Arbeiten "überredet" werden müssen. Sie solltenVertrauensmodellFähigkeit und geben ihm genügend Informationen, um die Aufgabe zu erfüllen.
- Haben Sie keine Angst vor Komplexität: Da die Modelle immer leistungsfähiger werden, können sie immer komplexere Informationen verarbeiten. Anstatt zu versuchen, die Komplexität zu verbergen, ist esVertrauensmodellzu bewältigen.
- Kontinuierliches Lernen und Anpassung: Da die Modellierungsfähigkeiten zunehmen, wird dieAuch wirksame Prompting-Methoden können überflüssig werden. Sie müssen ständig lernen und sich an die Veränderungen des Modells anpassen.
- Feedback erwünscht. Wenn Sie Ihre Tipps anderen zeigen, insbesondere denen, die mit Ihrer Aufgabe nicht vertraut sind, können Sie Probleme erkennen, die Sie vielleicht übersehen haben.
- Lesen Sie die Tipps: Lesen Sie gute Tipps von anderen und analysieren Sie, wie sie funktionieren.
7.7 Tipps für die Zukunft
- Die Modelle werden Assistenten sein. In Zukunft werden Ihnen Modelle beim Schreiben von Aufforderungen helfen. Sie werden mit dem Modell zusammenarbeiten müssen, um zu bestimmen, was geschrieben werden muss und was fehlt.
- Verbesserte Fähigkeit zur Selbstbeobachtung. Sie werden mehr Selbstbeobachtung brauchen, um sich für das Modell sichtbar zu machen.
- Es geht darum, Sie zu verstehen: In Zukunft wird sich der Schwerpunkt der Modellierung vom Verstehen von Anweisungen auf das Verstehen Ihrer Absichten verlagern.
- Vom Richtlinienempfänger zum Fachberater. Das Modell kann sich von einem einfachen Empfänger von Anweisungen zu einem fachkundigen Berater entwickeln. Sie müssen lernen, intensiver mit den Modellen zu kommunizieren und Feedback von ihnen zu erhalten.
Zusammengefasst.Tip Engineering ist eine Fähigkeit, die Übung und ständiges Lernen erfordert. Wenn Sie verstehen, wie Modelle funktionieren, verschiedene Cueing-Methoden anwenden und die Grenzen des Modells kontinuierlich ausloten, können Sie Ihre Cueing-Engineering-Fähigkeiten verbessern und das Modell für eine Vielzahl von Aufgaben besser nutzen. Letztendlich ist ein guter Hinweis ein Hinweis, der klar, präzise und genau Ihre Absicht zum Ausdruck bringt und es dem Modell ermöglicht, die von Ihnen gewünschte Aufgabe effektiv zu erfüllen.
8. eine Diskussion über Jailbreak
Was ist Jailbreak?
- definieren.Jailbreak Prompts: Jailbreak Prompts sind Prompts, die versuchen, die Sicherheitsbeschränkungen und ethischen Richtlinien eines Large Language Model (LLM) zu umgehen. Diese Prompts sollen es dem Modell in der Regel ermöglichen, Inhalte zu generieren, die ansonsten verboten sind, wie etwa schädliche, unethische oder parteiische Inhalte.
- ZielDer Zweck eines Gefängnisausbruchs ist in der Regel, die Grenzen des Modells auszuloten, die Sicherheit und Robustheit des Modells zu testen und zu verstehen, wie das Modell auf verschiedene Eingaben und Formulierungen reagiert.
- MethodologienJailbreaking kann auf verschiedene Weise erfolgen, z. B. durch die Verwendung einer großen Anzahl von Tokens, langer Texte, ungewöhnlicher Formulierungen, mehrsprachiger Mischungen, Rollenspiele und die Verwendung von Modellen zur Vorhersage des Textes.
Wie Jailbreaking funktioniert
- Überschreitung der AusbildungsverteilungEine mögliche Erklärung ist, dass die Jailbreak-Hinweise das Modell außerhalb seiner Trainingsdatenverteilung platzieren. Zum Beispiel könnte das Modell während des Feinabstimmungsprozesses nicht mit solch langen oder komplexen Texten in Berührung gekommen sein und sich daher bei der Verarbeitung dieser Hinweise abnormal verhalten.
- Einsatz von VorhersagemechanismenJailbreaks machen sich manchmal die Art und Weise zunutze, wie das Modell Text vorhersagt, z. B. indem sie die Aufforderung mit "Here's how you..." beginnen. kann das Modell dazu veranlassen, detailliertere und spezifischere Antworten zu generieren.
- Einsatz von ArgumentationsfähigkeitenJailbreaking kann die Denkfähigkeit des Modells ausnutzen, indem es z. B. verlangt, dass das Modell Antworten in anderen Sprachen generiert, bevor es sie in die Zielsprache übersetzt, und so bestimmte Einschränkungen umgeht.
- Unterschiede in der Ausbildung ausnutzenJailbreaking kann die Unterschiede in den Trainingsdaten der verschiedenen Sprachen ausnutzen, z. B. können bestimmte Inhalte in einer Sprache erlaubt, in einer anderen aber verboten sein.
- Social EngineeringJailbreaking hat manchmal den Beigeschmack von Social Engineering, bei dem es nicht nur darum geht, Schwachstellen in einem System auszunutzen, sondern auch zu verstehen, wie das System funktioniert, und dieses Verständnis zu nutzen, um Einschränkungen zu umgehen.
- Modelle verständlich machenEffektive Jailbreak-Methoden erfordern nicht nur das Ausprobieren, sondern auch das Verstehen, wie das Modell funktioniert, wie es trainiert wird, und die Nutzung dieses Wissens, um die Sicherheitsmechanismen des Modells zu umgehen.
Gefängnisausbrüche und Modellschulung
- Zweck der ModellschulungEines der Ziele des Modelltrainings ist es, Jailbreak-Muster zu erkennen und zu eliminieren, damit das Modell sicherer auf Benutzereingaben reagieren kann.
- Fortlaufender AusbildungsprozessSobald eine effektive Jailbreak-Methode entdeckt wird, wird das Modell neu trainiert, um dieselbe Schwachstelle in Zukunft zu vermeiden. Das bedeutet, dass Jailbreaking-Techniken in der Regel kurzfristig sind und behoben werden, sobald sie entdeckt werden.
- Sicherheit und EthikJailbreaking steht in engem Zusammenhang mit der Modellsicherheit und -ethik. Da das ultimative Ziel von Jailbreaking darin besteht, dass das Modell Inhalte generiert, die gegen Sicherheitsrichtlinien verstoßen, arbeiten die Modellentwickler kontinuierlich an dem Modell und den Sicherheitsmechanismen, um ein solches Verhalten zu verhindern.
Die Bedeutung von Prison Break
- Test GrenzeJailbreaking hilft uns, die Grenzen des Modells besser zu verstehen und sein Design zu verbessern, indem wir die Grenzen seiner Fähigkeiten testen.
- Potenzielle Probleme aufdeckenJailbreaking: Jailbreaking kann potenzielle Probleme beim Modelltraining aufdecken, wie z. B. Datenverzerrungen oder Sicherheitslücken.
- Verbesserte SicherheitDurch die Untersuchung von Jailbreak-Methoden können wir wirksamere Sicherheitsmaßnahmen entwickeln, die das Modell für den praktischen Einsatz sicherer machen.
Zusammenfassungen
Jailbreaking ist ein wichtiger Forschungsbereich im Cue Engineering, der uns nicht nur hilft zu verstehen, wie große Sprachmodelle funktionieren, sondern auch die Sicherheit und Zuverlässigkeit unserer Modelle zu verbessern. Beim Jailbreaking geht es darum, die Grenzen des Modells auszuloten und zu versuchen, das Modell dazu zu bringen, Inhalte zu generieren, die es eigentlich nicht generieren sollte, und dabei zu lernen und sich zu verbessern. Jailbreaking ist auch eng mit dem Trainingsprozess des Modells verbunden, da das Modell ständig aktualisiert und verbessert wird, um potenzielle Schwachstellen zu beseitigen.
9. wichtige Zitate von Rednern
9.1 Über die Definition und das Wesen von Cue Engineering:
- Zack Witten. Ich denke, das Projekt "Prompt" istVersuchen, das Modell dazu zu bringen, Dinge zu tun, das Potenzial des Modells zu maximierenVersuchen Sie, mit dem Modell zusammenzuarbeiten, um Dinge zu erreichen, zu denen Sie sonst nicht in der Lage wären". Er unterstreicht die Bedeutung einer klaren Kommunikation und argumentiert, dass der Dialog mit ModellenEs ist so ähnlich wie ein Gespräch mit jemandem..
- Zack Witten. "Der technische Teil entsteht durch iteratives Experimentieren." Er weist darauf hin, dass es im Gegensatz zu einem Gespräch mit einem Menschen bei einem Modell einen "Reset-Knopf" gibt, der es ermöglicht, bei Null anzufangen und verschiedene Ansätze unabhängig voneinander auszuprobieren, was Experimente und Entwürfe möglich macht.
- David Hershey. "Ich glaube, das Stichwort ist so ähnlich wie bei dirProgrammiermodell-Ansatz." Er merkte an, dass der Aufbau eines Systems, das Sprachmodelle verwendet, nicht nur das Schreiben von Prompts erfordert, sondern auch die Berücksichtigung von Themen wie Datenquellen, Latenz und Systemintegration.
- Zack Witten. "Die Artikel, die wir jetzt schreiben, sind genau wie der Code." Er argumentiert, dass geschriebene Texte, wie z. B. ein guter Aufsatz, jetzt wie Code behandelt werden können.
9.2 Über die Eigenschaften eines guten Queue-Ingenieurs:
- Amanda Askell. "Ich denke, es ist eine Mischung aus klarer Kommunikation, also die Fähigkeit, Dinge klar zu artikulieren, Aufgaben klar zu verstehen, undGut denken und Konzepte beschreiben." Sie betonteIterative Fähigkeitenwie auchÜberlegen Sie, was bei den Hinweisen schief gehen kann.
- Amanda Askell. "Der Unterschied zwischen einem guten und einem schlechten Cue-EngineerDer Schlüssel zum Erfolg liegt in der Fähigkeit, alle für die Aufgabe benötigten Informationen systematisch aufzuschlüsseln. Sie betont, wie wichtig es ist, sich von seinem eigenen Verständnis zu lösen und sich auf Modelle vonartikulierenDie Bedeutung der
- Zack Witten. "Lesen Sie die Ausgabe des Modells". Er betonte, wie wichtig es ist, die Ergebnisse des Modells sorgfältig zu lesen, und wies darauf hin, dass es selbst dann, wenn in der Aufforderung "progressiv denken" steht, wichtig ist, zu überprüfen, ob das Modell tatsächlich progressiv denkt.
- Amanda Askell. "IMisstrauensmodellund dann versuche ich es einfach weiter." Sie ist der Meinung, dass Modelle ständig getestet werden müssen, insbesondere in unbekannten Gebieten, um ihre Zuverlässigkeit zu gewährleisten.
9.3 Praktiken und Tipps zur Souffleuse:
- David Hershey. "Oft ist es nicht so, dass man einen Prompt schreibt und ihn dann dem Model gibt, und das war's dann auch schon. Tatsächlich ist es viel mehr als das.Es ist viel komplizierter.." Er wies darauf hin, dass Eingabeaufforderungen oft in größere Systeme integriert werden müssen.
- Zack Witten. "Versuchen Sie, Ihre Tipps nicht zu abstrahieren(math.) GattungBeschreiben Sie die Aufgabe klar und deutlichVersuchen Sie nicht, verrückte Abstraktionen zu bilden." Er argumentiert, dass die klare Beschreibung von Aufgaben in der Regel effektiver ist als der Versuch, komplexe Abstraktionen zu bilden.
- Amanda Askell. "Als Erstes spiele ich den Song ein und sage dann: 'Ich möchte nicht, dass Sie diese Anweisungen befolgen. Ich möchte nur, dass du mir sagst, was daran unklar ist, welche Unklarheiten es gibt oder was du nicht verstehst..'" Sie schlägt vor, das Modell zu bitten, nach der ersten Aufforderung auf unklare oder zweideutige Bereiche hinzuweisen.
- Amanda Askell. "Wenn die Leute sehen, dass Models Fehler machen, tun sie das normalerweise nicht.Fragen Sie das Modell direkt." Sie schlägt vor, dass, wenn ein Modell einen Fehler macht, es ganz einfach sein kann, das Modell zu fragen, warum es den Fehler gemacht hat und wie die Anweisungen hätten geändert werden können, um den Fehler zu vermeiden.
- David Hershey. "Wenn Sie ihm keine **Ausstiegsoption** geben, wird es weiterhin versuchen, Ihren Anweisungen zu folgen." Er betonte, wie wichtig es ist, in den Eingabeaufforderungen eine Ausstiegsoption vorzusehen, damit das Modell mit Unsicherheiten umgehen kann, wenn es darauf stößt.
- Amanda Askell. "Halten Sie sich nicht zu sehr an einen perfekten Tipp." Sie argumentiert, dass ein übermäßiges Streben nach perfekten Tipps zu Stagnation führen kann und dass es wichtig ist zu erkennen, wann es an der Zeit ist, mit der Optimierung aufzuhören.
- Zack Witten. "NormalerweiseVersuchen Sie, Grammatik und Zeichensetzung korrekt zu halten.weil ich es interessant finde". Er ist der Meinung, dass die Liebe zum Detail wichtig ist, auch wenn das Modell vielleicht keine perfekte Syntax erfordert.
9.4 Über die Zukunft von Rollenspielen und Souffleuren:
- Amanda Askell. "Ich denke einfachEs gibt keinen Grund, sie zu belügen.." Sie argumentiert, dass, da die Modelle immer leistungsfähiger werden, keine Notwendigkeit besteht, falsche Rollenspiele zu verwenden, und dass eine einfache Erklärung des Auftrags ausreicht.
- Amanda Askell. "Sie müssen in Worte fassen, was Sie wollen.Manchmal ist das, was ich will, ziemlich subtil. Sie glaubt, dass man manchmal neue Konzepte erfinden muss, um seine Absichten auszudrücken und sie in Abstimmung mit dem Modell zu definieren.
- Amanda Askell. "Vielleicht wird das Stichwort soIch erkläre, was ich will, und dann fordert mich das Modell auf." Sie stellt sich eine Zukunft vor, in der die Modelle die Nutzer abwechselnd auffordern können, ihre Bedürfnisse zu klären.
- Zack Witten. "Ich denkeWir werden in Zukunft verstärkt Modelle verwenden, um uns bei der Eingabeaufforderung zu helfen." Er sieht die Zukunft in der Verwendung von Modellen, die dabei helfen, Hinweise zu generieren und mit ihnen in hoher Bandbreite zu interagieren.
9.5 Über die Entwicklung des Cue Engineering:
- Amanda Askell. "Im Laufe der Zeit bin ichZunehmend geneigt, ihr zu vertrauendie ihm mehr Informationen und Kontext gibt". Sie argumentiert, dass mit der Weiterentwicklung der Modelle nun darauf vertraut werden kann, dass sie mehr Informationen und Zusammenhänge verarbeiten können.
9.6 Wichtige Zusammenfassung:
- Klare Kommunikation und Iteration sind das Herzstück des Cue Engineering.
- Ein guter Cue-Ingenieur mussVerstehen, wie das Modell funktioniertzusammenführenKontinuierlich die Grenzen des Modells ausloten.
- Künftig werden die Modelle Assistenten sein, die auf Aufforderungen reagieren und sogar den Benutzer auffordern können, seinerseits.
- Hinweis darauf, dass sich die technischen Fähigkeiten vonÜbertragung von Aufgaben der unteren Ebene auf Aufgaben der höheren Ebenewie z. B. Aufgabenzerlegung und komplexe Argumentation.
- Introspektive Fähigkeiten und begriffliche Definitionennoch mehr an Bedeutung gewinnen.
Erläuterung der wichtigsten Begriffe
- Prompt Engineering:Eine Methode zur Optimierung von Texteingaben (Prompts), um die gewünschte Ausgabe eines Sprachmodells zu erhalten.
- Iteration:In der Cueing-Technik bezieht sich dies auf den Prozess der kontinuierlichen Anpassung und Verbesserung von Cues, jedes Mal auf der Grundlage des Feedbacks des Modells.
- Gedankenkette:Eine Andeutungstechnik, bei der das Modell seinen Denkprozess Schritt für Schritt erklären muss, bevor es eine endgültige Antwort gibt.
- Zero-Shot:Bezieht sich auf die Fähigkeit eines Modells, Fragen direkt zu beantworten, ohne Beispiele zu geben.
- Few-Shot:Eine kleine Anzahl von Beispielen wird in den Aufforderungen zur Verfügung gestellt, um die Modellausgaben anzuleiten, damit sie die Aufgabe besser bewältigen können.
- Retrieval-Augmented Generation (RAG):Eine Methodik, die es dem Modell ermöglicht, auf eine externe Wissensbasis zuzugreifen, um relevante Informationen für die Erstellung von Antworten zu erhalten.
- Modell Ausgabe:Bezieht sich auf Textantworten, die vom Sprachmodell als Reaktion auf eine Aufforderung generiert werden.
- Theorie des Geistes:Im Zusammenhang mit Cue-Engineering bezieht sich dies auf die Fähigkeit zu verstehen, wie ein Sprachmodell Anweisungen versteht und verarbeitet.
- RLHF (Reinforcement Learning from Human Feedback)eine Trainingstechnik, die menschliches Feedback nutzt, um das Verhalten und den Output eines Sprachmodells zu optimieren.
- Vortrainiertes Modell:Sprachmodelle, die anhand großer Mengen von Textdaten trainiert und dann für bestimmte Aufgaben feinabgestimmt werden.
- Enterprise Prompt:Tipps, die für Anwendungsszenarien in Unternehmen entwickelt wurden, wobei der Schwerpunkt auf Zuverlässigkeit und Konsistenz liegt.
- Aufforderung zur Recherche:Für Forschungszwecke konzipierte Aufgaben, die darauf abzielen, die Modellierungsfähigkeiten zu erkunden und verschiedene Ergebnisse zu erhalten.
- Jailbreaking:Ein Versuch, das Modell durch Umgehung der Sicherheitsmaßnahmen dazu zu bringen, Hinweise auf schädliche oder unangemessene Inhalte zu erzeugen.
- Red Teaming:Simulation von Angriffen, um die Sicherheit und Robustheit von Modellen und Systemen zu testen.
- Eval:Ein Test oder ein Datensatz, der dazu dient, die Leistung eines Sprachmodells bei einer bestimmten Aufgabe zu messen.
Vollständige Übersetzung des Podcasts auf Chinesisch
Chinesische Übersetzung
Einführung (00:00-00:27)
Alex (Gastgeber): Hallo zusammen, ich bin Alex und diese Diskussionsrunde wird sich hauptsächlich auf Prompt Engineering konzentrieren. Wir werden Prompts aus verschiedenen Blickwinkeln erforschen - Forschung, Verbraucher und Unternehmen -, Erkenntnisse austauschen und das Wesen von Prompt Engineering eingehend diskutieren.
Selbstvorstellung der Teammitglieder (00:28-02:00)
- Alex: Head of Developer Relations bei Anthropic, früher Anthropic Tips Engineer, verantwortlich für Lösungsarchitektur und Forschung.
- David Hershey: In erster Linie zuständig für die Zusammenarbeit mit Kunden, um ihnen bei der Feinabstimmung ihrer Modelle zu helfen und häufige Probleme bei der Einführung von Sprachmodellen zu lösen, z. B. Prompt-Engineering und Aufbau von Systemen auf der Grundlage von Sprachmodellen.
- Amanda Askell: Einer der Leiter des Feinabstimmungsteams von Anthropic, der sich für die Entwicklung der Claude Ehrlicher und freundlicher.
- Zack Witten: Anthropic Prompting Engineer, der mit Kunden zusammengearbeitet hat und derzeit daran arbeitet, die Prompting-Technik in der gesamten Gemeinschaft zu verbessern, z. B. durch die Entwicklung von Prompting-Generatoren und verschiedenen Unterrichtsmaterialien.
Was ist ein Cue-Projekt? (02:01-06:29)
Alex: Was ist das Cue-Projekt? Warum wird es "Projekt" genannt? Was genau ist ein "Hinweis"?
Zack: Cue Engineering zielt darauf ab, das Modell durch die Aufgaben zu führen, das volle Potenzial des Modells zu nutzen und Arbeiten zu erledigen, die sonst in Zusammenarbeit mit dem Modell nicht möglich wären. Im Mittelpunkt steht dabei eine klare Kommunikation. Das Gespräch mit einem Modell ähnelt in vielerlei Hinsicht dem Gespräch mit einem Menschen und erfordert ein Verständnis für die "Psychologie" des Modells.
Alex: Warum steht "Engineering" im Namen?
Zack: Das "Engineering" wird durch den Prozess von Versuch und Irrtum verkörpert. Im Gegensatz zu Menschen können Modelle "von vorne anfangen", d. h. man kann verschiedene Ansätze von Grund auf ausprobieren und vermeiden, dass sie sich gegenseitig beeinträchtigen. Diese Fähigkeit zum Experimentieren und Entwerfen verleiht dem Cue Engineering seine "ingenieurmäßigen" Eigenschaften.
Alex: Cue-Engineering ist also der Prozess des Schreibens von Cues, der Interaktion mit dem Modell, der iterativen Modifikation und der Möglichkeit, jedes Mal auf den Ausgangszustand zurückzugreifen, was selbst "Engineering" ist.
Zack: Ein weiterer Aspekt ist die Integration von Prompts in das Gesamtsystem.
David: Hinweise können als eine Art des Schreibens von Modellen betrachtet werden, aber noch wichtiger ist die Klarheit. Wenn man es als Programmierung betrachtet, müssen Datenquellen, zugängliche Daten, Latenzkompromisse und die Menge der bereitgestellten Daten berücksichtigt werden. Die Erstellung von Modellen erfordert systematisches Denken, und das unterscheidet Cue Engineering von Softwareingenieuren oder Produktmanagern; es ist in sich geschlossen.
Alex: Sind Hinweise Code in natürlicher Sprache? Handelt es sich um eine höhere Abstraktionsebene oder um ein eigenes Konzept?
David: Eine zu starke Abstraktion von Hinweisen kann das Problem verkomplizieren; normalerweise ist nur eine klare Beschreibung der Aufgabe erforderlich. Allerdings werden bei Hints Anweisungen zu Ergebnissen kompiliert, so dass wichtige Konzepte der Programmierung wie Präzision, Versionskontrolle und Experimentverfolgung auch für Hints gelten.
Zack: Nun ist es sinnvoll, dass wir geschriebene Artikel als Code behandeln.
Welche Eigenschaften sollte ein guter Souffleur haben? (06:30-12:43)
Alex: Was macht einen guten Cueing Engineer aus?Amanda, worauf achten Sie, wenn Sie einen Cueing Engineer für die Forschung einstellen?
Amanda: Gute Cueing-Ingenieure müssen in der Lage sein, klar zu kommunizieren, zu iterieren und Situationen vorauszusehen, in denen Cues schief gehen könnten. Klare Kommunikation bedeutet, dass man in der Lage ist, sich zu artikulieren, Aufgaben zu verstehen und Konzepte genau zu beschreiben. Hervorragende Schreibfähigkeiten sind nicht gleichbedeutend mit exzellenten Fähigkeiten bei der Entwicklung von Stichwörtern. Cue-Engineering geht nicht von heute auf morgen und erfordert ständige Wiederholungen, um das Modell auf Missverständnisse zu untersuchen und Korrekturen vorzunehmen. Gute Cue-Engineers denken über die spezifischen Situationen nach, in denen ein Modell falsch sein könnte, z. B. das Fehlen von Namen in einem Datensatz, die mit "G" beginnen, oder eine leere Eingabezeichenfolge, und fügen Erklärungen für diese Situationen hinzu.
David: Ingenieure denken oft an ideale Situationen, in denen ein Benutzer tippen könnte, aber in der Realität kann es vorkommen, dass der Benutzer keine Großbuchstaben verwendet, sich vertippt oder sinnlose Wörter eingibt. Die Fähigkeit, das tatsächliche Benutzerverhalten zu antizipieren, ist eine weitere wichtige Fähigkeit von Cueing-Ingenieuren.
Zack: Das Lesen der Ausgabe des Modells ist entscheidend. Ähnlich wie beim maschinellen Lernen, wo man sich die Daten ansieht, ist auch beim Cue-Engineering ein sorgfältiges Lesen der Modellausgabe erforderlich. Selbst wenn ein Hinweis das Modell auffordert, "Schritt für Schritt zu denken", muss überprüft werden, ob das Modell dies tatsächlich tut, da es die Anweisungen möglicherweise abstrakter oder allgemeiner versteht.
Amanda: Das Verfassen eines Leitbildes ist sehr schwierig und erfordert die klare Vermittlung von Informationen, die Claude nicht kennt. Viele Menschen schreiben die Informationen, die sie kennen, sofort auf, ohne jedoch systematisch alle Informationen zu sortieren, die zum Verständnis der Aufgabe erforderlich sind.
David: Viele Menschen schreiben Prompts, die auf ihrem a priori Verständnis der Aufgabe beruhen, was sie für andere unverständlich macht. Gute Cueing-Ingenieure sind in der Lage, aus ihrem eigenen Wissensrahmen herauszutreten und dem Modell die Aufgabe in ihrer Gesamtheit zu vermitteln.
Alex: Oft bin ich nicht in der Lage, die Aufgabe auf der Grundlage von Aufforderungen, die von anderen geschrieben wurden, zu bewältigen, während von dem Modell erwartet wird, dass es eine bessere Arbeit leistet als ich.
David: Aktuelle Modelle sind noch nicht in der Lage, gezielte Fragen in der gleichen Weise zu stellen wie Menschen. Daher müssen Souffleure selbst darüber nachdenken, welche Fragen die andere Person stellen könnte, und diese Fragen im Prompt beantworten.
Amanda: Ich würde das Modell bitten, auf unklare oder zweideutige Teile der Aufforderung hinzuweisen und es bitten, zu erklären, was falsch gelaufen ist und Änderungen vorzuschlagen.
Wie kann ich feststellen, ob ein Modell seine eigenen Fehler erkennen kann? (12:43-14:12)
Alex: Kann ein Modell wirklich seine eigenen Fehler entdecken, indem es sich fragt, "warum es einen Fehler gemacht hat"? Sind die Erklärungen, die es liefert, real oder sind sie "Illusionen" über die eigenen Fähigkeiten des Modells?
Amanda: Wenn man dem Modell erklärt, was es falsch macht, kann es das Problem manchmal erkennen. Aber das hängt von der jeweiligen Aufgabe ab und die Erfolgsquote ist ungewiss, aber ich versuche es immer.
Zack: Die Interaktion mit dem Modell kann Ihnen helfen, die Situation zu verstehen, und Sie werden diese Informationen verpassen, wenn Sie es nicht versuchen.
Woran erkenne ich, ob eine Eingabeaufforderung glaubwürdig ist? (14:13-17:52)
Alex: Sie interagieren viel mit Claude im Slack-Kanal und verwenden es in verschiedenen Forschungsszenarien. Wie haben Sie Vertrauen in das Modell aufgebaut?
Amanda: Ich vertraue dem Modell nicht völlig, sondern bin ständig dabei, es zu "verfeinern". Ich denke: "Kann ich dir das zutrauen?". Ich würde denken: "Kann ich dir das zutrauen?". Modelle sind bei scheinbar einfachen Aufgaben manchmal unzuverlässig, oft in Bereichen, die außerhalb der Verteilung der Trainingsdaten des Modells liegen. Dies nimmt ab, je leistungsfähiger die Modelle werden. Ich vertraue nicht standardmäßig auf Modelle, aber ich denke, dass man sich beim maschinellen Lernen in der Regel viele Daten ansehen möchte, um Rauschen zu eliminieren. Und beim Cue-Engineering ist eine kleine Anzahl von sorgfältig konstruierten Cues wertvoller als eine große Anzahl von zufällig konstruierten Cues. Wenn ich mir die Ergebnisse von 100 Modellen ansehe und die Ergebnisse konsistent sind und ich weiß, dass die Ergebnisse einen breiten Bereich von Randfällen und anomalen Eingaben abdecken, dann vertraue ich dem Modell mehr.
David: Signale beim maschinellen Lernen sind in der Regel Zahlen, wie die Vorhersagegenauigkeit. Und die Ausgabe eines Modells ist in der Regel eine große Menge an Text, aus der wir lernen können, wie das Modell denkt. Es geht nicht nur darum, ob das Modell die Aufgabe richtig gelöst hat, sondern auch darum, wie es zu dem Ergebnis gekommen ist und welche Schritte es durchlaufen hat.
Amanda: Gut geschriebene Hinweise können den Erfolg eines Experiments von 1% oder sogar 0,1% auf die besten 1% oder sogar die besten 0,1% steigern. Wenn Ihre Experimente zu den besten 1% der Modellleistung gehören müssen, um erfolgreich zu sein, ist es wichtig, dass Sie Zeit für die Hinweise aufwenden.
David: Bei der Produktbereitstellung kann ein guter Tipp ein ansonsten unverkäufliches Produkt nutzbar machen.
Amanda: Aber es gibt auch die Falle des "bessere Tipps sind immer auf dem Weg".
Wie kann ich erkennen, ob eine Aufgabe mit einer Eingabeaufforderung gelöst werden kann? (17:53-21:12)
Alex: Woran erkenne ich, ob eine Aufgabe wahrscheinlich durch eine Eingabeaufforderung gelöst werden kann?
Amanda: Ich überprüfe normalerweise, ob das Modell die Aufgabe "versteht". Wenn klar ist, dass das Modell nicht in der Lage ist, eine Aufgabe zu lösen, verbringe ich nicht viel Zeit mit ihr.
David: Sie können das Modell anleiten, seinen Gedankengang darzulegen, und von dort aus feststellen, ob es die Aufgabe richtig verstanden hat. Ich gebe normalerweise auf, wenn der Gedankengang des Modells jedes Mal völlig anders ist und weit von der richtigen Richtung entfernt ist.
Amanda: Dies ist jedoch selten.
David: Vor kurzem habe ich versucht, Claude dazu zu bringen, Pokemon zu spielen, und das ist das erste Mal, dass mir das passiert ist. Ich habe ein Wochenende damit verbracht, Tipps zu schreiben, um zu versuchen, Claude dazu zu bringen, den Bildschirm des Game Boy zu verstehen, und obwohl ich einige Fortschritte gemacht habe, war es nicht genug. Also habe ich beschlossen, vorerst aufzugeben und auf das nächste Modell zu warten.
Tipps zu Bildern (21:13-24:27)
Zack: An den Hinweisen, die Sie im Pokemon-Spiel verwendet haben, hat mir unter anderem gefallen, dass Sie dem Modell erklärt haben, dass es sich in einem Pokemon-Spiel befindet und wie die Spielelemente dargestellt werden.
David: Am Ende legte ich ein Raster über das Bild und beschrieb jeden Rasterabschnitt, um ihn dann als ASCII-Zeichnung mit so vielen Details wie möglich zu rekonstruieren. Das hat viele Ähnlichkeiten mit dem Cue Engineering, aber ich habe das noch nie mit Bildern gemacht. Ich stellte fest, dass viele meiner Intuitionen in Bezug auf Text nicht auf Bilder zutrafen. Zum Beispiel funktionieren Multi-Sample-Cues bei Bildern nicht so gut wie bei Text.
Alex: Wir haben bisher festgestellt, dass es schwierig ist, Claudes Wahrnehmung von Bildern zu verbessern, wenn wir multimodale Hinweise untersuchen.
David: Ich konnte Claude schließlich dazu bringen, die meiste Zeit Wände und Figuren zu erkennen, aber es konnte keine NSCs erkennen, was für ein gutes Spiel entscheidend ist.
Diskussion über Rollenspieleinlagen (24:28-32:26)
Alex: Ist die Cueing-Technik, bei der dem Modell gesagt wird, dass es eine bestimmte Rolle oder Identität spielt, wirksam?
Amanda: Da die Modelle immer leistungsfähiger werden und man sie immer besser versteht, sehe ich keine Notwendigkeit, über sie zu lügen. Ich lüge nicht gern, und ich glaube nicht, dass die Erstellung von Bewertungsdatensätzen für maschinelle Lernsysteme dasselbe ist wie die Erstellung von Quizfragen für Kinder. Die Modelle wissen, was eine Sprachmodellbewertung ist, also frage ich sie direkt nach der eigentlichen Aufgabe. Ich würde dem Modell sagen: "Ich möchte, dass du Fragen konstruierst, die den Bewertungen des Sprachmodells sehr ähnlich sind", anstatt so zu tun, als ob sie eine nicht verwandte Aufgabe erfüllen.
Zack: Ich habe festgestellt, dass die Verwendung von Metaphern dem Modell helfen kann, die Aufgabe zu verstehen. Wenn ich zum Beispiel die Qualität eines Diagramms beurteilen soll, frage ich das Modell: "Wenn dies eine Schulaufgabe wäre, welche Note würden Sie diesem Diagramm geben?" . Das bedeutet nicht: "Sie sind ein Gymnasiallehrer", sondern stellt eine Analogie dar, die es dem Modell ermöglicht, die Art und Weise zu verstehen, in der ich die Analyse erwarte.
David: Die Leute nutzen Rollenspiele oft als Abkürzung für ähnliche Aufgaben, aber sie sind sich nicht bewusst, wie viele Produktdetails dabei verloren gehen. Je leistungsfähiger die Modelle werden, desto wichtiger ist es, den spezifischen Kontext, in dem sie eingesetzt werden, genauer zu beschreiben. Anstatt z. B. zu sagen: "Du bist ein hilfreicher Assistent", sollten Sie dem Modell sagen: "Du bist in diesem Produkt, du repräsentierst dieses Unternehmen und du bist das Support-Chatfenster für dieses Produkt. Ich empfehle, den spezifischen Kontext, in dem das Modell eingesetzt wird, so detailliert wie möglich zu beschreiben, da die Leute durch Rollenspiele oft von der eigentlichen Aufgabe abgelenkt werden.
Amanda: Ich persönlich habe noch nie Rollenspiele als Souffleurtechnik eingesetzt, auch nicht bei weniger fähigen Modellen.
David: Dies kann mit den Unterschieden zwischen dem vortrainierten Modell und dem RLHF-Modell zusammenhängen.
Amanda: Ich würde mir die Aufgabe als Aushilfe vorstellen und ihm sagen: "Wir wollen, dass du gute Diagramme entdeckst, und gute Diagramme bedeuten ......", aber ich würde nicht zu ihm sagen: "Du bist ein Oberstufenschüler! Du bist ein Oberstufenschüler".
Vorschläge für eine prägnante Präsentation (32:27-36:45)
David: Wenn Kunden sagen, dass ihre Prompts nicht funktionieren, bitte ich sie, die Aufgabe zu beschreiben, und lasse sie dann aufzeichnen, was sie gerade gesagt haben, und es in Text umwandeln, der in der Regel besser ist als die Prompts, die sie geschrieben haben.
Zack: Jemand hat uns gebeten, bei der Optimierung der Tipps zu helfen, also habe ich einfach kopiert, was sie beschrieben haben, und die Tipps haben funktioniert.
David: Die Menschen haben nicht ganz verstanden, was Eingabeaufforderungen wirklich bedeuten. Viele Menschen verwenden Textfelder als Google-Suchfelder, um Schlüsselwörter einzugeben. In Unternehmensanwendungen versuchen die Menschen, bei Eingabeaufforderungen Abkürzungen zu nehmen, weil sie denken, dass eine bestimmte Textzeile wichtig ist. Die Leute geben sich viel Mühe, den perfekten, aufschlussreichen Satz zu finden, aber das ist gar nicht so einfach.
Amanda: Oft wird vergessen, dem Modell in den Eingabeaufforderungen Raum zu lassen. Das Modell wird zum Beispiel sein Bestes tun, um Ihre Anweisungen zu befolgen, wenn es auf einen Grenzfall stößt, aber wenn Sie ihm nicht sagen, was es tun soll, gibt es vielleicht die falsche Antwort. Sie können dem Modell sagen: "Wenn etwas Seltsames passiert und Sie nicht sicher sind, was zu tun ist, geben Sie 'nicht sicher' in der Beschriftung aus". So können Sie Situationen erkennen, mit denen das Modell nicht gut umgehen kann, und die Qualität der Daten verbessern.
Amanda: Ich würde die Prompts anderen zeigen, als würde ich die Bewertung selbst durchführen.
David: Karpathy erstellt auch seine eigenen ImageNet-Testsätze.
Wie man gültige Informationen aus Modellantworten erhält (36:46-40:46)
Alex: Wie kann man aus den Antworten eines Modells gültige Informationen gewinnen? Es ist nicht nur eine Zahl, sondern man kann daraus etwas über den Denkprozess des Modells lernen. Gilt das auch für Gedankenketten?
David: Ich halte die Analogie der Personifizierung mit ihrer Überbetonung des "Denkens" für schädlich. Wichtig ist, dass Gedankenketten funktionieren und die Modellleistung verbessern können. Strukturierte Überlegungen können die Wirkung noch verstärken.
Amanda: Wenn Sie die Argumentation, mit der das Modell zur richtigen Antwort kommt, entfernen und durch eine Argumentation ersetzen, die vernünftig erscheint, aber zur falschen Antwort führt, sehen Sie, ob das Modell zu einer falschen Schlussfolgerung kommt.
Zack: Das Modell eine Geschichte schreiben zu lassen, bevor es die Aufgabe löst, funktioniert nicht so gut wie eine Gedankenkette.
Alex: Dies deutet darauf hin, dass der Denkprozess einen Einfluss auf das Ergebnis hat.
Amanda: Ich habe Fälle erlebt, in denen die Argumentationsschritte nicht übereinstimmen, aber am Ende doch die richtige Antwort geben.
Über die Notwendigkeit von Grammatik und Zeichensetzung in Prompts (40:47-45:19)
Alex: Erfordert die Aufforderung die Beachtung von Grammatik und Zeichensetzung?
Zack: Ich werde auf diese Details achten, weil es Spaß macht, aber es ist nicht notwendig. Wichtig ist, dass Sie diese Aufmerksamkeit für Details haben sollten.
Amanda: Ich mache oft Rechtschreibfehler in meinen Aufforderungen, aber mir geht es mehr um den klaren Ausdruck von Konzepten.
David: Dies hängt mit dem Vortrainingsmodell und dem RLHF-Modell zusammen. Die bedingte Wahrscheinlichkeit von Rechtschreibfehlern ist im vor-trainierten Modell höher. Die Anwendung der Intuition des vortrainierten Modells auf das Modell in der Produktionsumgebung funktioniert nicht immer.
Alex: Der Dialog mit Vorbildern kann in gewisser Weise als eine Form der Nachahmung angesehen werden.
David: Das Modell passt sein Verhalten entsprechend Ihren Eingaben an.
Der Unterschied zwischen Geschäftstipps, Forschungstipps und allgemeinem Chat (45:20-50:53)
Alex: Was ist der Unterschied zwischen Geschäftstipps, Recherchetipps und allgemeinem Chat?
Zack: Bei forschungsbasierten Prompts liegt der Schwerpunkt eher auf der Vielfalt und der Erkundung der Möglichkeiten des Modells, weshalb sie weniger oder gar keine Beispiele enthalten, um eine übermäßige Abhängigkeit von Beispielen für das Modell zu vermeiden. Im Gegensatz dazu sind die Aufforderungen auf Unternehmensebene eher auf Zuverlässigkeit und Formatkonsistenz ausgerichtet und verwenden daher eine große Anzahl von Beispielen.
Amanda: Die Beispiele, die ich verwende, unterscheiden sich in der Regel von den Daten, mit denen das Modell arbeiten wird, und sollen eher Konzepte veranschaulichen, als dass das Modell sie auswendig lernen muss. Bei kognitiven Aufgaben möchte ich, dass das Modell die richtige Antwort in jedem Beispiel tatsächlich versteht.
David: Bei Claude.ai muss ich das Modell nur einmal dazu bringen, die Aufgabe korrekt auszuführen. Aber in einer Unternehmensanwendung müssen die Eingabeaufforderungen auf eine Vielzahl von Situationen und Eingabedaten reagieren können.
Vorschläge zur Verbesserung der technischen Fähigkeiten von Queues (50:54-53:57)
Alex: Vorschläge zur Verbesserung der technischen Fähigkeiten von Tipps?
Zack: Lesen Sie die ausgezeichneten Tipps und Ergebnisse der Modelle, analysieren Sie ihre Prinzipien und experimentieren Sie mit ihnen, sprechen Sie öfter mit den Modellen.
Amanda: Zeigen Sie Ihre Tipps anderen, insbesondere denen, die Ihre Arbeit nicht kennen. Üben Sie weiter und betrachten Sie Ihre Tipps aus der Perspektive eines "Anfängers".
David: Versuchen Sie, das Modell dazu zu bringen, etwas zu tun, von dem Sie glauben, dass es es nicht tun kann.
Über Jailbreak (53:58-56:54)
Alex: Was passiert innerhalb des Modells, wenn die Leute Jailbreak-Hinweise schreiben?
Amanda: Eine Möglichkeit ist, dass der Hinweis auf den Gefängnisausbruch das Modell von der Verteilung der Trainingsdaten ablenkt.
Zack: Jailbreaking erscheint manchmal wie eine Kombination aus Hacking und Social Engineering.
Entwicklung der Queue-Technik (56:55-64:33)
Alex: Wie hat sich das Prompt-Projekt in den letzten drei Jahren verändert?
Zack: Wir werden wirksame Cue-Engineering-Techniken in die Modellschulung einbeziehen, so dass die besten Techniken in der Regel von kurzer Dauer sind.
David: Ich habe allmählich gelernt, die Fähigkeit der Modelle zu respektieren, ihnen mehr Informationen und Kontext zu geben.
Amanda: Ich würde das Papier direkt an das Modell geben und es die Cueing-Technik selbst erlernen lassen.
David: Die Menschen unterschätzen oft die Macht der Modellierung und versuchen, das Problem auf "Claude's Level" zu reduzieren.
Amanda: Ich werde versuchen, mich in die Gedankenwelt des Modells hineinzuversetzen, was sich auf die Art und Weise auswirken wird, wie ich die Aufforderungen schreibe.
Zack: Es ist für mich einfacher, mich in die Gedankenwelt eines bereits trainierten Modells hineinzuversetzen.
Amanda: Das Lesen von Inhalten im Internet kann für das Verständnis des Modells hilfreicher sein als das Lesen eines Buches.
Tipps für die Zukunft der Technik (64:34-Ende)
Alex: Was ist die Zukunft der Queue-Technik? Werden wir alle zu Queue-Ingenieuren?
David: Es ist immer notwendig, die Ziele des Modells zu spezifizieren, und es ist wichtig, sie klar auszudrücken. Werkzeuge und Methoden werden sich weiterentwickeln, und Modelle können uns helfen, bessere Aufforderungen zu schreiben.
Zack: Wir werden verstärkt auf Modelle zurückgreifen, um das Projekt zu unterstützen, z. B. um Beispiele zu generieren.
Amanda: Derzeit schreibe ich hauptsächlich Meta-Prompts, die es dem Modell ermöglichen, die von mir gewünschte Ausgabe zu erzeugen. In Zukunft könnte das Modell wie ein Designer agieren, der mit uns interagiert und uns anleitet, das zu sagen, was wir wirklich wollen.
David: Ich werde mich von Claude "interviewen" lassen, um die Informationen zu erhalten.
Amanda: Im Moment müssen wir die Konzepte, die wir im Kopf haben, dem Modell mitteilen, und in der Zukunft kann das Modell uns aktiv dazu anleiten, sie auszusprechen. Die philosophische Ausbildung hilft mir, komplexe Konzepte klar auszudrücken.
Alex: Die Gewinnung von Informationen aus den Nutzern wird noch wichtiger werden.
Zack: Cue Engineering ist wie Unterrichten, man muss sich in seine Schüler "einfühlen". In Zukunft müssen wir "introspektiv" sein und uns von den Modellen verstehen lassen.
Amanda: Ich definiere oft neue Konzepte, um meine Ideen klar auszudrücken.
Alex: Amanda bringt es perfekt auf den Punkt: Ihre Ideen einem gebildeten Laien zu vermitteln.
Zusammenfassung:
Diese Rundtischdiskussion dreht sich um das Cueing Engineering und deckt ein breites Spektrum von Aspekten ab, wie z. B. seine Definition, die Qualitäten eines guten Cueing Engineers, die Art und Weise, wie es mit dem Modell interagiert, Anwendungen auf Unternehmensebene, Forschungsanwendungen und zukünftige Richtungen. Zu den wichtigsten Punkten gehören:
- Das Herzstück des Cue-Engineerings ist eine klare Kommunikation und ein Verständnis für die Fähigkeiten des Modells.
- Gute Prompting-Ingenieure müssen in der Lage sein, sich klar auszudrücken, zu iterieren, Fehler vorauszusehen und systematisch zu denken.
- Wenn die Fähigkeiten des Modells zunehmen, wird sich das Cue-Engineering mehr darauf konzentrieren, wie man Informationen vom Benutzer extrahieren kann, anstatt dem Modell Befehle in eine Richtung zu erteilen.
- Die Zukunft des Cue-Engineering könnte der Interaktion zwischen einem Designer und einem Kunden ähneln, wobei das Modell eine proaktivere Rolle bei der Anleitung des Benutzers zur Äußerung seiner Bedürfnisse übernimmt.
- Die Philosophieausbildung trägt zur Verbesserung der technischen Fähigkeiten bei, da die Philosophie den Schwerpunkt auf die klare und genaue Darstellung komplexer Konzepte legt.