Allgemeine Einführung
gpt-prompt-engineer ist ein Open-Source-Projekt auf GitHub, das sich auf Prompt Engineering für GPT-Modelle konzentriert. Benutzer können Aufgabenbeschreibungen und Testfälle eingeben, und dieses Tool ist in der Lage, verschiedene Prompts zu generieren, zu testen und zu bewerten, um den besten zu finden. Das Projekt nutzt große Sprachmodelle wie GPT-4 und GPT-3.5-Turbo und verwendet ein ELO-Scoring-System, um die Effektivität der generierten Prompts zu bewerten, mit der Option, die Kette der Prompts zu protokollieren und nachzuverfolgen.
Tip Engineering ist ein bisschen wie Alchemie. Es gibt keine eindeutige Methode, um vorherzusagen, was am besten funktioniert. Es geht darum, so lange zu experimentieren, bis man die richtige Spitze gefunden hat. gpt Tip Engineer ist ein Werkzeug, das dieses Experimentieren auf eine ganz neue Ebene hebt.
Hilft Ihnen beim Erstellen, Optimieren und Testen von Prompts, mit Unterstützung für GPT und Claude, und kann die Claude Die Stichwortwörter von 3 Haiku helfen, großartige Ergebnisse zu erzielen. Es ist erwähnenswert, dass Claude 3 Haiku billiger als GPT-3.5 ist, aber gute Leistungen erbringt und visuelle Modelle unterstützt.
Funktionsliste
Tipp-Generierung: Generieren Sie eine Vielzahl von Tipps auf der Grundlage von Anwendungsfällen und Testfällen.
Cueing-Test: Die Cueing-Leistung wird anhand des ELO-Bewertungssystems getestet und eingestuft.
ELO-Bewertungssystem: Dynamische Anpassung der ELO-Bewertungen durch den Vergleich der Antwortleistung von Testfällen.
Kategorisierte Version: Entwickelt für Kategorisierungsaufgaben, die für jede Aufforderung eine Testpunktzahl angeben.
Optionale Protokollierung: Unterstützt die Protokollierung von Gewichten und Verzerrungen sowie die Protokollierung von Portkey-Tools.
Hilfe verwenden
Öffnen Sie das Projektnotizbuch in Google Colab oder ein lokales Jupyter-Notizbuch.
Fügen Sie den geheimen API-Schlüssel von OpenAI in den Code ein.
Definieren Sie Aufgabenbeschreibungen und Testfälle.
Stellen Sie das Modell so ein, dass je nach Bedarf GPT-4 oder GPT-3.5-Turbo ausgewählt wird.
Rufen Sie die Funktion generate_optimal_prompt() auf, um Prompts zu erzeugen, zu testen und zu bewerten.
