はじめに
gpt-prompt-engineerはGitHubのオープンソースプロジェクトで、GPTモデルのプロンプトエンジニアリングに焦点を当てている。ユーザはタスクの説明やテストケースを入力することができ、このツールは様々なプロンプトを生成、テスト、ランク付けし、最高の実行者を見つけることができる。このプロジェクトはGPT-4やGPT-3.5-Turboのような大規模な言語モデルを利用し、生成されたプロンプトの有効性をランク付けするためにELOスコアリングシステムを使用する。
チップ・エンジニアリングは錬金術に似ている。何が最も効果的かを予測する明確な方法はありません。gpt Tip Engineerは、この実験を全く新しいレベルに引き上げるツールです。
GPTとClaudeをサポートし、プロンプトの生成、最適化、テストを支援します。 クロード 3 Haikuのキューワードは、素晴らしい結果を達成するのに役立つ。Claude 3 HaikuはGPT-3.5より安価だが、性能がよく、ビジュアルモデルをサポートしていることは注目に値する。
機能一覧
ヒント生成：ユースケースやテストケースに基づいて、さまざまなヒントを生成します。
キューイングテスト：キューイングのパフォーマンスをテストし、ELOスコアリングシステムを用いてランク付けする。
ELO採点システム：テストケースの応答パフォーマンスを比較することで、ELOスコアを動的に調整。
カテゴリー化バージョン：カテゴリー化タスク用にデザインされたもので、各プロンプトに対してテストスコアを与える。
オプションのロギング：ウェイト＆バイアスのロギングとポートキーツールのロギングをサポート。
ヘルプの使用
Google ColabまたはローカルのJupyterノートブックでプロジェクトノートブックを開く。
OpenAIのAPIシークレットキーをコードに追加します。
タスク記述とテストケースを定義する。
必要に応じてGPT-4またはGPT-3.5-Turboを選択するようにモデルを調整する。
generate_optimal_prompt() 関数をコールして、プロンプトを生成、テスト、採点する。
