综合介绍
gpt-prompt-engineer是一个GitHub上的开源项目,专注于GPT模型的提示工程。用户可以通过输入任务描述和测试用例,这个工具能够生成、测试,并排名不同提示以寻找表现最佳者。该项目利用GPT-4和GPT-3.5-Turbo等大型语言模型,采用ELO评分系统对生成提示的有效性进行排序,并可选择记录日志和追踪提示链。
提示工程有点像炼金术。没有明确的方法来预测什么最有效。这一切都是为了尝试,直到找到正确的提示。gpt 提示工程师是一个将这种实验提升到一个全新水平的工具。
帮助你生成、优化和测试 Prompt,支持GPT和Claude,并且可以优化 Claude 3 Haiku 的提示词,帮助达到很好的效果。值得一提的是, Claude 3 Haiku 价格比 GPT-3.5 还便宜,但是性能不错,并且支持视觉模型。
功能列表
提示生成:基于用例和测试用例生成多样的提示。
提示测试:使用ELO评分系统测试提示性能并进行排名。
ELO评分系统:通过对比测试用例响应性能动态调整ELO评分。
分类版本:专为分类任务而设计,给出每个提示的测试分数。
可选日志记录:支持Weights & Biases日志和Portkey工具记录。
使用帮助
在Google Colab或本地Jupyter notebook中打开项目笔记本。
将OpenAI的API秘钥添加到代码中。
定义任务描述和测试用例。
调整模型,根据需要选择GPT-4或GPT-3.5-Turbo。
调用generate_optimal_prompt()函数生成、测试和评分提示。