Introdução geral
O gpt-prompt-engineer é um projeto de código aberto no GitHub que se concentra na engenharia de prompts para modelos GPT. Os usuários podem inserir descrições de tarefas e casos de teste, e essa ferramenta é capaz de gerar, testar e classificar diferentes prompts para encontrar o melhor desempenho. O projeto utiliza modelos de linguagem grandes, como o GPT-4 e o GPT-3.5-Turbo, e usa um sistema de pontuação ELO para classificar a eficácia dos prompts gerados, com a opção de registrar e rastrear a cadeia de prompts.
A engenharia de dicas é um pouco como a alquimia. Não há uma maneira clara de prever o que funcionará melhor. O gpt Tip Engineer é uma ferramenta que leva essa experimentação a um nível totalmente novo.
Ajuda você a gerar, otimizar e testar Prompts, com suporte para GPT e Claude, e pode otimizar o Claude As palavras-chave do 3 Haiku ajudam a obter ótimos resultados. Vale a pena observar que o Claude 3 Haiku é mais barato que o GPT-3.5, mas tem bom desempenho e oferece suporte a modelos visuais.
Lista de funções
Geração de dicas: gere uma variedade de dicas com base em casos de uso e casos de teste.
Teste de sinalização: o desempenho da sinalização é testado e classificado usando o sistema de pontuação ELO.
Sistema de pontuação do ELO: ajuste dinamicamente as pontuações do ELO comparando o desempenho das respostas dos casos de teste.
Versão categorizada: projetada para tarefas de categorização, fornecendo pontuações de teste para cada solicitação.
Registro opcional: suporta o registro de Weights & Biases e o registro da ferramenta Portkey.
Usando a Ajuda
Abra o notebook do projeto no Google Colab ou em um notebook Jupyter local.
Adicione a chave secreta da API da OpenAI ao código.
Definir descrições de tarefas e casos de teste.
Ajuste o modelo para selecionar GPT-4 ou GPT-3.5-Turbo, conforme necessário.
Chame a função generate_optimal_prompt() para gerar, testar e pontuar prompts.