O melhor conteúdo de podcast de discussão sobre a Prompt Engineering visto até o momento.

Resumo da IA

delineado

Dicas de IA Engenharia Em uma mesa redonda, vários especialistas da Anthropic compartilharam seu entendimento e experiência prática em engenharia de tacos a partir de várias perspectivas, incluindo pesquisa, consumidor e empresa.

O artigo detalha a definição de engenharia de tacos, sua importância e como se tornar um bom engenheiro de tacos.

A ideia central é que a engenharia de dicas é mais do que uma simples entrada de texto, mas um processo que exige iteração constante, experimentação e uma compreensão mais profunda da psicologia do modelo.

Isso envolve como se comunicar efetivamente com os modelos de IA e integrá-los ao sistema maior.

As semelhanças entre a engenharia de dicas e a programação também são exploradas, bem como as diferentes ênfases em diferentes cenários de aplicação (por exemplo, pesquisa, empresa e diálogo cotidiano).

sublinhados Comunicação clara, capacidade de iteração e observação meticulosa dos resultados do modelo Essa é a chave para estimular o projeto.

Os especialistas também discutiram vários desafios encontrados em aplicações práticas e compartilharam experiências e dicas valiosas, como, por exemplo, como lidar com casos extremos, como usar o feedback dos próprios modelos para melhorar as dicas e como distinguir entre diferentes tipos de modelos.

Em poucas palavras.Este artigo oferece aos leitores um guia abrangente e perspicaz sobre a engenharia de prontidão e uma visão das direções futuras.

Pontos principais

• A engenharia de tacos é um processo de comunicação clara com um modelo e de iteração para maximizar seu potencial.
• No centro da engenharia está a experimentação, a tentativa e o erro, a capacidade de voltar atrás e tentar abordagens diferentes a partir do zero.
• Os prompts não são apenas texto, mas uma abordagem de programação integrada ao sistema geral que exige a consideração de fontes de dados, latência e design do sistema.
• Os bons engenheiros de estímulo precisam ser capazes de se comunicar com clareza, iterar e analisar os resultados do modelo em profundidade.
• Compreender a "mente" do modelo é fundamental e precisa levar em conta como o modelo interpreta as instruções.

Insights inovadores

• Pense na palavra escrita como um código e considere que escrever uma boa redação é tão importante quanto escrever um código.
• É enfatizada a importância de ler a saída do modelo, semelhante a "examinar os dados" no aprendizado de máquina.
• Ofereça o uso de modelos para ajudar a otimizar os prompts ou até mesmo deixe que o modelo aponte seus próprios erros.
• Argumenta-se que explicar a tarefa diretamente ao modelo, em vez de fingir ser um personagem, é mais eficaz em muitos casos.
• O futuro da engenharia de dicas será mais focado na obtenção de informações do usuário, com modelos desempenhando o papel de guias.

Principais citações e traduções

Artigo original 1: Acho que a parte da engenharia vem da tentativa e erro. Então, uma coisa muito boa de conversar com um modelo, que não é como conversar com uma pessoa, é que você tem esse botão de reiniciar.

Tradução: Acho que a parte da "engenharia" vem da tentativa e erro. Bem, uma das grandes diferenças entre conversar com um modelo e conversar com uma pessoa é que você tem um botão de reinicialização. Esse botão gigante leva você de volta à estaca zero e começa do zero.

Motivo da citação: Essa citação destaca de forma eloquente o significado de "engenharia" na engenharia de dicas e enfatiza a importância da experimentação e da iteração contínuas para aprimorar as dicas, o que é fundamental para diferenciar a engenharia de dicas de outras formas de comunicação.

Original 2: Penso nos prompts como a maneira de programar modelos, o que os torna muito complicados. Mas se você pensar um pouco como programar um modelo, terá de pensar de onde vêm os dados, a que dados você tem acesso... (parágrafo 2) dados aos quais você tem acesso... (parágrafo 7)

Tradução: Acho que as dicas são uma espécie de maneira de programar o modelo, embora seja um pouco complicado dizer isso. Porque acho que Zack tem razão quando diz que o importante é a comunicação clara. Mas se você pensar nos prompts como uma programação de um modelo, terá que pensar de onde os dados estão vindo e a quais dados você tem acesso.

Motivo da citação: Essa passagem vincula a sinalização à programação, enfatizando que a sinalização não se refere apenas à linguagem, mas requer pensamento sistêmico, incluindo fatores como dados, latência e integração de sistemas.

Portanto, acho que posso confiar no modelo se olhar para 100 saídas dele e ele for realmente consistente. E sei que os construí para basicamente descobrir todos os casos extremos e todas as coisas estranhas que o modelo pode fazer, entradas estranhas, etc. E sei que os construí para basicamente descobrir todos os casos extremos e todas as coisas estranhas que o modelo pode fazer, entradas estranhas, etc. Provavelmente, confio mais nisso do que em um conjunto de vários milhares de dados construídos de forma muito mais vaga.

Tradução: Portanto, se eu observar 100 saídas de um modelo e elas forem muito consistentes, e eu souber que construí essas saídas para descobrir todos os casos extremos e coisas estranhas que o modelo pode fazer e entradas estranhas e assim por diante, vou confiar nesse modelo, provavelmente mais do que em milhares de saídas construídas de forma vaga.

Motivo da citação: Essa passagem enfatiza o valor de pequenos conjuntos de dados de alta qualidade em relação a grandes conjuntos de dados de baixa qualidade. Na engenharia de dicas, o foco deve estar na consideração adequada dos casos extremos, em vez de buscar cegamente um grande número de amostras.

Notas de leitura

[Dicas sobre a natureza da engenharia]: Iteração e experimentação

• A engenharia de pistas é o processo de otimização dos resultados do modelo por meio de tentativa e erro e iteração.
• Ele enfatiza o gerenciamento e o rastreamento de experimentos como se fossem programados.
• A comunicação clara é a base da engenharia de dicas.

#promptengenharia #itulação #experimentação

[Qualidades de um engenheiro rápido]: Compreensão e observação

• São necessárias habilidades de comunicação claras e disposição para iterar.
• Requer uma compreensão profunda do modelo e a capacidade de aprender com os resultados do modelo.
• Necessidade de levar em conta a diversidade de cenários práticos de uso e as entradas dos usuários.

1TP5Comunicação 1TP5Compreensão 1TP5Observação

[Interação de modelos]: Confiança e desafio

• Não se deve confiar cegamente nos modelos e eles precisam ser testados e validados continuamente quanto à confiabilidade.
• Os modelos podem ser usados para autodiagnosticar erros e sugerir melhorias.
• Os modelos podem ajudar os usuários a entender melhor as tarefas e a serem solicitados.

1TP5Confiança 1TP5Feedback 1TP5Colaboração

• Dicas para o processo de engenharia::

Iniciar --> Escrever o prompt inicial --> Modelar a saída --> Analisar os resultados --> Modificar o prompt --> Fazer um loop até ficar satisfeito

Semelhante a um processo cíclico, as pontas são constantemente aprimoradas para atingir o resultado desejado.

• avaliação de modelagem::

| Consistência de saída | Cobertura de casos extremos | Diversidade de entrada
| ------------| ------------| ------------|
| Alta | Alta | Alta | Alta |

• Quanto mais altas forem as três dimensões principais, consistência, cobertura de casos extremos e diversidade de entrada, melhor.

Dicas para o futuro da engenharia

Requisitos do usuário --> Compreensão do modelo --> Perguntas sobre o modelo --> Feedback do usuário --> Dicas de otimização --> Resultados finais

• Na futura engenharia de dicas, os modelos participarão mais ativamente do processo de compreensão dos requisitos do usuário e da otimização das dicas.

Perguntas e respostas sobre questões centrais

1. o que é um projeto imediato?

Engenharia imediata é uma técnica para orientar modelos de linguagem de grande porte (LLMs) a realizar tarefas específicas, projetando e otimizando prompts (Prompts). Seu objetivo é permitir que o modelo produza o resultado desejado por meio de uma comunicação clara e precisa. A seguir, uma explicação detalhada da engenharia de prompts:

Definição de prompts

• diretrizesAviso: Um aviso é uma instrução fornecida ao modelo pelo usuário para que o modelo execute uma tarefa específica. Pode ser uma frase simples ou uma descrição complexa contendo várias etapas.
• procedimentosDicas: As dicas também podem ser consideradas como um procedimento, escrito em linguagem natural, para orientar o modelo na execução de uma tarefa.
• método de comunicaçãoEssencialmente, os prompts são uma forma de comunicação com o modelo, semelhante à comunicação com uma pessoa, e precisam ser claros e inequívocos.

Veja os principais elementos do projeto

• comunicação claraEngenharia imediata: A engenharia imediata enfatiza a comunicação clara para que os usuários possam expressar suas necessidades com precisão e para que o modelo possa entender os requisitos específicos da tarefa.
• processo iterativoA engenharia de pistas é um processo iterativo que envolve a tentativa, a modificação e a otimização contínuas de pistas para melhorar o desempenho de um modelo. É semelhante ao processo de desenvolvimento e depuração da engenharia de software.
  • testeObservação da resposta do modelo: observe a resposta do modelo experimentando pistas diferentes e ajustando-as de acordo com os resultados.
  • enviar informações de voltaAnálise da saída do modelo, identificação de erros e correção adequada.
  • cicloRepetir a experimentação e o feedback até que o resultado desejado seja alcançado.
• pensamento sistêmicoA engenharia de prompts não se trata apenas de escrever prompts individuais, mas também de considerar como os prompts são integrados ao sistema geral. Isso requer a consideração da fonte dos dados, como eles são processados e a função do modelo no sistema.
• Entendendo os modelosOs engenheiros de dicas precisam entender como os modelos funcionam e suas limitações para projetar melhor as dicas. Isso inclui entender como o modelo lida com diferentes tipos de entradas e como orientar o processo de raciocínio do modelo.
• Habilidades de resolução de problemasDica: Os engenheiros precisam considerar sistematicamente todos os cenários possíveis e fornecer soluções para eles como se fossem problemas de engenharia.
  • erro na previsãoPrever como o modelo pode dar errado e criar dicas apropriadas para lidar com esses erros.
  • Lidando com casos extremosConsiderar como o modelo reage quando encontra entradas ou erros incomuns.
• controle de versãoDicas: Trate as dicas como código, incluindo controle de versão, rastreamento de experimentos, etc.
• Leitura da saída do modeloLeia cuidadosamente o resultado de um modelo para entender seu processo de raciocínio, não apenas para ver se os resultados estão corretos.
• pensamento teóricoObservação: Ao entender um modelo, você precisa considerar como o modelo pode entender suas instruções em um nível teórico, em vez de apenas escrever a partir do seu próprio entendimento.

Objetivo do projeto de lembrete

• Liberando o potencial da modelagemO objetivo da engenharia de dicas é utilizar todo o potencial de um modelo para permitir que ele execute tarefas além de seus recursos originais de design.
• Otimização do desempenho do modeloMelhorar o desempenho do modelo em tarefas específicas por meio de dicas bem elaboradas.
• Orientando o comportamento do modeloGuia de comportamento do modelo: Orientar o comportamento do modelo por meio de dicas que permitam que ele produza os resultados desejados e evite resultados indesejados.

Desafios de engenharia da Cue

• Dificuldade de articulaçãoDescrição da tarefa: É difícil descrever uma tarefa com precisão em palavras e eliminar todas as suposições.
• Os modelos não fazem perguntas.Os modelos não fazem perguntas esclarecedoras como os humanos, portanto, os engenheiros de dicas precisam prever possíveis consultas de modelos e dar as respostas apropriadas na dica.
• A dificuldade de encontrar a dica perfeita: Encontrar a ponta perfeita pode ser uma tarefa desafiadora, pois sempre há a possibilidade de uma ponta melhor.

Aplicativos de engenharia de tacos

• Várias cenasEngenharia de pistas: a engenharia de pistas pode ser aplicada em vários cenários, incluindo pesquisa, aplicativos empresariais e aplicativos para consumidores.
• Diferentes tipos de tarefasProjetos de prompt podem ser usados para diferentes tipos de tarefas, incluindo geração de texto, extração de informações, resposta a perguntas e geração de códigos.
• Integração em sistemasEngenharia de prompts: A engenharia de prompts não se trata apenas de escrever prompts individuais, mas também de integrar prompts ao sistema geral.

Dicas para o futuro da engenharia

• Dicas assistidas por modeloNo futuro, o modelo poderá ajudar os usuários a escrever prompts melhores, inclusive fazendo perguntas, fornecendo sugestões e gerando prompts automaticamente.
• colaboração homem-máquinaNo futuro, a engenharia de dicas pode mudar para um modelo de colaboração humano-computador, em que o modelo faz perguntas com base nos objetivos do usuário e o orienta a escrever dicas mais eficazes.
• Da orientação ao aconselhamentoO modelo de orientação é um modelo de aconselhamento, no qual o modelo orienta o usuário de forma inversa, com base nos objetivos do usuário.

A engenharia imediata é uma técnica que exige criatividade, raciocínio lógico e pensamento sistêmico. Não se trata apenas de escrever uma boa dica, mas de compreender o modelo, projetar experimentos, otimização iterativa e solução de problemas. Os engenheiros de dicas precisam fazer experimentos e aprender como engenheiros para realizar todo o potencial de um modelo.

2) Quais são as qualidades de um bom engenheiro de pistas?

• Habilidades claras de comunicaçãoBons engenheiros de estímulo são capazes de articular ideias com clareza, compreender tarefas com clareza e descrever conceitos com precisão. Isso inclui a capacidade de criar instruções de forma que seja fácil para o modelo entender.
• Recursos iterativosEles estão dispostos a iterar e ajustar continuamente os prompts e a pensar em como o modelo pode estar interpretando-os erroneamente. Esse processo iterativo envolve a análise da resposta do modelo, a identificação de erros e a realização de correções.
• Casos de teste de bordaEles pensarão ativamente sobre as situações menos comuns em que a dica pode dar errado, como quando a entrada é nula ou não está no formato esperado. Isso envolve testar uma variedade de exceções para garantir que o modelo funcione corretamente em diferentes situações.
• Compreensão dos resultados do modeloBons engenheiros de cueing prestam muita atenção à saída do modelo, não apenas aos resultados. Eles se aprofundam no processo de pensamento do modelo e tentam entender seu raciocínio.
• pensamento teóricoCapacidade de extrair de seu próprio conhecimento e sistematizar todas as informações necessárias para concluir a tarefa. Conseguem comunicar claramente as informações necessárias de uma forma que o modelo possa entender.
• empatiaEles são capazes de se colocar no lugar do modelo e entender como o modelo percebe suas instruções. Eles também precisam levar em conta as necessidades do usuário e entender como o usuário interage com o modelo.
• mentalidade experimentalEles descobrem os limites do modelo por meio de experimentação constante e tentativa e erro. Eles não têm medo do fracasso e aprendem com ele, aprofundando sua compreensão do modelo ao ultrapassar os limites de suas capacidades...
• Aprimoramentos usando modelagemEles aprimorarão os prompts não apenas com seus próprios esforços, mas também usando o próprio modelo. Por exemplo, eles pedirão ao modelo que aponte ambiguidades nas instruções ou que sugira mudanças. Eles tentarão fazer com que o modelo explique seus erros e melhore as instruções.
• Confie, mas verifiqueEles são cautelosos quanto aos recursos do modelo e garantem sua confiabilidade por meio de testes repetidos. Eles verificam o resultado do modelo por meio de testes extensivos em vez de confiar cegamente no modelo.
• controleEles lerão os prompts e o resultado do modelo com atenção e analisarão os detalhes. Eles aprenderão como o modelo funciona analisando os detalhes do resultado do modelo.
• Não é obcecado pela perfeiçãoEm vez de se esforçarem para obter o prompt perfeito, eles continuarão tentando e aprendendo com seus erros. Reconhecerão que a solicitação é um processo iterativo e não uma tarefa única.
• Tratamento de texto como códigoEles podem compreender o significado de texto como código e entender que as dicas também exigem controle de versão, rastreamento de experimentos etc.
• Capacidade de pensar a partir de diferentes perspectivasBons engenheiros de cueing podem pensar sobre as coisas de diferentes perspectivas, por exemplo, colocando-se no lugar do modelo e considerando as necessidades do usuário real.
• Capacidade de criar novos conceitosEles definirão novos conceitos conforme necessário e os tornarão explícitos trabalhando com modelos.
• Capacidade de exteriorizar ideiasCapacidade de expressar suas ideias com clareza e de traduzir conceitos complexos em seus cérebros em instruções que os modelos possam entender.

Os bons engenheiros de dicas não são apenas comunicadores claros e iterativos, mas também empáticos, capazes de se colocar no lugar do modelo e de experimentar e aprender continuamente, descobrindo os limites do modelo ao testar casos extremos. Eles também usarão o próprio modelo para melhorar as dicas e aprender com os detalhes do resultado do modelo. Eles precisam entender que o processo para chegar à dica é iterativo, em vez de buscar a perfeição, e precisam entender as semelhanças entre texto e código. Eles precisam pensar sobre isso de diferentes perspectivas, tanto em termos de experiência do usuário quanto em termos da forma como o próprio modelo é percebido. O mais importante é que eles precisam ser capazes de articular suas ideias e externalizar os conceitos em seus cérebros.

3. como interagir efetivamente com o modelo?

3.1 A comunicação clara está no centro

• Expressão precisa das necessidades: Assim como na comunicação com as pessoas, você precisa expressar claramente suas necessidades para que o modelo entenda exatamente o que você está buscando.Evite instruções ambíguasTente ser o mais específico possível ao descrever o que você espera que o modelo realize.
• Esclareça os detalhes da tarefa: Você precisa.Elimine todas as suas suposições.e detalhar todas as informações que o modelo precisa saber.Não presuma que o modelo saiba algo que você não tenha dito explicitamente a ele..

3.2 Considere o prompt como um procedimento

• Código de linguagem natural: Um prompt pode ser considerado como um procedimento escrito em linguagem natural para orientar o modelo em uma tarefa.
• Pensamento sistêmico: Trate os prompts como códigoincluindo controle de versão, rastreamento de experimentos, etc. É preciso considerar como as pistas se encaixam no sistema geral, incluindo fontes de dados, processamento de dados e a função do modelo no sistema.

3.3 Aceite a iteração e a experimentação

• A tentativa e o erro são a norma: A engenharia de dicas é um processo de tentativa e erro que envolve a tentativa constante de diferentes dicas e o ajuste delas com base no feedback do modelo.
• Botão Reiniciar: O modelo tem um "botão de reinicialização" para que você possa voltar ao início a qualquer momento e tentar uma abordagem diferente do zero, sem ser perturbado por experimentos anteriores.
• Iterar com frequência: A engenharia de sinalização eficaz exige interação frequente com o modelo para váriositerar para frente e para trásem vez de esperar resultados perfeitos de uma só vez.

3.4 Entendendo a mente do modelo

• Perspectivas de modelagem: Tente pensar em suas instruções do ponto de vista do modelo e entender como o modelo pode compreender seus requisitos. Isso requer que vocêReproduzindo o modelodo personagem, imitando a maneira como ele pensa.
• Leia a saída do modelo: Leia o resultado do modelo com atenção, concentrando-se não apenas em verificar se os resultados estão corretos, mas também em entender o processo de raciocínio do modelo.Aprendendo com os resultadosSe o modelo não entender suas instruções, entenda como ele as entende.
• Explore o erro do modelo: Não ignore os erros cometidos pelo modelo.Pergunte por que o modelo está erradoOs modelos são capazes de apontar ambiguidades nas instruções e dar sugestões de melhorias. Às vezes, os modelos são capazes de apontar ambiguidades nas instruções e dar sugestões de aprimoramento.

3.5 Lidando com casos extremos

• Erro de previsão: Antecipar situações em que o modelo pode dar erradoe projetar as dicas apropriadas para lidar com esses erros. Considere como o modelo reage quando encontra entradas ou erros incomuns, por exemplo:
  • Forneça opções: Se o modelo não tiver certeza do que fazer com determinadas entradas, dê a ele uma "saída", por exemplo, deixe-o emitir o rótulo "não tenho certeza".
  • Teste os extremos: Tente testar seus prompts com uma variedade de extremos (por exemplo, cadeias de caracteres vazias, entradas que não correspondem às expectativas) para garantir que o modelo funcione bem em uma variedade de situações.

3.6 Capacidade de respeitar os modelos

• Não subestime o modelo: Não pense que o modelo é estúpido e precisa ser "persuadido" a funcionar.Respeite os recursos do modeloForneça contexto e informações suficientes para que ele possa entender seus objetivos.
• Forneça informações diretas: Quando você quiser que um modelo aprenda uma nova técnica, basta fornecer a ele o artigo ou documento relevante em vez de tentar descrevê-lo com suas próprias palavras.
• Evite a simplificação excessiva: Não simplifique deliberadamente suas instruções; confie no modelo para lidar com tarefas complexas.

3.7 Uso de recursos de modelagem

• Exemplo de geração de modelo: Usar o modelo para gerar exemplos que podem ser modificados permite que você gere prompts de alta qualidade mais rapidamente.
• Modelagem para entrevistas: Deixe que o modelo o entreviste, extraia as informações de sua cabeça e transforme essas informações em prompts.

3.8 Não se deixe levar pelas dicas perfeitas

• Não há perfeição: Não caia na armadilha de "procurar a dica perfeita" e perceba que sempre há espaço para melhorias.
• Aprendizado contínuo: Cada interação com o modelo é uma oportunidade de aprendizado, e cada tentativa permitirá que você entenda melhor o modelo.
• Foco na exploração de limites: Tente fazer com que o modelo faça algo que você não acredita que ele possa fazer e aprenda explorando os limites do modelo.

3.9 Distinguir entre diferentes cenários

• Pesquisa e empresa: Em um ambiente de pesquisa, você pode estar mais concentrado na diversidade e na exploração, enquanto em um ambiente corporativo você pode estar mais concentrado na confiabilidade e na consistência.
• Diálogo humano-computador e aplicativos de sistema: Em um diálogo humano-computador, você pode fazer várias iterações, mas em um aplicativo de sistema, você precisa escrever prompts que possam lidar com uma variedade de situações de uma só vez.

3.10 Uso de Meta Prompts

• Gerar prompts para prompts: Você pode usar "meta-hints" para fazer com que os modelos gerem a saída ou as consultas de que você precisa. Você pode simplesmente fornecer ao modelo um documento sobre a técnica de dicas e fazer com que ele gere uma meta-dica para que outros modelos executem a técnica.

Em resumo, a interação eficaz com modelos requer comunicação clara, pensamento sistemático, experimentação consistente, compreensão profunda e respeito pelos recursos do modelo. Ao mesmo tempo, o uso eficaz da ajuda de modelos pode ajudá-lo a iterar e otimizar seus prompts mais rapidamente. Lembre-se de que não existe uma dica perfeita, apenas aprendizado e aprimoramento contínuos.

4. conceitos errôneos comuns sobre o Prompt

4.1 As dicas são apenas instruções simples:

• Mal-entendido: As pessoas geralmente pensam em prompts como instruções simples dadas a um modelo, como digitar palavras-chave em um mecanismo de busca. Elas podem pensar que tudo o que precisam fazer é digitar algumas palavras-chave para que o modelo execute a tarefa e ignorar a importância de uma comunicação clara e precisa.
• Fatos: De fato.As dicas são uma forma complexa de programaçãoque precisam ser tratados como código, incluindo controle de versão e rastreamento de experimentos. Boas dicas precisam ser cuidadosamente projetadas e iteradas para garantir que o modelo compreenda a tarefa com precisão e produza o resultado desejado.

4.2 As dicas são estáticas e são escritas uma vez:

• Mal-entendido: Algumas pessoas acham que escrever um prompt é como escrever uma redação; já está pronto e não é necessário fazer outras revisões.
• Fatos: O projeto de dica é umprocesso iterativoO modelo é um modelo de controle, que exige experimentação, modificação e otimização constantes. Você precisa trabalhar com o modelo várias vezes parainteragir para frente e para tráse aprimore suas dicas lendo a saída do modelo e analisando os erros. A engenharia eficaz de dicas requerAceite a experimentação e o feedbackem vez de esperar um processo de uma única etapa.

4.3 As dicas precisam de gramática e pontuação perfeitas:

• Mal-entendido: Geralmente, supõe-se que, para que um modelo seja compreendido, o prompt deve usar gramática e pontuação perfeitas.
• Fatos: Embora a atenção aos detalhes seja importante, oOs modelos geralmente entendem dicas que contêm erros de ortografia ou imperfeições gramaticais. Importante.Clareza conceitualem vez de perfeição gramatical. Embora seja bom corrigir os erros no prompt final, é aceitável ser imperfeito durante as iterações.

4.4 Os modelos precisam ser "persuadidos" a funcionar:

• Mal-entendido: Algumas pessoas acham que os modelos são estúpidos e precisam ser orientados nas tarefas usando truques ou "mentiras", como dar ao modelo uma identidade ou função falsa.
• Fatos: Os modelos têm um sólido entendimentoVocê não precisa "persuadi-lo". Você deve fazê-lo.Modelo de respeitoe forneça a ele informações claras e precisas diretamente para que ele entenda suas metas.Descreva sua tarefa diretamenteem vez de usar metáforas ou tarefas semelhantes para orientar o modelo.

4.5 No centro da engenharia de tacos está a redação de instruções perfeitas:

• Mal-entendido: Algumas pessoas acham que o objetivo da engenharia de dicas é encontrar as instruções perfeitas e gastar muito tempo descobrindo cada palavra.
• Fatos: Embora instruções precisas sejam importantes, é ainda mais importante que oEntendendo como o modelo funcionae através deLeia a saída do modelo para aprender.Entendendo a mentalidade do modelobem comoComo ele lida com diferentes entradasO objetivo de um bom engenheiro de cueing é ser capaz de criar um sistema de cueing que seja mais do que a busca por instruções perfeitas. Um bom engenheiro de cueing deve ser capaz deExtração de sinais da saída do modeloe entender seu processo de raciocínio, e não apenas se o resultado está correto.

4.6 Dica Engenharia é apenas escrever:

• Mal-entendido: Alguns acreditam que a principal competência da engenharia de prompts está nas habilidades de redação e acreditam que bons escritores são naturalmente bons engenheiros de prompts.
• Fatos: Embora seja necessário ter boas habilidades de redação, éNão é uma competência essencial para a engenharia de tacos. Um bom engenheiro de estímulo precisa terEspírito experimental, pensamento sistêmico, habilidades de resolução de problemastambémA capacidade de entender a mente modelo.Iteração e testesMais do que meras habilidades de escrita.

4.7 Deve-se evitar fornecer muitas informações ao modelo:

• Mal-entendido: Alguns se preocupam com o fato de que fornecer muitas informações ao modelo pode confundi-lo, por isso tentam simplificar as instruções e ocultar a complexidade.
• Fatos: À medida que os recursos do modelo aumentam, eles são capazes de lidar comMais informações e contexto.Você deve confiar no modelo.Forneça informações suficientes para que ele possa entender melhor sua tarefa.

4.8 Mais dicas de exemplo são sempre melhores:

• Mal-entendido: Pode-se pensar que fornecer um grande número de exemplos é a única maneira de melhorar o desempenho do modelo.
• Fatos: Embora os exemplos ajudem a orientar o modelo, o excesso de exemplos pode serLimitar a criatividade e a diversidade na modelagem.. No ambiente de pesquisa.Use exemplos ilustrativos em vez de exemplos específicosIsso pode ser mais eficaz porque incentiva o modelo a pensar sobre a tarefa em si, em vez de apenas copiar o exemplo.

4.9 Os modelos pensam e raciocinam como pessoas:

• Mal-entendido: Pode-se pensar que um modelo raciocinaria como um ser humano e entenderia as dicas de "etapas do pensamento".
• Fatos: Embora os modelos possam imitar o processo de raciocínio, por exemploCadeia de pensamentomas não é necessariamente um raciocínio verdadeiro. O modelo apenas gera texto com base nas instruções e nos exemplos que você dá a ele. É importante entender queModelos e seres humanos pensam de forma diferenteNão antropomorfize demais o comportamento do modelo.

4.10 As instruções de interpretação de papéis sempre funcionam:

• Mal-entendido: Alguns acreditam que o fato de o modelo desempenhar uma função específica (por exemplo, "Você é um professor") melhora seu desempenho.
• Fatos: As instruções de dramatização podem funcionar em algumas situações, mas nem sempre são necessárias. Descreva diretamente o que você deseja realizarque é mais eficaz do que fingir que o modelo é uma pessoa diferente. À medida que os recursos do modelo melhoram, pode ser melhor fornecer a descrição da tarefa e o contexto diretamente, em vez de dar a ele uma identidade falsa.

4.11 Quando você encontrar uma boa dica, ela sempre funcionará:

• Mal-entendido: Algumas pessoas acham que, quando encontram uma dica que funciona, ela funcionará para sempre e não precisará ser ajustada.
• Fatos: Como os recursos de modelagem continuam a melhorar, aDicas eficazes também podem estar desatualizadas. Algumas técnicas de estímulo podem ser treinadas no modelo para que ele não precise mais de estímulos explícitos. Você precisaráAprendizado e adaptação contínuospara responder às mudanças no modelo.

Compreender esses equívocos comuns pode ajudá-lo a interagir com os modelos de forma mais eficaz e a fazer melhor uso da engenharia de dicas para uma variedade de tarefas. A engenharia de dicas não é apenas uma simples entrada de comando, mas uma disciplina que exige compreensão e prática aprofundadas.

5. dicas empresariais vs. dicas de pesquisa

Dicas para empresasresponder cantandoDicas de nível de pesquisaHá diferenças significativas em termos de objetivos, métodos e foco.

Dicas para empresas

• Ênfase na confiabilidadeEm aplicativos corporativos, a confiabilidade é fundamental. O objetivo das dicas de nível empresarial é garantir que o modelo produza resultados consistentes e esperados em diversas situações. Isso geralmente requer um grande número de exemplos e orientações específicas para limitar a liberdade do modelo.
• Foco no formato:: Os prompts corporativos se concentram muito no formato da saída. Para aplicativos comerciais, a estabilidade e a consistência do formato de saída geralmente são mais importantes do que a variedade, pois afetam a eficiência da apresentação da interface do usuário e o processamento de dados subsequente.
• Foco nas necessidades do usuárioPrompts de classe empresarial: os prompts de classe empresarial precisam ser altamente responsivos às necessidades específicas do usuário. Isso significa que os prompts precisam ser capazes de processar uma variedade de entradas diferentes e gerar resultados que atendam às necessidades específicas do usuário.
• Pensamento sistêmicoDicas em nível empresarial geralmente exigem a integração da dica em sistemas maiores a serem considerados. Isso inclui considerar as fontes de dados, a latência e como integrar o modelo a outros softwares e processos.
• Muitos testes e iteraçãoAs dicas corporativas precisam ser testadas em uma variedade de entradas e cenários para garantir um alto nível de confiabilidade e estabilidade em aplicativos do mundo real. Isso inclui testar uma variedade de casos extremos, bem como uma variedade de possíveis entradas de usuários.
• Foco na consistênciaNos aplicativos corporativos, mesmo que a resposta seja repetitiva, ela é aceitável, desde que atenda às expectativas. Isso é diferente dos objetivos exploratórios em um ambiente de pesquisa.
• Foco em aplicativos de longo prazoDicas corporativas: As dicas corporativas são projetadas para criar um sistema que pode ser reutilizado várias vezes. Como resultado, os prompts corporativos exigem mais tempo e esforço para garantir que funcionem de forma confiável.
• Evitar o excesso de abstraçãoObservação: os prompts de nível empresarial devem evitar instruções muito abstratas e, em vez disso, descrever claramente a tarefa e o resultado necessário.

Dicas de nível de pesquisa

• Ênfase na diversidade e na exploraçãoO objetivo dos prompts em nível de pesquisa é explorar os vários recursos do modelo e descobrir novos usos para os quais o modelo pode ser usado. Isso geralmente implica reduzir as restrições do modelo e incentivá-lo a explorar diferentes resultados e soluções.
• Favorecer poucos ou nenhum exemploPara não limitar o escopo de exploração do modelo, os prompts de nível de pesquisa geralmente reduzem o número de exemplos ou não fornecem exemplos específicos.
• Foco em tarefas cognitivasOs prompts em nível de pesquisa se concentram mais em tarefas cognitivas, ou seja, como o modelo entende e resolve problemas complexos.
• Uso de exemplos ilustrativosQuando os prompts de nível de pesquisa fornecem exemplos, eles tendem a ser ilustrativos em vez de concretos. Isso significa que os exemplos podem ser diferentes dos dados com os quais o modelo realmente precisa trabalhar, e o objetivo é ajudar o modelo a entender a natureza da tarefa, em vez de imitar diretamente os exemplos.
• Experimentar novos limitesO objetivo dos prompts de nível de pesquisa é desafiar os limites dos recursos do modelo e descobrir o que o modelo faz bem e o que faz mal. Isso inclui tentar tarefas em que o modelo não é bom para entender melhor as limitações do modelo. Isso inclui a tentativa de realizar tarefas nas quais o modelo não é bom, a fim de entender melhor as limitações do modelo.
• Maior foco em produtos flexíveis e diversificados:: Os prompts em nível de pesquisa podem se concentrar mais na exploração dos tipos de resultados que os modelos podem produzir, mesmo que esses resultados não sejam altamente consistentes. Os prompts de nível de pesquisa se concentram mais em como os modelos pensam e na qualidade e profundidade de seus resultados, em vez de apenas se os resultados estão corretos.
• Mais exploratórioAs dicas de nível de pesquisa são mais exploratórias e podem se concentrar menos na consistência ou no formato. O pesquisador estará mais preocupado com a forma como o modelo reage diante de uma nova situação e como a pista pode ser usada para orientar o modelo na direção da exploração.

resumos::

• Objetivos diferentesOs prompts de nível empresarial têm como objetivo resolver problemas do mundo real, com ênfase na confiabilidade e na consistência, enquanto os prompts de nível de pesquisa têm como objetivo explorar os recursos de modelagem, com ênfase na variedade e na inovação.
• Métodos diferentesOs prompts de nível empresarial normalmente empregam um grande número de exemplos concretos para controlar a saída do modelo, enquanto os prompts de nível de pesquisa normalmente empregam poucos ou nenhum exemplo para incentivar o modelo a explorar novas possibilidades.
• Diferenças de focoOs prompts de nível empresarial concentram-se nos requisitos do usuário e na integração do sistema, enquanto os prompts de nível de pesquisa concentram-se nos processos cognitivos e nos limites do modelo.
• Diferentes ciclos de desenvolvimento e teste: normalmente, as dicas de nível empresarial precisam ser executadas em ambientes de produção por longos períodos e, portanto, exigem testes e controle de qualidade mais rigorosos, enquanto as dicas de nível de pesquisa podem ter ciclos de teste e iteração mais curtos, com o objetivo de explorar os vários potenciais do modelo.
• Diferentes abordagens de modelagem: Os prompts de nível empresarial às vezes "acomodam" o modelo para garantir que ele seja entendido corretamente, enquanto os prompts de nível de pesquisa tendem a "respeitar" os recursos do modelo e dar a ele mais autonomia.

A diferença fundamental entre os prompts de nível empresarial e os prompts de nível de pesquisa é seu objetivo e foco.

Enquanto as dicas de nível empresarial são dedicadas a fornecer aos usuários soluções confiáveis, as dicas de nível de pesquisa são dedicadas a expandir nossa compreensão dos recursos do modelo.

Na prática, esses dois sinais podem exigir abordagens e técnicas diferentes.

6. dicas para o futuro da engenharia

6.1 Os modelos entenderão melhor suas intenções, mas a clareza ainda é importante

• Uma perspectiva da teoria da informação: No futuro, o modelo entenderá melhor suas necessidades, mas você ainda precisará fornecer informações suficientes para esclarecer seus objetivos. Mesmo que o modelo seja capaz de entender o que você está dizendo fora doArticular claramente suas expectativas continua sendo fundamental.
• A importância de objetivos claros: Não importa o quanto o modelo seja inteligente, oA capacidade de definir objetivos permanece no centro. Embora os modelos possam definir metas, se você quiser usá-los para resolver um problema, ainda precisará especificar explicitamente o que deseja que eles façam.
• Comunicação contínua: Mesmo que os modelos se tornem mais inteligentes e mais capazes de entender suas intenções, você ainda precisaComunique-se com os modelos, forneça feedback e faça ajustes.

6.2 Os modelos serão seus assistentes de pista

• Colaboração com modelos: No futuro, você poderá colaborar mais profundamente com o modelo para determinar o que precisa ser escrito e o que está faltando. Os modelos o ajudarão aDescubra o que você talvez não tenha pensadoe fornecerSugestões para melhorar os prompts.
• Geração de dicas assistida por modelo: Você pode usar o modelo para gerar exemplos, rascunhos e meta-prompts para acelerar o processo de desenvolvimento do prompt. Por exemplo, você pode usar o modelo para gerar exemplos que serão revisados, o que é muito mais fácil do que escrever a resposta perfeita do zero.
• Interações de alta largura de banda: No futuro, você poderá ter interações de alta largura de banda com o modelo, como fornecer feedback e solicitar ajustes ao modelo. Essa interação será semelhante à colaboração com um designer, em que você fornece metas de alto nível e o modelo o ajuda a concretizá-las.

6.3 As meta-dicas se tornarão mais importantes

• Use dicas para gerar dicas: No futuro, você poderá passar mais tempo procurando dicas que permitam que os modelos gerem os resultados ou as consultas desejadas. Você usará meta-prompts para fazer com que os modelos executem técnicas específicas de prompting ou para gerar modelos de prompting para outros modelos.
• Fornecer materiais didáticos modelo: Em vez de escrever suas próprias dicas, você pode fornecer aos modelos artigos ou documentos relevantes para aprender novas técnicas de dicas. Os modelos podem ler os documentos diretamente e aplicar o conhecimento deles à geração de dicas.

6.4 A engenharia de pistas se concentrará nos limites do modelo

• Capacidade de explorar modelos: Você continuará a explorar os limites dos recursos do modelo e a desafiar o que o modelo pode realizar.
• A busca pela excelência no desempenho: Você se concentrará em obter o mais alto nível de desempenho de seus modelos e explorar o que os modelos mal conseguem realizar.

6.5 O modelo pode, por sua vez, sugerir que você

• O modelo entende suas intenções: Quando os modelos sabem mais sobre o contexto da tarefa do que você, eles podem solicitar que você esclareça suas necessidades. Os modelos podem fazer perguntas para ajudá-lo a esclarecer o que você está tentando alcançar e a identificar casos extremos que você pode ter ignorado.
• De recebedor de instruções a consultor especialista: O modelo se transformará de um simples destinatário de instruções em um consultor especializado com o qual você poderá consultar sobre os detalhes da tarefa. É como trabalhar com um designer, que lhe fará perguntas para entender melhor suas necessidades.
• Entrevistas com modelos: Para entender melhor suas necessidades, o modelo pode vir e interagir com você como em uma entrevista.

6.6 O futuro exige maior introspecção

• O modelo entende você: No futuro, o modelo precisará entender suas ideias, em vez de você tentar entender o modelo.
• Torne-se visível para o modelo: Você precisará aprender a expressar suas ideias e necessidades com clareza para que o modelo possa entender suas intenções.
• Definir o conceito: Às vezes, você precisa criar novos conceitos e definir o que eles significam para que o modelo entenda suas intenções.

6.7 A engenharia de tacos pode se tornar uma prática filosófica

• Expressado de forma clara: No futuro, a engenharia de dicas pode exigirPense e escreva como um filósofoUsar linguagem clara e precisa para expressar ideias complexas.
• Escrevendo para o homem comum instruído: Você precisa escrever o prompt como se estivesse escrevendo para um leigo instruído, de modo que mesmo alguém que não esteja familiarizado com o assunto possa entender sua intenção.
• Externalize seu cérebro: Uma boa engenharia de dicas exige que você exteriorize as ideias em seu cérebro e as torne compreensíveis para o modelo.

6.8 Dica: as habilidades de engenharia serão transferidas para tarefas de nível superior

• De missões de baixo nível a missões de alto nível: À medida que o modelo avança, você não precisará mais se concentrar em prompts para tarefas de baixo nível, mas sim em tarefas de nível superior, como decomposição de tarefas e raciocínio complexo.
• Interação guiada: É provável que as interações futuras sejam mais parecidas com diálogos guiados do que com modelos que digitam texto em um console para chegar a um resultado final.

Dicas que o futuro da engenharia pode exigirHabilidades colaborativas, introspectivas e expressivas mais fortes. Você precisará trabalhar com modelos para explorar seus recursos e definir suas necessidades. Além disso.Você também precisa continuar aprendendo e se adaptando às mudanças no modeloem vez de buscar uma solução única. Embora o futuro da engenharia de prontidão mude, a clareza de propósito e a articulação permanecerão no centro dele.

7. dicas para trabalhos de solicitação

O foco está em comoMelhorar a eficiência e a eficácia da comunicação com os modelos::

7.1 Iteração e experimentação:

• Continue tentando: O projeto de dica é umprocesso iterativoque exige experimentação, revisão e otimização constantes. Não espere escrever o prompt perfeito na primeira vez, mas esteja preparado para fazer váriosinteragir para frente e para trás.
• Aprenda com seus erros: Quando o modelo estiver errado, analise-o cuidadosamenteMotivos do erroe aprimore seus prompts de acordo. Toda interação com um modelo é uma oportunidade de aprendizado.
• Aceite o experimento: Esteja aberto a experimentar métodos diferentes para ver qual funciona melhor. No centro do projeto de dicas estáExperimentação e feedbackem vez de uma etapa de cada vez.

7.2 Comunicação clara e precisa:

• Articule claramente a tarefa: despesa ou gastoLinguagem clara e concisaDescreva a tarefa que você deseja que o modelo realize. Evite termos vagos ou ambíguos.
• Forneça informações suficientes: Não tenha medo de dar o modeloFornecer contexto detalhado e informações básicas. Certifique-se de que o modelo entenda suas metas e os requisitos específicos da tarefa.
• Respeite o modelo: Em vez de tentar "persuadir" o modelo, é importanteModelo de respeitode compreensão. Descreva sua tarefa diretamente, em vez de usar metáforas ou personagens fictícios.

7.3 Entenda como os modelos funcionam:

• Leia a saída do modelo: Leia atentamente o resultado do modelo para entender suamentalidadee processos de raciocínio. Observe como o modelo lida com diferentes entradas e ajuste seus prompts de acordo.
• Explore os limites do modelo: Tente fazer com que o modelo realize tarefas que você acha que ele talvez não seja capaz de realizar, paraCompreender o escopo dos recursos do modelo. Isso pode ajudá-lo a entender melhor as limitações do modelo.
• Tente reproduzir o modelo: Tente se colocar no lugar dePensando em termos de modelagemSe o modelo não for capaz de entender suas instruções, entenda como ele as percebe. Isso pode ajudá-lo a prever melhor o comportamento do modelo.

7.4Diversos métodos de sinalização:

• Exemplo de uso: Ao fornecerexemplo típicopara orientar o modelo durante a tarefa. No entanto, tome cuidado para não exagerar nos exemplos, pois isso pode limitar a criatividade do modelo.
• Use meta-dicas: Use os prompts paraGerar dicas adicionaisou fazer com que o modelo gere resultados que atendam a necessidades específicas. Isso pode ajudá-lo a explorar diferentes estratégias de sinalização com mais eficiência.
• Pensamento em cadeia: fazer um modeloUma explicação passo a passo de seu processo de raciocínio. Isso lhe dá uma melhor compreensão do processo de tomada de decisão do modelo e ajuda a melhorar o desempenho do modelo.
• Interpretação de papéis: Embora nem sempre seja necessário, em alguns casos é útil deixar o modeloDesempenhar uma função específicaIsso pode ajudar a realizar o trabalho. No entanto.Geralmente, é mais eficaz expressar sua missão diretamente.

7.5 Dicas avançadas:

• Definir o conceito: Para comunicar suas intenções, às vezes é necessárioDefinição de novos conceitose explicar o que significam.
• Deixe que a modelo entreviste você: Peça ao modelo que o entreviste, por sua vez, paraAjuda a limpar sua menteque extrai as informações que você precisa fornecer ao modelo.
• Desenho na filosofia: Aprenda com a escrita filosófica comoArticular ideias complexaspara que o modelo possa entender suas intenções.
• Informe o modelo: Em vez de escrever seus próprios prompts, você pode simplesmente dar aos modelos os papéis ou documentos relevantes e deixá-los aprender por conta própria.

7.6 Observações.

• Não se concentre muito na gramática: Embora a atenção aos detalhes seja importante, não se concentre muito na gramática ou na pontuação. O mais importante é.Clareza conceitual.
• Não subestime o modelo: Não pense que os modelos são estúpidos e precisam ser "persuadidos" a trabalhar. Você devemodelo de confiançacapacidade e forneça a ele informações suficientes para concluir a tarefa.
• Não tenha medo da complexidade: À medida que os modelos se tornam mais capazes, eles podem lidar com informações mais complexas. Em vez de tentar ocultar a complexidade, émodelo de confiançapara lidar com ele.
• Aprendizado e adaptação contínuos: À medida que os recursos de modelagem aumentam, aMétodos eficazes de estímulo também podem se tornar obsoletos. Você precisa continuar aprendendo e se adaptando às mudanças no modelo.
• Feedback solicitado. Mostrar suas dicas a outras pessoas, especialmente àquelas que não estão familiarizadas com a tarefa, pode ajudá-lo a identificar problemas que podem ter passado despercebidos.
• Leia as dicas: Leia boas dicas escritas por outras pessoas e analise como elas funcionam.

7.7 Dicas para o futuro

• Os modelos serão assistentes. No futuro, os modelos o ajudarão a escrever prompts. Você precisará colaborar com o modelo para determinar o que precisa ser escrito e o que está faltando.
• Aumento da capacidade de introspecção. Você precisará de mais introspecção para se tornar visível para o modelo.
• O objetivo é entender você: No futuro, o foco da modelagem mudará da compreensão das instruções para a compreensão de suas intenções.
• De recebedor de diretrizes a consultor especialista. O modelo pode mudar de um simples receptor de instruções para um consultor especializado. Você precisa aprender a se comunicar mais profundamente com os modelos e obter feedback deles.

Em conclusão.A engenharia de dicas é uma habilidade que requer prática e aprendizado contínuo. Ao entender como os modelos funcionam, empregar diversos métodos de dicas e explorar continuamente os limites do modelo, você pode aprimorar suas habilidades de engenharia de dicas e fazer melhor uso do modelo para uma variedade de tarefas. Em última análise, uma boa dica é aquela que expressa sua intenção de forma clara, concisa e precisa e permite que o modelo execute com eficácia a tarefa que você deseja que ele faça.

8. discussão sobre o Jailbreak

O que é o Jailbreak?

• definirJailbreak Prompts: Jailbreak Prompts são prompts que tentam contornar as restrições de segurança e as diretrizes éticas de um Modelo de Linguagem Grande (LLM). Em geral, esses prompts têm o objetivo de permitir que o modelo gere conteúdo que, de outra forma, seria proibido, como conteúdo prejudicial, antiético ou tendencioso.
• metaO objetivo do jailbreak geralmente é explorar os limites do modelo, testar a segurança e a robustez do modelo e entender como o modelo responde a diferentes entradas e formulações.
• metodologiasO Jailbreaking pode ser feito de várias maneiras, incluindo o uso de um grande número de tokens, textos longos, palavras incomuns, mistura de vários idiomas, interpretação de papéis e o uso de modelos para prever o texto.

Como funciona o jailbreak

• Exceder a distribuição de treinamentoUma possível explicação é que as dicas do jailbreak colocam o modelo fora de sua distribuição de dados de treinamento. Por exemplo, durante o processo de ajuste fino, o modelo pode não ter encontrado um texto tão longo ou complexo e, portanto, pode se comportar de forma anormal ao processar essas dicas.
• Uso de mecanismos de previsãoO fato de o Jailbreaks às vezes usar a maneira como o modelo prevê o texto, por exemplo, iniciando o prompt com "Here's how you..." pode fazer com que o modelo gere respostas mais detalhadas e específicas.
• Uso de habilidades de raciocínioO Jailbreaking pode explorar os recursos de inferência do modelo, por exemplo, exigindo que o modelo gere respostas em outros idiomas antes de traduzi-las para o idioma de destino, contornando assim determinadas restrições.
• Aproveitamento das diferenças de treinamentoO jailbreak pode tirar proveito das diferenças nos dados de treinamento entre os idiomas, por exemplo, determinado conteúdo pode ser permitido em um idioma, mas proibido em outro.
• engenharia socialO jailbreak pode, às vezes, parecer engenharia social, o que envolve não apenas a exploração de vulnerabilidades em um sistema, mas também a compreensão de como o sistema funciona e o uso dessa compreensão para contornar restrições.
• Entendendo os modelosMétodos eficazes de jailbreak exigem não apenas tentar, mas também entender como o modelo funciona, como ele é treinado e usar esse conhecimento para contornar os mecanismos de segurança do modelo.

Jailbreaks e treinamento de modelos

• Objetivo do treinamento de modelosUm dos objetivos do treinamento do modelo é identificar e eliminar padrões de jailbreak para que o modelo possa responder com mais segurança à entrada do usuário.
• Processo de treinamento contínuoO modelo é treinado novamente para evitar a mesma vulnerabilidade no futuro. Isso significa que as técnicas de jailbreak tendem a ser de curto prazo e são corrigidas assim que são descobertas.
• Segurança e éticaO jailbreak está intimamente relacionado à segurança e à ética do modelo. Como o objetivo final do jailbreak é fazer com que o modelo gere conteúdo que viole as diretrizes de segurança, os desenvolvedores de modelos iteram continuamente no modelo e nos mecanismos de segurança para evitar esse comportamento.

O significado de Prison Break

• Limite de testeO Jailbreaking nos ajuda a entender melhor as limitações do modelo e a aprimorar seu design testando os limites de seus recursos.
• Revelação de problemas potenciaisO Jailbreaking pode revelar possíveis problemas no treinamento do modelo, como viés de dados ou vulnerabilidades de segurança.
• Segurança aprimoradaO que significa que, ao examinar os métodos de jailbreak, podemos desenvolver medidas de segurança mais eficazes que tornarão o modelo mais seguro para uso em aplicativos do mundo real.

resumos

Jailbreaking é uma importante área de pesquisa em engenharia de dicas que não só nos ajuda a entender como funcionam os grandes modelos de linguagem, mas também nos ajuda a melhorar a segurança e a confiabilidade dos nossos modelos. O Jailbreaking está centrado na exploração dos limites do modelo, na tentativa de fazer com que o modelo gere conteúdo que não foi planejado para gerar, e no aprendizado e aprimoramento do processo. O jailbreak também está intimamente relacionado ao processo de treinamento do modelo, pois o modelo é constantemente atualizado e aprimorado para eliminar possíveis vulnerabilidades.

9. principais citações dos palestrantes

9.1 Sobre a definição e a natureza da engenharia de dicas:

• Zack Witten. "Acho que o projeto imediato éTentar fazer com que o modelo faça coisas, tentando maximizar o potencial do modeloSe você não tem um modelo, tente trabalhar com ele para realizar coisas que de outra forma não conseguiria". Ele enfatiza a importância da comunicação clara e argumenta que o diálogo com os modelosÉ muito parecido com uma conversa com alguém..
• Zack Witten. "A parte de engenharia vem da experimentação iterativa." Ele ressalta que, ao contrário de falar com uma pessoa, falar com um modelo tem um "botão de reinicialização" que permite que você comece do zero e tente abordagens diferentes de forma independente, o que possibilita a experimentação e o design.
• David Hershey. "Acho que a dica é mais ou menos como vocêAbordagem do modelo de programação." Ele observou que a criação de um sistema que usa modelos de linguagem exige não apenas escrever prompts, mas também considerar questões como fontes de dados, latência e integração do sistema.
• Zack Witten. "Os artigos que estamos escrevendo agora são exatamente como o código." Ele argumenta que os textos escritos, como uma boa redação, agora podem ser tratados como código.

9.2 Sobre as características de um bom engenheiro de tacos:

• Amanda Askell. "Acho que é uma mistura de comunicação clara, ou seja, ser capaz de articular as coisas com clareza, entender as tarefas com clareza ePensar e descrever bem os conceitos." Ela enfatizouRecursos iterativosbem comoPense nas maneiras pelas quais as dicas podem dar errado.
• Amanda Askell. "A diferença entre um bom e um mau engenheiro de pistasA capacidade de analisar sistematicamente todas as informações necessárias para a tarefa". Ela enfatiza a importância de se afastar do próprio entendimento e avançar em direção a modelos dearticularA importância do
• Zack Witten. "Ler a saída do modelo". Ele enfatizou a importância da leitura cuidadosa do resultado do modelo e salientou que, mesmo que "pensar progressivamente" estivesse incluído no prompt, era importante verificar se o modelo estava realmente pensando progressivamente.
• Amanda Askell. "Imodelo de desconfiançae depois continuo tentando". Ela acredita que os modelos precisam ser testados constantemente, especialmente em áreas desconhecidas, para garantir sua confiabilidade.

9.3 Práticas e dicas sobre a solicitação:

• David Hershey. "Muitas vezes, não é como se você escrevesse um prompt e o entregasse ao modelo e pronto. Na verdade, é muito mais do que isso.É muito mais complicado.." Ele observou que os avisos geralmente precisam ser integrados a sistemas maiores.
• Zack Witten. "Tente não abstrair suas dicas(matemática) gêneroDescreva claramente a tarefaNão tente criar abstrações malucas". Ele argumenta que descrever as tarefas com clareza geralmente é mais eficaz do que tentar criar abstrações complexas.
• Amanda Askell. "A primeira coisa que faço é dar a dica e depois digo: 'Não quero que você siga essas instruções. Quero apenas que me diga o que não está claro nelas, qualquer ambiguidade ou algo que você não entenda.'" Ela sugere pedir ao modelo que aponte áreas pouco claras ou ambíguas após a solicitação inicial.
• Amanda Askell. "Se as pessoas veem modelos cometendo erros, geralmente não o fazemPergunte diretamente ao modelo." Ela sugere que, quando um modelo comete um erro, pode ser simples perguntar ao modelo por que ele cometeu o erro e como as instruções poderiam ter sido modificadas para evitar o erro.
• David Hershey. "Se você não der a ele uma **opção de saída**, ele continuará tentando seguir suas instruções." Ele enfatizou a importância de fornecer uma opção de "saída" nos prompts para que o modelo possa lidar com a incerteza caso a encontre.
• Amanda Askell. "Não se apegue demais a uma dica perfeita." Ela argumenta que a busca excessiva por dicas perfeitas pode levar à estagnação e que é importante reconhecer quando é hora de parar de otimizar.
• Zack Witten. "Eu geralmenteTente manter a gramática e a pontuação corretasporque acho que é interessante". Ele acredita que a atenção aos detalhes é importante, mesmo que o modelo não exija uma sintaxe perfeita.

9.4 Sobre o futuro da interpretação de papéis e dos prompts:

• Amanda Askell. "Eu só acho queNão há necessidade de mentir para eles.." Ela argumenta que, à medida que os modelos se tornam mais poderosos, não há necessidade de usar uma falsa interpretação de papéis e que uma declaração direta da missão será suficiente.
• Amanda Askell. "Você precisa colocar em palavras o que deseja.Às vezes, o que eu quero é bastante sutil". Ela acredita que, às vezes, é preciso inventar novos conceitos para expressar suas intenções e defini-las em conjunto com o modelo.
• Amanda Askell. "Talvez a sugestão se torne tãoEu explico o que quero e, em seguida, o modelo me pede para." Ela prevê um futuro em que os modelos possam solicitar aos usuários que os ajudem a esclarecer suas necessidades.
• Zack Witten. "Eu acho queNo futuro, usaremos mais modelos para nos ajudar com as solicitações." Ele vê um futuro em que os modelos serão usados para ajudar a gerar pistas e interagir com elas em alta largura de banda.

9.5 Sobre a evolução da engenharia de dicas:

• Amanda Askell. "Com o passar do tempo, estouCada vez mais inclinado a confiar nelaque lhe dá mais informações e contexto". Ela argumenta que, à medida que os modelos avançam, agora é possível confiar neles para processar mais informações e contexto.

9.6 Resumo principal:

• A comunicação clara e a iteração estão no centro da engenharia de pistas.
• Um bom engenheiro de pistas precisaEntendendo como o modelo funcionamesclarExplorar continuamente os limites do modelo.
• No futuro, os modelos serão assistentes de avisos e poderão até mesmo avisar o usuário por sua vez.
• Deixe de lado as habilidades de engenharia que virão doTransferência de tarefas de baixo nível para tarefas de nível superiorcomo a decomposição de tarefas e o raciocínio complexo.
• Habilidades introspectivas e definições conceituaisse tornará ainda mais importante.

Explicação dos principais termos

• Prompt Engineering:Um método para otimizar entradas textuais (prompts) para obter o resultado desejado de um modelo de linguagem.
• Iteração:Na engenharia de dicas, refere-se ao processo de ajuste e aprimoramento contínuo das dicas, sempre com base no feedback do modelo.
• Cadeia de pensamento:Uma técnica de dicas que exige que o modelo explique seu processo de raciocínio passo a passo antes de dar uma resposta final.
• Zero-Shot:Refere-se à capacidade de um modelo de responder a perguntas diretamente sem fornecer exemplos.
• Poucas fotos:Um pequeno número de exemplos é fornecido nos prompts para orientar os resultados do modelo e torná-los melhores na tarefa.
• Geração Aumentada por Recuperação (RAG):Uma metodologia que permite que o modelo acesse uma base de conhecimento externa para obter informações relevantes ao gerar respostas.
• Saída do modelo:Refere-se a respostas textuais geradas pelo modelo de linguagem em resposta a um prompt.
• Teoria da mente:No contexto da engenharia de dicas, isso se refere à capacidade de entender como um modelo de linguagem entende e processa instruções.
• RLHF (Reinforcement Learning from Human Feedback)Técnica de treinamento que usa feedback humano para otimizar o comportamento e a saída de um modelo de linguagem.
• Modelo pré-treinado:Modelos de linguagem treinados em grandes quantidades de dados textuais e, em seguida, ajustados para tarefas específicas.
• Prompt de empresa:Dicas projetadas para cenários de aplicativos corporativos com ênfase em confiabilidade e consistência.
• Solicitação de pesquisa:Prompts criados para fins de pesquisa com o objetivo de explorar os recursos de modelagem e obter diversos resultados.
• Jailbreaking:Uma tentativa de fazer com que o modelo gere dicas de conteúdo nocivo ou inadequado, contornando as medidas de segurança.
• Red Teaming:Simular ataques para testar a segurança e a robustez de modelos e sistemas.
• Avaliação:Um teste ou conjunto de dados usado para medir o desempenho de um modelo de linguagem em uma tarefa específica.

Tradução completa do podcast em chinês

Tradução para o chinês

Introdução (00:00-00:27)

Alex (apresentador): Olá a todos, eu sou Alex e esta mesa redonda se concentrará principalmente na engenharia de prompts. Exploraremos os prompts de várias perspectivas - pesquisa, consumidor e empresa - compartilhando insights e discutindo a natureza da engenharia de prompts em profundidade.

Autoapresentação dos membros da equipe (00:28-02:00)

- Alex: Chefe de Relações com Desenvolvedores na Anthropic, anteriormente Anthropic Tips Engineer, responsável pela arquitetura e pesquisa de soluções.

- David Hershey: O principal responsável por trabalhar com os clientes para ajudá-los a ajustar seus modelos e resolver problemas comuns ao adotar modelos de linguagem, como engenharia de prontidão e criação de sistemas baseados em modelos de linguagem.

- Amanda Askell: Um dos líderes da equipe de ajuste fino da Anthropic, dedicado a fazer o Claude Mais honesto e amigável.

- Zack Witten: Engenheiro de Prompting Antrópico que trabalhou com clientes e atualmente está trabalhando para aprimorar a engenharia de prompting em toda a comunidade, como o desenvolvimento de geradores de prompt e vários materiais educacionais.

O que é um projeto de sugestão? (02:01-06:29)

Alex: O que é o Projeto Cue? Por que ele é chamado de "projeto"? O que exatamente é uma "dica"?

Zack: O objetivo da engenharia de pistas é orientar o modelo nas tarefas, utilizando todo o potencial do modelo e realizando trabalhos que, de outra forma, seriam impossíveis por meio da colaboração com o modelo. No centro disso está a comunicação clara. Falar com um modelo é, em muitos aspectos, semelhante a falar com uma pessoa e requer uma compreensão da "psicologia" do modelo.

Alex: Por que o nome tem "engenharia"?

Zack: A "engenharia" está no processo de tentativa e erro. Ao contrário das pessoas, os modelos podem "começar de novo", o que significa que você pode experimentar diferentes abordagens do zero e evitar interferências entre elas. Essa capacidade de experimentar e projetar confere à engenharia de pistas suas propriedades de "engenharia".

Alex: Portanto, a engenharia de dicas é o processo de escrever dicas, interagir com o modelo, modificá-lo iterativamente e ser capaz de voltar ao estado inicial todas as vezes, o que, por si só, é "engenharia".

Zack: Outro aspecto é a integração dos prompts ao sistema geral.

David: As dicas podem ser vistas como uma forma de escrever modelos, mas o mais importante é a clareza. Pensar nisso como programação requer a consideração de fontes de dados, dados acessíveis, compensações de latência e a quantidade de dados fornecidos. A criação de modelos requer pensamento sistemático, e é isso que distingue a engenharia de dicas dos engenheiros de software ou dos gerentes de produtos; ela é autônoma.

Alex: As dicas são códigos de linguagem natural? É um nível mais alto de abstração ou um conceito separado?

David: A abstração excessiva de dicas pode complicar o problema; normalmente, é necessária apenas uma descrição clara da tarefa. No entanto, as dicas compilam instruções em resultados, portanto, conceitos importantes de programação, como precisão, controle de versão e rastreamento de experimentos, também se aplicam às dicas.

Zack: Agora, faz sentido tratarmos os artigos escritos como código.

Quais são as qualidades que um bom engenheiro de estímulo deve ter? (06:30-12:43)

Alex: O que faz um bom engenheiro de cueing? Amanda, o que você procura ao contratar um engenheiro de cueing de pesquisa?

Amanda: Bons engenheiros de dicas precisam ser capazes de se comunicar com clareza, iterar e prever situações em que as dicas podem dar errado. Comunicação clara significa ser capaz de articular, entender tarefas e descrever conceitos com precisão. Excelentes habilidades de redação não estão totalmente relacionadas a excelentes habilidades de engenharia de dicas. A engenharia de dicas não acontece da noite para o dia e requer iteração constante para analisar o modelo em busca de áreas de mal-entendido e fazer correções. Os bons engenheiros de dicas pensam nas situações específicas em que um modelo pode estar errado, como um conjunto de dados que não tem um nome que comece com "G" ou uma cadeia de caracteres de entrada vazia, e acrescentam explicações para essas situações.

David: Os engenheiros geralmente consideram situações ideais nas quais um usuário pode digitar, mas a realidade pode ser que o usuário não use letras maiúsculas, escreva errado ou digite palavras sem sentido. A capacidade de antecipar o comportamento real do usuário é outra habilidade importante dos engenheiros de dicas.

Zack: Ler o resultado do modelo é fundamental. Semelhante a "examinar os dados" no aprendizado de máquina, a engenharia de dicas requer uma leitura cuidadosa do resultado do modelo. Por exemplo, mesmo que uma dica peça ao modelo para "pensar passo a passo", é preciso verificar se o modelo realmente faz isso, pois ele pode entender as instruções de uma forma mais abstrata ou generalizada.

Amanda: Escrever uma declaração de missão é muito difícil e requer a comunicação clara de informações que Claude não conhece. Muitas pessoas escrevem as informações que sabem imediatamente, mas sem classificar sistematicamente o conjunto completo de informações necessárias para entender a tarefa.

David: Muitas pessoas escrevem prompts que se baseiam em seu entendimento a priori da tarefa, tornando-os incompreensíveis para os outros. Bons engenheiros de dicas são capazes de sair de sua própria estrutura de conhecimento e comunicar a tarefa em sua totalidade ao modelo.

Alex: Muitas vezes, com base em solicitações escritas por outras pessoas, não consigo concluir a tarefa, enquanto se espera que o modelo faça um trabalho melhor do que o meu.

David: Os modelos atuais ainda não são capazes de fazer perguntas direcionadas da mesma forma que os seres humanos, portanto, os engenheiros de solicitação precisam pensar por si mesmos sobre as perguntas que a outra pessoa pode fazer e responder a essas perguntas na solicitação.

Amanda: Eu pediria ao modelo que apontasse as partes pouco claras ou ambíguas do prompt e pediria que ele explicasse o que deu errado e sugerisse mudanças.

Como posso saber se um modelo pode detectar seus próprios erros? (12:43-14:12)

Alex: Um modelo pode realmente descobrir seus próprios erros perguntando "por que ele cometeu um erro"? As explicações que ele fornece são reais ou são "ilusões" sobre as próprias capacidades do modelo?

Amanda: Se for explicado ao modelo o que ele está fazendo de errado, às vezes ele pode reconhecer o problema. Mas isso depende da tarefa específica e a taxa de sucesso é incerta, mas eu sempre tento.

Zack: A interação com o modelo pode ajudá-lo a entender a situação, e você perderá essas informações se não tentar.

Como posso saber se um prompt é confiável? (14:13-17:52)

Alex: Você interage muito com o Claude no canal do Slack e o utiliza em vários cenários de pesquisa. Como você criou confiança no modelo?

Amanda: Não confio totalmente no modelo, mas estou constantemente "refinando-o". Eu penso: "Posso confiar em você para fazer isso?". Eu pensaria "Posso confiar em você para fazer isso?". Às vezes, os modelos não são confiáveis em tarefas aparentemente simples, geralmente em áreas fora da distribuição dos dados de treinamento do modelo. Isso está diminuindo à medida que os modelos se tornam mais capazes. Não confio em modelos por padrão, mas acho que, no aprendizado de máquina, geralmente é necessário analisar muitos dados para eliminar o ruído. E na engenharia de pistas, um pequeno número de pistas cuidadosamente construídas é mais valioso do que um grande número de pistas construídas aleatoriamente. Se eu analisar os resultados de 100 modelos e os resultados forem consistentes, e eu souber que os resultados abrangem uma ampla gama de casos extremos e entradas anômalas, então confiarei mais no modelo.

David: Os sinais no aprendizado de máquina geralmente são números, como a precisão da previsão. E o resultado de um modelo geralmente é uma grande quantidade de texto, com o qual podemos aprender como o modelo pensa. Não se trata apenas do fato de o modelo ter realizado a tarefa corretamente, mas de como ele chegou ao resultado e quais foram as etapas percorridas.

Amanda: Dicas bem escritas podem aumentar o sucesso dos experimentos de 1% ou mesmo 0,1% para os 1% superiores ou mesmo para os 0,1% superiores. Se os seus experimentos precisarem estar entre os 1% superiores das classificações de desempenho do modelo para serem bem-sucedidos, é fundamental que você dedique tempo às dicas.

David: Na implantação de produtos, uma boa dica pode tornar utilizável um produto que, de outra forma, não poderia ser liberado.

Amanda: Mas há também a armadilha de "dicas melhores estão sempre a caminho".

Como posso saber se uma tarefa pode ser resolvida com um prompt? (17:53-21:12)

Alex: Como posso saber se uma tarefa provavelmente será resolvida por um prompt?

Amanda: Normalmente, verifico se o modelo "entende" a tarefa. Se estiver claro que o modelo não é capaz de executar uma tarefa, não gasto muito tempo com ele.

David: Você pode orientar o modelo a declarar seu processo de pensamento e, a partir daí, determinar se ele entendeu a tarefa corretamente. Normalmente, desisto se o processo de pensamento do modelo for completamente diferente a cada vez e estiver longe da direção correta.

Amanda: Isso é raro.

David: Recentemente, tentei fazer com que Claude jogasse Pokemon, o que foi a primeira vez que fiz isso. Passei um fim de semana escrevendo dicas para tentar fazer com que Claude entendesse a tela do Game Boy e, embora tenha feito algum progresso, não foi suficiente. Por isso, decidi desistir por enquanto e esperar pelo próximo modelo.

Dicas sobre imagens (21:13-24:27)

Zack: Uma das coisas que gostei nas dicas que você usou no jogo Pokemon foi que você explicou ao modelo que ele estava em um jogo Pokemon e como os elementos do jogo eram representados.

David: Acabei sobrepondo uma grade sobre a imagem e descrevendo cada seção da grade e, em seguida, reconstruindo-a como um desenho ASCII com o máximo de detalhes possível. Isso tem muitas semelhanças com o projeto cue, mas nunca havia feito isso com uma imagem antes. Descobri que muitas de minhas intuições sobre texto não se aplicavam a imagens. Por exemplo, as dicas de várias amostras não funcionam tão bem em imagens quanto em textos.

Alex: Anteriormente, descobrimos que era difícil melhorar a percepção do Claude em imagens ao explorar pistas multimodais.

David: Por fim, consegui fazer com que o Claude reconhecesse as paredes e os personagens na maior parte do tempo, mas ele não conseguia reconhecer os NPCs, o que é fundamental para jogar bem o jogo.

Discussão sobre as sugestões de interpretação de papéis (24:28-32:26)

Alex: A técnica de sugestão de dizer ao modelo que ele desempenha uma determinada função ou identidade é eficaz?

Amanda: À medida que os modelos se tornam mais capazes e mais bem compreendidos, não vejo a necessidade de mentir sobre eles. Não gosto de mentir e não acho que criar conjuntos de dados de avaliação para sistemas de aprendizado de máquina seja o mesmo que criar testes para crianças. Os modelos sabem o que é uma avaliação de modelo de linguagem, portanto, eu os orientarei diretamente para a tarefa real. Eu diria ao modelo: "Quero que você crie perguntas que sejam muito semelhantes às avaliações de modelos de linguagem", em vez de fingir que está realizando uma tarefa não relacionada.

Zack: Descobri que o uso de metáforas pode ajudar o modelo a entender a tarefa. Por exemplo, ao julgar a qualidade de um gráfico, eu perguntaria ao modelo: "Se este fosse um trabalho de ensino médio, que nota você daria a este gráfico?" . Isso não significa "você é um professor do ensino médio", mas sim uma analogia que permite que o modelo entenda a maneira como espero que a análise funcione.

David: As pessoas costumam usar a dramatização como um atalho para concluir tarefas semelhantes, mas não percebem a quantidade de detalhes do produto que são perdidos. À medida que os modelos se tornam mais capazes, é mais importante descrever com mais precisão o contexto específico em que serão usados. Por exemplo, em vez de dizer "Você é um assistente útil", diga ao modelo "Você está neste produto, representa esta empresa e é a janela de bate-papo de suporte deste produto". Minha recomendação é descrever o contexto específico em que o modelo será usado com o máximo de detalhes possível, pois as pessoas costumam se desviar da tarefa real ao encenar.

Amanda: Pessoalmente, nunca usei a interpretação de papéis como uma técnica de estímulo, mesmo em modelos menos capazes.

David: Isso pode estar relacionado às diferenças entre o modelo pré-treinado e o modelo RLHF.

Amanda: Eu imaginaria a tarefa como uma tarefa temporária a ser concluída e diria a ele: "Queremos que você detecte bons gráficos, e bons gráficos significam ......", mas eu não diria a ele: "Você é um aluno do ensino médio! Você é um estudante do ensino médio".

Sugestões para uma apresentação concisa (32:27-36:45)

David: Quando os clientes dizem que seus prompts não funcionam, peço que descrevam a tarefa e, em seguida, peço que gravem o que acabaram de dizer e transcrevam em um texto, que geralmente é melhor do que os prompts que escreveram.

Zack: Alguém nos pediu ajuda para otimizar as dicas, então eu simplesmente copiei o que eles descreveram e as dicas funcionaram.

David: As pessoas ainda não entenderam completamente o que os prompts realmente significam. Muitas pessoas usam caixas de texto como caixas de pesquisa do Google para inserir palavras-chave. Nos aplicativos corporativos, as pessoas tentam pegar atalhos nos prompts, achando que uma determinada linha de texto é importante. As pessoas se esforçam muito para encontrar a frase perfeita e perspicaz, mas isso é difícil de fazer.

Amanda: As pessoas geralmente se esquecem de deixar espaço para o modelo em seus prompts. Por exemplo, o modelo fará o possível para seguir suas instruções quando encontrar um caso extremo, mas se você não disser a ele o que fazer, ele poderá dar a resposta errada. Você pode dizer ao modelo: "Se algo estranho acontecer e você não tiver certeza do que fazer, escreva 'não tenho certeza' no rótulo". Isso o ajudará a identificar situações com as quais o modelo não está lidando bem e a melhorar a qualidade dos dados.

Amanda: Eu mostraria os prompts a outras pessoas como se eu mesmo estivesse fazendo a avaliação.

David: O Karpathy também faz seus próprios conjuntos de testes do ImageNet.

Como obter informações válidas das respostas do modelo (36:46-40:46)

Alex: Como você obtém informações válidas das respostas de um modelo? Não se trata apenas de um número, você pode aprender sobre o processo de pensamento do modelo a partir dele. Isso se aplica às cadeias de pensamento?

David: Acho que a analogia da personificação, com sua ênfase exagerada no "raciocínio", é prejudicial. O importante é que as cadeias de pensamento funcionam de fato e podem melhorar o desempenho do modelo. O raciocínio estruturado pode aumentar ainda mais o efeito.

Amanda: Se você remover o processo de raciocínio pelo qual o modelo chega à resposta correta e substituí-lo por um raciocínio que pareça razoável, mas que leve à resposta errada, veja se o modelo chega à conclusão errada.

Zack: Fazer com que o modelo escreva uma história antes de concluir a tarefa não funciona tão bem quanto uma cadeia de pensamento.

Alex: Isso sugere que o processo de raciocínio tem um impacto sobre o resultado.

Amanda: Já vi casos em que as etapas do raciocínio não estão de acordo, mas acabam chegando à resposta correta.

Sobre a necessidade de gramática e pontuação nos prompts (40:47-45:19)

Alex: O prompt exige atenção à gramática e à pontuação?

Zack: Eu presto atenção a esses detalhes porque é divertido, mas não é necessário. O importante é que você tenha essa atenção aos detalhes.

Amanda: Frequentemente cometo erros de ortografia em meus prompts, mas estou mais preocupado com a expressão clara dos conceitos.

David: Isso está relacionado ao modelo de pré-treinamento e ao modelo RLHF. A probabilidade condicional de erros de ortografia é maior no modelo pré-treinado. A aplicação da intuição do modelo pré-treinado ao modelo no ambiente de produção nem sempre funciona.

Alex: O diálogo com os modelos pode ser visto, até certo ponto, como uma forma de imitação.

David: O modelo ajusta seu comportamento de acordo com suas entradas.

A diferença entre dicas de negócios, dicas de pesquisa e bate-papo geral (45:20-50:53)

Alex: Qual é a diferença entre dicas de negócios, dicas de pesquisa e bate-papo geral?

Zack: Os prompts baseados em pesquisa são mais focados na variedade e na exploração das possibilidades do modelo e, portanto, têm menos ou nenhum exemplo para evitar a dependência excessiva de exemplos para o modelo. Por outro lado, os prompts de nível empresarial são mais focados na confiabilidade e na consistência do formato e, portanto, usam um grande número de exemplos.

Amanda: Os exemplos que uso geralmente são diferentes dos dados com os quais o modelo trabalhará e têm o objetivo de ilustrar conceitos em vez de fazer com que o modelo os memorize. Para tarefas cognitivas, quero que o modelo realmente entenda a resposta correta em cada amostra.

David: No Claude.ai, eu só preciso fazer com que o modelo conclua a tarefa corretamente uma vez. Mas em um aplicativo corporativo, os prompts precisam ser capazes de responder a uma variedade de situações e dados de entrada.

Sugestões para aprimorar as habilidades de engenharia de tacos (50:54-53:57)

Alex: Sugestões para melhorar as habilidades de engenharia de dicas?

Zack: Leia excelentes dicas e resultados de modelos, analise seus princípios e faça experiências com eles, converse com os modelos com mais frequência.

Amanda: Mostre suas dicas a outras pessoas, especialmente àquelas que não conhecem seu trabalho. Continue praticando e veja suas dicas do ponto de vista de um "iniciante".

David: Tente fazer com que o modelo faça algo que você não acredita que ele possa fazer.

Sobre o jailbreak (53:58-56:54)

Alex: O que acontece dentro do modelo quando as pessoas escrevem dicas de jailbreak?

Amanda: Uma possibilidade é que a dica do jailbreak desvie o modelo da distribuição dos dados de treinamento.

Zack: O jailbreak às vezes parece uma combinação de hacking e engenharia social.

Evolução da engenharia de tacos (56:55-64:33)

Alex: Como o projeto imediato mudou nos últimos três anos?

Zack: Incorporaremos técnicas eficazes de engenharia de dicas ao treinamento de modelos, de modo que as melhores técnicas geralmente têm vida curta.

David: Aprendi gradualmente a respeitar a capacidade dos modelos de fornecer a eles mais informações e contexto.

Amanda: Eu daria o papel diretamente para o modelo e deixaria que ele aprendesse a técnica de orientação por conta própria.

David: As pessoas geralmente subestimam o poder da modelagem e tentam reduzir o problema ao "nível de Claude".

Amanda: Tentarei entrar no "espaço mental" do modelo, o que afetará a maneira como escrevo os prompts.

Zack: É mais fácil para mim entrar no espaço mental de um modelo pré-treinado.

Amanda: Ler o conteúdo na Internet pode ser mais útil para entender o modelo do que ler um livro.

Dicas para o futuro da engenharia (64:34 - fim)

Alex: Qual é o futuro da engenharia de tacos? Todos nós nos tornaremos engenheiros de tacos?

David: É sempre necessário especificar os objetivos do modelo, e é importante expressá-los com clareza. As ferramentas e os métodos continuarão a evoluir, e os modelos podem nos ajudar a escrever prompts melhores.

Zack: Faremos mais uso de modelos para ajudar a estimular o projeto, por exemplo, para gerar exemplos.

Amanda: Atualmente, escrevo principalmente meta-prompts que permitem que o modelo gere o resultado que eu quero. No futuro, o modelo poderá agir como um designer, interagindo conosco e orientando-nos a dizer o que realmente queremos.

David: Pedirei ao Claude que me "entreviste" para extrair as informações.

Amanda: Por enquanto, precisamos comunicar os conceitos em nossas mentes ao modelo e, no futuro, o modelo poderá nos orientar ativamente a dizê-los. O treinamento filosófico me ajuda a expressar conceitos complexos com clareza.

Alex: A extração de informações dos usuários se tornará ainda mais importante.

Zack: A engenharia de pistas é como ensinar, você precisa ter "empatia" com seus alunos. No futuro, precisamos ser "introspectivos" e deixar que os modelos nos entendam.

Amanda: Muitas vezes defino novos conceitos para expressar claramente minhas ideias.

Alex: Amanda resume perfeitamente: exteriorizar suas ideias para um leigo instruído.

Resumo:

Esta mesa redonda está centrada na engenharia de cueing e abrange uma ampla gama de aspectos, como sua definição, as qualidades de um bom engenheiro de cueing, a maneira como ele interage com o modelo, aplicativos de nível empresarial, aplicativos de pesquisa e direções futuras. Os pontos principais incluem:

- No centro da engenharia de tacos está a comunicação clara e a compreensão dos recursos do modelo.

- Os bons engenheiros de prompting precisam ser capazes de se articular com clareza, iterar, prever erros e pensar sistematicamente.

- À medida que os recursos do modelo aumentam, a engenharia de dicas se concentrará mais em como extrair informações do usuário, em vez de emitir comandos para o modelo em uma direção unidirecional.

- O futuro da engenharia de dicas pode se assemelhar à interação entre um designer e um cliente, com o modelo assumindo uma função mais proativa para orientar o usuário a expressar suas necessidades.

- O treinamento em filosofia ajuda a aprimorar as habilidades de engenharia de dicas porque a filosofia enfatiza a expressão clara e precisa de conceitos complexos.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>