Le meilleur contenu de podcast de discussion sur Prompt Engineering vu à ce jour.

Résumé de l'IA

esquissée

Conseils sur l'IA Ingénierie La discussion approfondie s'est déroulée sous la forme d'une table ronde avec un certain nombre de participants de la Commission européenne. Anthropique d'experts ont partagé leur compréhension et leur expérience pratique de l'ingénierie des signaux sous différents angles, notamment la recherche, les consommateurs et les entreprises.

L'article détaille la définition de l'ingénierie de la baguette, son importance et la manière de devenir un bon ingénieur de baguette.

L'idée de base est que l'ingénierie des indices est plus qu'une simple saisie de texte, mais un processus qui nécessite une itération constante, une expérimentation et une compréhension approfondie de la psychologie du modèle..

Il s'agit de savoir comment communiquer efficacement avec les modèles d'IA et les intégrer dans un système plus large.

Les similitudes entre l'ingénierie des signaux et la programmation sont également explorées, de même que les différentes priorités dans les différents scénarios d'application (par exemple, la recherche, l'entreprise et le dialogue quotidien).

soulignements Communication claire, capacité d'itération et observation méticuleuse des résultats du modèle. C'est la clé du déclenchement du projet.

Les experts ont également discuté des différents défis rencontrés dans les applications pratiques et ont partagé des expériences et des conseils précieux, tels que la façon de traiter les cas limites, la façon d'utiliser le retour d'information des modèles eux-mêmes pour améliorer les indices et la façon de distinguer les différents types de modèles.

En bref.Cet article fournit aux lecteurs un guide complet et perspicace de l'ingénierie rapide, ainsi qu'un aperçu des orientations futures..

Points clés

• L'ingénierie des indices est un processus qui consiste à communiquer clairement avec un modèle et à procéder à des itérations pour maximiser son potentiel.
• Au cœur de l'ingénierie, il y a l'expérimentation, les essais et les erreurs, la capacité de revenir en arrière et d'essayer différentes approches à partir de zéro.
• Les messages-guides ne sont pas simplement du texte, mais une approche de programmation intégrée dans le système global qui nécessite la prise en compte des sources de données, de la latence et de la conception du système.
• Les bons ingénieurs d'assistance doivent être capables de communiquer clairement, d'itérer et d'analyser en profondeur les résultats des modèles.
• Il est essentiel de comprendre l'"esprit" du modèle et de tenir compte de la manière dont le modèle interprète les instructions.

Des idées novatrices

• Considérez l'écrit comme un code et considérez que la rédaction d'un bon essai est aussi importante que la rédaction d'un code.
• L'accent est mis sur l'importance de la lecture des résultats du modèle, à l'instar de "l'examen des données" dans le domaine de l'apprentissage automatique.
• Proposez d'utiliser des modèles pour aider à optimiser les signaux, voire laissez le modèle signaler ses propres erreurs.
• Dans de nombreux cas, il est plus efficace d'expliquer la tâche directement au modèle, plutôt que de se faire passer pour un personnage.
• À l'avenir, l'ingénierie des indices sera davantage axée sur l'obtention d'informations de la part de l'utilisateur, les modèles jouant le rôle de guides.

Principales citations et traductions

Article original 1 : Je pense que la partie technique vient des essais et des erreurs. Ce qui est vraiment bien quand on parle à un modèle, ce n'est pas comme quand on parle à une personne, c'est qu'on a ce bouton de redémarrage.

Traduction : Je pense que la partie "ingénierie" est le fruit d'essais et d'erreurs. L'une des grandes différences entre parler à un modèle et parler à une personne, c'est que vous disposez d'un bouton de réinitialisation. Ce bouton géant vous ramène à la case départ et vous permet de repartir à zéro.

Motif de la citation : Cette citation souligne avec éloquence la signification du terme "ingénierie" dans l'ingénierie des signaux et met l'accent sur l'importance de l'expérimentation et de l'itération continues pour améliorer les signaux, ce qui est essentiel pour différencier l'ingénierie des signaux d'autres formes de communication.

Original 2 : Je pense que les prompts sont la façon de programmer les modèles, ce qui rend les choses trop compliquées, car je pense que Zack a généralement raison de dire que c'est juste une question de temps. Mais si vous y pensez un peu comme à la programmation d'un modèle, vous devez penser à l'origine des données, aux données auxquelles vous avez accès... (paragraphe 7). données auxquelles vous avez accès... (paragraphe 7)

Traduction : Je pense que les indices sont en quelque sorte une façon de programmer le modèle, même si c'est un peu compliqué à dire. Car je pense que Zack a raison, une communication claire est ce qui est important. Mais si vous considérez les messages-guides comme la programmation d'un modèle, vous devez réfléchir à la provenance des données et aux données auxquelles vous avez accès.

Motif de la citation : Ce passage établit un lien entre le repérage et la programmation, en soulignant que le repérage n'est pas seulement une question de langage, mais qu'il nécessite une réflexion systémique, incluant des facteurs tels que les données, le temps de latence et l'intégration des systèmes.

Je pense donc que je peux faire confiance au modèle si je regarde 100 résultats et qu'ils sont vraiment cohérents. Et je sais que j'ai construit ces résultats pour éliminer tous les cas limites et toutes les choses bizarres que le modèle pourrait faire, les entrées bizarres, etc. Et je sais que je les ai construits pour comprendre tous les cas limites et toutes les choses bizarres que le modèle pourrait faire, les entrées bizarres, etc. Je m'y fie probablement plus qu'à un ensemble de plusieurs milliers d'éléments construits de manière beaucoup plus vague.

Traduction : Ainsi, si je regarde 100 résultats d'un modèle et qu'ils sont très cohérents, et que je sais que j'ai construit ces résultats pour trouver tous les cas limites et les choses bizarres que le modèle pourrait faire et les entrées bizarres et ainsi de suite, je vais faire confiance à ce modèle, probablement plus qu'à des milliers de résultats construits de manière vague.

Motif de la citation : Ce passage souligne la valeur des petits ensembles de données de haute qualité par rapport aux grands ensembles de données de faible qualité. Dans l'ingénierie des repères, l'accent devrait être mis sur l'examen adéquat des cas limites plutôt que sur la recherche aveugle d'un grand nombre d'échantillons.

Notes de lecture

[Conseils sur la nature de l'ingénierie] : Itération et expérimentation

• L'ingénierie des indices est le processus d'optimisation des résultats du modèle par essais, erreurs et itérations.
• Il met l'accent sur la gestion et le suivi des expériences comme si elles étaient programmées.
• Une communication claire est la base de l'ingénierie des signaux.

#promptengineering #itération #expérimentation

[Qualités d'un ingénieur en baguettes] : Compréhension et observation

• Des compétences de communication claires et une volonté d'itération sont nécessaires.
• Nécessite une compréhension approfondie du modèle et la capacité d'apprendre à partir des résultats du modèle.
• Nécessité de prendre en compte la diversité des scénarios d'utilisation pratique et des contributions des utilisateurs.

#communication #compréhension #observation

[Modèle d'interaction] : Confiance et défi

• Il ne faut pas se fier aveuglément aux modèles et leur fiabilité doit être constamment testée et vérifiée.
• Les modèles peuvent être utilisés pour diagnostiquer les erreurs et suggérer des améliorations..
• Les modèles peuvent aider les utilisateurs à mieux comprendre les tâches et à être guidés.

#rust #feedback #collaboration

• Conseils pour le processus d'ingénierie: :

开始 --> 编写初始提示 --> 模型输出 --> 分析结果 --> 修改提示 --> 循环直至满意

À l'instar d'un processus cyclique, les pointes sont constamment améliorées pour atteindre le résultat souhaité.

• évaluation de la modélisation: :

|  输出一致性 | 边缘情况覆盖 | 输入多样性 |
|------------|------------|------------|
|    高       |     高      |     高     |

• Plus les trois dimensions clés, à savoir la cohérence, la couverture des cas limites et la diversité des entrées, sont élevées, mieux c'est.

Conseils pour l'avenir de l'ingénierie

用户需求 --> 模型理解 --> 模型提问 --> 用户反馈 --> 优化提示 --> 最终输出

• À l'avenir, les modèles seront plus activement impliqués dans le processus de compréhension des besoins de l'utilisateur et d'optimisation des signaux.

Questions et réponses sur des sujets essentiels

1) Qu'est-ce qu'un projet rapide ?

Ingénierie rapide est une technique permettant de guider les grands modèles de langage (LLM) dans l'exécution de tâches spécifiques en concevant et en optimisant des messages-guides (Prompts). Elle vise à permettre au modèle de produire les résultats souhaités par le biais d'une communication claire et précise. Voici une explication détaillée de l'ingénierie des messages-guides :

Définition d'un indice

• directivesInvite : Une invite est une instruction fournie au modèle par l'utilisateur pour que le modèle exécute une tâche spécifique. Il peut s'agir d'une simple phrase ou d'une description complexe contenant plusieurs étapes.
• procéduresLes indices peuvent également être considérés comme une procédure, rédigée en langage naturel, pour guider le modèle dans l'exécution d'une tâche.
• méthode de communicationLes messages-guides sont essentiellement un moyen de communiquer avec le modèle, comme avec une personne, et doivent être clairs et sans ambiguïté.

Les éléments essentiels du projet

• une communication claireL'ingénierie rapide met l'accent sur une communication claire afin que les utilisateurs puissent exprimer leurs besoins avec précision et que le modèle puisse comprendre les exigences spécifiques de la tâche.
• processus itératif: L'ingénierie des repères est un processus itératif qui consiste à essayer, modifier et optimiser en permanence les repères afin d'améliorer les performances d'un modèle. Il s'agit d'un processus similaire à celui du développement et du débogage dans l'ingénierie logicielle.
  • testObserver la réponse du modèle en essayant différents indices et en ajustant les indices en fonction des résultats.
  • renvoyer des informationsLes résultats du modèle sont analysés, les erreurs sont identifiées et corrigées en conséquence.
  • cycleRépéter l'expérimentation et le retour d'information jusqu'à ce que le résultat souhaité soit atteint.
• la pensée systémiqueL'ingénierie des invites : L'ingénierie des invites ne consiste pas seulement à rédiger des invites individuelles, mais aussi à réfléchir à la manière dont les invites sont intégrées dans le système global. Il faut pour cela tenir compte de la source des données, de la manière dont elles sont traitées et du rôle du modèle dans le système.
• Donner du sens aux modèlesLes ingénieurs chargés des repères doivent comprendre le fonctionnement et les limites des modèles afin de mieux concevoir les repères. Il s'agit notamment de comprendre comment le modèle traite les différents types d'entrées et comment guider le processus de raisonnement du modèle.
• Compétences en matière de résolution de problèmesConseil Les ingénieurs doivent systématiquement envisager tous les scénarios possibles et y apporter des solutions comme s'ils résolvaient un problème d'ingénierie.
  • erreur de prévisionLes résultats de l'analyse de l'impact sur l'environnement : Prévoir comment le modèle est susceptible de se tromper et concevoir des astuces appropriées pour faire face à ces erreurs.
  • Traiter les cas particuliersLe modèle doit être conçu de manière à ce qu'il réagisse lorsqu'il est confronté à des données inhabituelles ou à des erreurs.
• contrôle des versionsLes indices : Traiter les indices comme du code, y compris le contrôle de version, le suivi des expériences, etc.
• Lecture des résultats du modèleLisez attentivement les résultats d'un modèle pour comprendre son processus de raisonnement, et pas seulement pour voir si les résultats sont corrects.
• réflexion théoriqueLa compréhension d'un modèle : Lorsque vous comprenez un modèle, vous devez envisager la manière dont le modèle pourrait comprendre vos instructions à un niveau théorique, plutôt que de vous contenter d'écrire à partir de votre propre compréhension.

Objectif du projet de rappel

• Libérer le potentiel de la modélisationL'ingénierie des indices : L'objectif de l'ingénierie des indices est d'utiliser tout le potentiel d'un modèle pour lui permettre d'accomplir des tâches qui dépassent les capacités de sa conception initiale.
• Optimiser les performances du modèleAméliorer les performances du modèle dans des tâches spécifiques grâce à des indices bien conçus.
• Guider le comportement du modèleLe modèle est conçu pour guider le comportement du modèle à l'aide d'indices qui lui permettent de produire les résultats souhaités et d'éviter les résultats non souhaités.

Défis en matière d'ingénierie

• Difficulté à articulerLa description d'une tâche : Il est difficile de décrire une tâche avec précision en mots et d'éliminer toutes les suppositions.
• Les mannequins ne posent pas de questions.Les modèles ne posent pas de questions de clarification comme le font les humains, de sorte que les ingénieurs chargés des repères doivent anticiper les demandes possibles des modèles eux-mêmes et donner les réponses appropriées dans le repère.
• La difficulté de trouver le conseil parfait: Trouver l'astuce parfaite peut s'avérer difficile car il existe toujours la possibilité d'une meilleure astuce.

Applications de l'ingénierie de la baguette

• Scènes diversesL'ingénierie des signaux peut être appliquée dans une variété de scénarios, y compris la recherche, les applications d'entreprise et les applications grand public.
• Différents types de tâchesLes projets d'invites peuvent être utilisés pour différents types de tâches, notamment la génération de texte, l'extraction d'informations, la réponse à des questions et la génération de codes.
• Intégration dans les systèmesL'ingénierie des messages-guides : L'ingénierie des messages-guides ne consiste pas seulement à écrire des messages-guides individuels, mais aussi à intégrer les messages-guides dans le système global.

Conseils pour l'avenir de l'ingénierie

• Conseils assistés par un modèleDans l'avenir, le modèle pourra aider les utilisateurs à rédiger de meilleurs messages-guides, notamment en posant des questions, en fournissant des suggestions et en générant automatiquement des messages-guides.
• collaboration homme-machineDans l'avenir, l'ingénierie des signaux pourrait évoluer vers un modèle de collaboration entre l'homme et l'ordinateur, dans lequel le modèle pose des questions en fonction des objectifs de l'utilisateur et guide ce dernier pour qu'il rédige des signaux plus efficaces.
• De l'orientation au conseilLes modèles deviennent de plus en plus intelligents et l'ingénierie des signaux peut passer d'un modèle d'orientation à un modèle de conseil, où le modèle donne des signaux à l'utilisateur en fonction des objectifs de ce dernier.

L'ingénierie rapide est une technique qui fait appel à la créativité, à la pensée logique et à la pensée systémique. Il ne s'agit pas seulement d'écrire une bonne réplique, mais aussi de comprendre le modèle, de concevoir des expériences, de procéder à des optimisations itératives et de résoudre des problèmes. Les ingénieurs de repères doivent expérimenter et apprendre comme des ingénieurs afin d'exploiter tout le potentiel d'un modèle.

2) Quelles sont les qualités d'un bon ingénieur de repérage ?

• Compétences claires en matière de communicationL'ingénieur qui reçoit de bonnes instructions est capable d'exprimer clairement ses idées, de comprendre clairement les tâches à accomplir et de décrire les concepts avec précision. Cela inclut la capacité à construire des instructions de manière à ce que le modèle soit facile à comprendre.
• Capacités itérativesIls sont désireux d'itérer et d'ajuster continuellement les messages-guides et de réfléchir à la manière dont le modèle pourrait les interpréter de manière erronée. Ce processus itératif implique d'analyser la réponse du modèle, d'identifier les erreurs et d'apporter des corrections.
• Cas limites de testIls réfléchiront activement aux situations moins courantes dans lesquelles l'indice peut se révéler erroné, par exemple lorsque l'entrée est nulle ou ne se présente pas sous la forme attendue. Cela implique de tester une variété d'exceptions pour s'assurer que le modèle fonctionne correctement dans différentes situations.
• Comprendre les résultats des modèlesLes bons ingénieurs de repérage accordent une grande attention à la sortie du modèle, et pas seulement aux résultats. Ils se plongent dans le processus de réflexion du modèle et tentent de comprendre son raisonnement.
• réflexion théoriqueIl est capable de puiser dans sa propre compréhension et de décomposer systématiquement toutes les informations nécessaires à l'accomplissement de la tâche. Ils sont capables de communiquer clairement les informations nécessaires d'une manière compréhensible pour le modèle.
• empathieIls sont capables de se mettre à la place du modèle et de comprendre comment celui-ci perçoit leurs instructions. Ils doivent également tenir compte des besoins de l'utilisateur et comprendre comment celui-ci interagit avec le modèle.
• esprit expérimentalIls découvrent les limites du modèle par le biais d'expérimentations constantes et de tâtonnements. Ils n'ont pas peur de l'échec et en tirent des leçons, approfondissant leur compréhension du modèle en repoussant les limites de ses capacités...
• Améliorations grâce à la modélisationIls amélioreront les messages-guides non seulement par leurs propres efforts, mais aussi en utilisant le modèle lui-même. Par exemple, ils demanderont au modèle de signaler les ambiguïtés dans les instructions ou de suggérer des changements. Ils essaieront d'amener le modèle à expliquer ses erreurs et à améliorer les instructions.
• Faire confiance mais vérifierIls sont prudents quant aux capacités du modèle et s'assurent de sa fiabilité par des tests répétés. Ils vérifient les résultats du modèle par des tests approfondis plutôt que de lui faire aveuglément confiance.
• examenIls liront attentivement les messages-guides et les résultats du modèle et en analyseront les détails. Ils apprendront comment le modèle pense en analysant les détails de la sortie du modèle.
• Ne pas être obsédé par la perfectionAu lieu de s'efforcer de trouver le message parfait, ils continueront d'essayer et d'apprendre de leurs erreurs. Ils reconnaîtront que l'incitation est un processus itératif plutôt qu'une tâche ponctuelle.
• Traiter le texte comme un codeIls peuvent comprendre la signification du texte en tant que code et comprendre que les indices ont également besoin d'un contrôle de version, d'un suivi des expériences, etc.
• Capacité à réfléchir à partir de différents points de vueLes bons ingénieurs de repérage peuvent envisager les choses sous différents angles, par exemple en se mettant à la place du modèle et en tenant compte des besoins de l'utilisateur réel.
• Capacité à créer de nouveaux conceptsIls définiront de nouveaux concepts si nécessaire et les rendront explicites en travaillant avec des modèles.
• Capacité d'externaliser les idéesIls peuvent exprimer leurs idées clairement et traduire des concepts complexes dans leur cerveau en instructions compréhensibles par des modèles.

Les bons ingénieurs de repérage ne sont pas seulement des communicateurs clairs et itératifs, ils sont aussi empathiques, capables de se mettre à la place du modèle et d'expérimenter et d'apprendre en permanence, en découvrant les limites du modèle en testant des cas marginaux. Ils utiliseront également le modèle lui-même pour améliorer les indices et apprendre à partir des détails de la sortie du modèle. Ils doivent comprendre que le processus d'obtention de l'indice est itératif plutôt que de viser la perfection, et ils doivent comprendre les similitudes entre le texte et le code. Ils doivent envisager les choses sous différents angles, tant en ce qui concerne l'expérience de l'utilisateur que la manière dont le modèle lui-même est perçu. Plus important encore, ils doivent être capables d'articuler leurs idées et d'extérioriser les concepts dans leur cerveau.

3. comment interagir efficacement avec le modèle ?

3.1 Une communication claire est au centre des préoccupations

• Expression précise des besoins : Tout comme la communication avec les gens, vous devez exprimer clairement vos besoins afin que le modèle comprenne exactement ce que vous recherchez.Éviter les instructions ambiguësPour ce faire, essayez d'être aussi précis que possible dans la description de ce que vous attendez du modèle.
• Clarifier les détails de la tâche : Vous devez.Supprimez toutes vos hypothèses.et détaillent toutes les informations que le modèle doit connaître.Ne supposez pas que le modèle sait quelque chose que vous ne lui avez pas explicitement dit..

3.2 Considérer l'invite comme une procédure

• Code en langage naturel : Une invite peut être considérée comme une procédure écrite en langage naturel pour guider le modèle dans une tâche.
• La pensée systémique : Traiter les invites comme du codey compris le contrôle des versions, le suivi des expériences, etc. Il convient de réfléchir à la manière dont les indices s'intègrent dans le système global, y compris les sources de données, le traitement des données et le rôle du modèle dans le système.

3.3 Adopter l'itération et l'expérimentation

• Les essais et les erreurs sont la norme : L'ingénierie des signaux est un processus d'essais et d'erreurs qui implique d'essayer constamment différents signaux et de les ajuster en fonction du retour d'information du modèle.
• Bouton de redémarrage : Le modèle dispose d'un "bouton de redémarrage" qui vous permet de revenir au début à tout moment et d'essayer une approche différente à partir de zéro, sans être perturbé par les expériences précédentes.
• Répéter fréquemment : Pour être efficace, l'ingénierie des repères nécessite une interaction fréquente avec le modèle pour plusieurs raisons.itérer en avant et en arrièreplutôt que d'attendre des résultats parfaits d'un seul coup.

3.4 Comprendre l'esprit du modèle

• Perspectives de modélisation : Essayez de penser à vos instructions du point de vue du modèle et de comprendre comment le modèle pourrait comprendre vos exigences. Pour ce faire, vous devezJouer le modèledu personnage, en imitant sa façon de penser.
• Lire les résultats du modèle : Lisez attentivement les résultats du modèle, en vous attachant non seulement à vérifier s'ils sont corrects, mais aussi à comprendre le processus de raisonnement du modèle.Apprendre à partir des résultatsLe modèle doit comprendre comment il comprend vos instructions.
• Explorer l'erreur de modèle : N'ignorez pas les erreurs commises par le modèle.Demander pourquoi le modèle est erronéet essayer de comprendre la cause de l'erreur, et peut même demander au modèle de modifier les instructions. Les modèles sont parfois capables de souligner les ambiguïtés des instructions et de faire des suggestions d'amélioration.

3.5 Traiter les cas particuliers

• Erreur de prédiction : Anticiper les situations dans lesquelles le modèle pourrait se tromperet concevoir les signaux appropriés pour gérer ces erreurs. Réfléchissez à la manière dont le modèle réagit lorsqu'il rencontre des entrées ou des erreurs inhabituelles, par exemple :
  • Proposer des options : Si le modèle n'est pas sûr de ce qu'il doit faire avec certaines entrées, donnez-lui une "sortie", par exemple en lui permettant d'afficher l'étiquette "pas sûr".
  • Tester les extrêmes : Essayez de tester vos messages-guides avec une variété d'extrêmes (par exemple, des chaînes vides, des entrées qui ne correspondent pas aux attentes) pour vous assurer que le modèle fonctionne bien dans une variété de situations.

3.6 Capacité à respecter les modèles

• Ne sous-estimez pas le modèle : Ne pensez pas que le modèle est stupide et qu'il faut l'amadouer pour qu'il fonctionne.Respecter les capacités du modèlePour ce faire, donnez-lui suffisamment de contexte et d'informations pour qu'il puisse comprendre vos objectifs.
• Donner des informations directes : Lorsque vous souhaitez qu'un modèle apprenne une nouvelle technique, il vous suffit de lui donner le document correspondant plutôt que d'essayer de le décrire avec vos propres mots.
• Éviter les simplifications excessives : Ne simplifiez pas délibérément vos instructions ; faites confiance au modèle pour gérer les tâches complexes.

3.7 Utilisation d'aides à la modélisation

• Exemple de génération de modèle : L'utilisation du modèle pour générer des exemples que vous pouvez ensuite modifier vous permet de générer plus rapidement des messages-guides de haute qualité.
• Modélisation pour les entretiens : Laissez le modèle vous interroger, extraire les informations que vous avez en tête et les transformer en messages-guides.

3.8 Ne vous laissez pas emporter par des conseils parfaits

• Il n'y a pas de perfection : Ne tombez pas dans le piège de la "recherche de l'astuce parfaite" et réalisez qu'il est toujours possible de s'améliorer.
• Apprentissage continu : Chaque interaction avec le modèle est une occasion d'apprentissage, et chaque tentative vous permettra de mieux comprendre le modèle.
• Se concentrer sur l'exploration des frontières : Essayez de faire faire au modèle quelque chose que vous ne pensez pas qu'il puisse faire, et apprenez en explorant les limites du modèle.

3.9 Distinguer les différents scénarios

• Recherche et entreprise : Dans un environnement de recherche, vous pouvez vous concentrer sur la diversité et l'exploration, alors que dans un environnement d'entreprise, vous pouvez vous concentrer sur la fiabilité et la cohérence.
• Dialogue entre l'homme et l'ordinateur et applications du système : Dans un dialogue homme-machine, vous pouvez procéder à plusieurs itérations, mais dans une application système, vous devez rédiger des messages-guides capables de gérer toute une série de situations en une seule fois.

3.10 Utilisation des méta-interprétations

• Générer des invites pour des invites : Vous pouvez utiliser des "méta-indiques" pour que les modèles génèrent les résultats ou les requêtes dont vous avez besoin. Vous pouvez simplement donner au modèle un document sur la technique d'indication et lui demander de générer une méta-indique pour que d'autres modèles exécutent la technique.

En bref, une interaction efficace avec les modèles nécessite une communication claire, une réflexion systématique, une expérimentation cohérente, une compréhension approfondie et le respect des capacités du modèle. En même temps, l'utilisation efficace des modèles peut vous aider à itérer et à optimiser vos messages-guides plus rapidement. N'oubliez pas qu'il n'existe pas d'indice parfait, mais seulement un apprentissage et une amélioration continus.

4) Idées reçues sur Prompt

4.1 Les conseils sont des instructions simples :

• Malentendu : Les gens considèrent souvent les invites comme de simples instructions données à un modèle, comme la saisie de mots clés dans un moteur de recherche. Ils peuvent penser qu'il suffit de taper quelques mots-clés pour que le modèle effectue la tâche, et négligent l'importance d'une communication claire et précise.
• Faits : En effet.Les indices sont une méthode de programmation complexequi doivent être traités comme du code, y compris le contrôle de la version et le suivi des expériences. Les bons indices doivent être conçus avec soin et faire l'objet d'itérations pour que le modèle comprenne la tâche avec précision et produise les résultats souhaités.

4.2 Les conseils sont statiques et ne sont écrits qu'une seule fois :

• Malentendu : Certaines personnes pensent que la rédaction d'un message est comparable à celle d'un essai : c'est fait et il n'y a plus besoin de réviser.
• Faits : Le projet hint est unprocessus itératifqui nécessite une expérimentation, une modification et une optimisation constantes. Vous devez travailler plusieurs fois avec le modèle pourinteragir dans les deux senset améliorez vos repères en lisant les résultats du modèle et en analysant les erreurs. Pour être efficace, l'ingénierie des signaux doitAccepter l'expérimentation et le retour d'informationplutôt que de s'attendre à un processus en une seule étape.

4.3 Les conseils nécessitent une grammaire et une ponctuation parfaites :

• Malentendu : On suppose souvent que pour qu'un modèle soit compris, l'auteur doit utiliser une grammaire et une ponctuation parfaites.
• Faits : Si l'attention portée aux détails est importante, laLes modèles comprennent souvent des messages contenant des fautes d'orthographe ou des imperfections grammaticales.. Important.Clarté conceptuelleplutôt que la perfection grammaticale. S'il est bon de corriger les erreurs dans le texte final, il est acceptable d'être imparfait pendant les itérations.

4.4 Les modèles doivent être "amadoués" pour fonctionner :

• Malentendu : Certains pensent que les modèles sont stupides et qu'il faut les guider dans leurs tâches en utilisant des astuces ou des "mensonges", par exemple en leur donnant une fausse identité ou un faux rôle.
• Faits : Les modèles ont une bonne compréhensionVous n'avez pas besoin de le "cajoler". Vous devez le faire.Modèle de respectIl s'agit de lui fournir directement des informations claires et précises afin qu'il comprenne vos objectifs.Décrivez directement votre tâcheplutôt que d'utiliser des métaphores ou des tâches similaires pour guider le modèle.

4.5 La rédaction d'instructions parfaites est au cœur de l'ingénierie des baguettes :

• Malentendu : Certains pensent que l'intérêt de l'ingénierie des indices est de trouver les instructions parfaites et de passer beaucoup de temps à comprendre chaque mot.
• Faits : S'il est important d'avoir des instructions précises, il est encore plus important que lesComprendre le fonctionnement du modèleet parLire les résultats du modèle pour apprendre.Comprendre l'état d'esprit du modèleainsi queComment il traite les différentes entréesIl s'agit donc d'un travail de longue haleine, plus que de la recherche d'instructions parfaites. Un bon ingénieur de repérage doit être capable deExtraction de signaux à partir de la sortie du modèleIl s'agit de comprendre son processus de raisonnement, et pas seulement de savoir si le résultat est correct.

4.6 Conseil L'ingénierie, c'est juste de l'écriture :

• Malentendu : Certains pensent que la compétence essentielle de l'ingénierie des prompts réside dans les aptitudes rédactionnelles et estiment que les bons rédacteurs font naturellement de bons ingénieurs des prompts.
• Faits : Si de bonnes compétences rédactionnelles sont nécessaires, il n'en reste pas moins qu'elles ne sont pas indispensables à l'obtention d'un diplôme.Ce n'est pas une compétence essentielle de l'ingénierie des queues de billard. Un bon ingénieur d'assistance doit avoirEsprit expérimental, pensée systémique, compétences en matière de résolution de problèmesaussiLa capacité à comprendre l'esprit du modèle.Itération et testsPlus que de simples compétences rédactionnelles.

4.7 Il faut éviter de donner trop d'informations au modèle :

• Malentendu : Certains craignent que le fait de donner trop d'informations au modèle ne le rende confus, c'est pourquoi ils essaient de simplifier les instructions et de dissimuler la complexité.
• Faits : Au fur et à mesure que les capacités des modèles augmentent, ils sont en mesure de gérerPlus d'informations et de contexte.Vous devez faire confiance au modèle.Pour cela, donnez-lui suffisamment d'informations pour qu'il puisse mieux comprendre votre tâche.

4.8 Il est toujours préférable d'avoir plus d'exemples de conseils :

• Malentendu : On pourrait penser que la fourniture d'un grand nombre d'exemples est le seul moyen d'améliorer les performances du modèle.
• Faits : Bien que les exemples aident à guider le modèle, un trop grand nombre d'exemples peut être une source d'inquiétude.Limiter la créativité et la diversité dans la modélisation.. Dans le cadre de la recherche.Utiliser des exemples illustratifs plutôt que des exemples spécifiquesElle peut être plus efficace parce qu'elle encourage le modèle à réfléchir à la tâche elle-même plutôt que de se contenter de copier l'exemple.

4.9 Les modèles pensent et raisonnent comme des personnes :

• Malentendu : On pourrait penser qu'un modèle raisonne comme un être humain et comprend les indices des "étapes de réflexion".
• Faits : Si les modèles peuvent imiter le processus de raisonnement, par exemple enChaîne de penséemais ce n'est pas nécessairement un vrai raisonnement. Le modèle génère simplement du texte sur la base des instructions et des exemples que vous lui donnez. Il est important de comprendre queLes modèles et les humains pensent différemmentNe pas anthropomorphiser à l'excès le comportement du modèle.

4.10 Les jeux de rôle sont toujours efficaces :

• Malentendu : Certains pensent que le fait de faire jouer au modèle un rôle spécifique (par exemple, "Vous êtes un enseignant") améliore ses performances.
• Faits : Les jeux de rôle peuvent être utiles dans certaines situations, mais ne sont pas toujours nécessaires. Décrivez directement ce que vous voulez accomplirqui est plus efficace que de prétendre que le modèle est une personne différente. Au fur et à mesure que les capacités du modèle s'améliorent, il peut être préférable de lui donner directement la description de la tâche et le contexte, plutôt que de lui donner une fausse identité.

4.11 Une fois que vous avez trouvé une bonne astuce, elle fonctionnera toujours :

• Malentendu : Certaines personnes pensent qu'une fois qu'elles ont trouvé un repère qui fonctionne, il fonctionnera pour toujours et n'aura pas besoin d'être modifié.
• Faits : Les capacités de modélisation ne cessant de s'améliorer, leDes conseils efficaces peuvent aussi être dépassés. Certaines techniques de repérage peuvent être intégrées au modèle de manière à ce qu'il n'ait plus besoin d'être explicitement repéré. Vous devrezApprentissage et adaptation continuspour répondre aux changements dans le modèle.

Comprendre ces idées fausses courantes peut vous aider à interagir plus efficacement avec les modèles et à mieux utiliser l'ingénierie des indices pour toute une série de tâches. L'ingénierie des indices n'est pas une simple entrée de commande, c'est une discipline qui nécessite une compréhension et une pratique approfondies.

5. conseils d'entreprise et conseils de recherche

Conseils aux entreprisesrépondre en chantantConseils pour le niveau de rechercheIl existe des différences significatives en termes d'objectifs, de méthodes et d'orientation.

Conseils aux entreprises

• L'accent mis sur la fiabilitéLes indices au niveau de l'entreprise : Dans les applications d'entreprise, la fiabilité est essentielle. L'objectif des conseils au niveau de l'entreprise est de s'assurer que le modèle produit des résultats cohérents et attendus dans une variété de situations. Cela nécessite généralement un grand nombre d'exemples et des conseils spécifiques pour limiter la liberté du modèle.
• Focus sur le format: : Les invites d'entreprise mettent fortement l'accent sur le format de sortie. Pour les applications commerciales, la stabilité et la cohérence du format de sortie sont souvent plus importantes que la variété, car elles affectent l'efficacité de la présentation de l'interface utilisateur et le traitement ultérieur des données.
• Se concentrer sur les besoins des utilisateursLes invites de classe entreprise doivent être très réactives aux besoins spécifiques de l'utilisateur. Cela signifie qu'ils doivent être capables de traiter un grand nombre d'entrées différentes et de générer des résultats qui répondent aux besoins spécifiques de l'utilisateur.
• La pensée systémiqueLes indices au niveau de l'entreprise nécessitent souvent l'intégration de l'indice dans des systèmes plus vastes. Il faut notamment tenir compte des sources de données, de la latence et de la manière d'intégrer le modèle à d'autres logiciels et processus.
• Beaucoup de tests et d'itérationsLes conseils d'entreprise doivent être testés dans le cadre d'une variété d'entrées et de scénarios afin de garantir un niveau élevé de fiabilité et de stabilité dans les applications du monde réel. Il s'agit notamment de tester divers cas de figure, ainsi qu'une variété d'entrées possibles de la part des utilisateurs.
• Mettre l'accent sur la cohérenceDans les applications d'entreprise, même si la réponse est répétitive, elle est acceptable tant qu'elle répond aux attentes. Cela diffère des objectifs exploratoires dans un environnement de recherche.
• Se concentrer sur les applications à long termeLes conseils d'entreprise : Les conseils d'entreprise sont conçus pour construire un système qui peut être réutilisé de nombreuses fois. Par conséquent, les invites d'entreprise nécessitent plus de temps et d'efforts pour garantir un fonctionnement fiable.
• Éviter une trop grande abstractionLes messages guides : Les messages guides au niveau de l'entreprise doivent éviter les instructions trop abstraites et décrire clairement la tâche et le résultat requis.

Conseils pour le niveau de recherche

• L'accent est mis sur la diversité et l'explorationLes invites au niveau de la recherche : L'objectif des invites au niveau de la recherche est d'explorer les différentes capacités du modèle et de découvrir de nouvelles utilisations du modèle. Cela implique généralement de réduire les contraintes imposées au modèle et de l'encourager à explorer différents résultats et solutions.
• Privilégier peu ou pas d'exemplesAfin de ne pas limiter le champ d'exploration du modèle, les messages-guides au niveau de la recherche réduisent généralement le nombre d'exemples ou ne fournissent pas d'exemples spécifiques.
• Se concentrer sur les tâches cognitivesLes messages guides au niveau de la recherche se concentrent davantage sur les tâches cognitives, c'est-à-dire sur la manière dont le modèle comprend et résout des problèmes complexes.
• Utilisation d'exemples illustratifsLorsque les messages-guides de niveau recherche fournissent des exemples, ceux-ci ont tendance à être illustratifs plutôt que concrets. Cela signifie que les exemples peuvent différer des données avec lesquelles le modèle doit réellement travailler, et que l'objectif est d'aider le modèle à comprendre la nature de la tâche, plutôt que d'imiter directement les exemples.
• Essayer de nouvelles limitesLes questions de recherche ont pour but de repousser les limites des capacités du modèle et de découvrir ce qu'il fait bien et ce qu'il fait moins bien. Il s'agit notamment d'essayer de réaliser des tâches pour lesquelles le modèle n'est pas performant afin de mieux comprendre les limites du modèle.
• Accent mis sur des produits flexibles et diversifiésLes messages-guides de niveau recherche peuvent se concentrer davantage sur l'exploration des types de résultats que les modèles peuvent produire, même si ces résultats ne sont pas très cohérents. Les invites de niveau recherche se concentrent davantage sur la façon dont les modèles pensent, ainsi que sur la qualité et la profondeur de leurs résultats, plutôt que sur le fait que les résultats sont corrects.
• Plus exploratoireLe chercheur s'intéressera davantage à la façon dont le modèle réagit face à une situation nouvelle et à la façon dont il peut être utilisé pour orienter le modèle dans la direction de l'exploration. Le chercheur s'intéressera davantage à la façon dont le modèle réagit face à une nouvelle situation et à la manière dont l'indice peut être utilisé pour orienter le modèle dans la direction de l'exploration.

résumés: :

• Des objectifs différentsLes invites au niveau de l'entreprise visent à résoudre des problèmes concrets, en mettant l'accent sur la fiabilité et la cohérence, tandis que les invites au niveau de la recherche visent à explorer les capacités de modélisation, en mettant l'accent sur la variété et l'innovation.
• Différences de méthodologieLes invites au niveau de l'entreprise utilisent généralement un grand nombre d'exemples concrets pour contrôler les résultats du modèle, tandis que les invites au niveau de la recherche utilisent généralement peu ou pas d'exemples pour encourager le modèle à explorer de nouvelles possibilités.
• Différences d'orientationLes messages guides au niveau de l'entreprise se concentrent sur les besoins des utilisateurs et l'intégration des systèmes, tandis que les messages guides au niveau de la recherche se concentrent sur les processus cognitifs et les limites des modèles.
• Différents cycles de développement et d'essaiLes indices de niveau entreprise doivent généralement être exécutés dans des environnements de production pendant de longues périodes et nécessitent donc des tests et un contrôle de qualité plus rigoureux, tandis que les indices de niveau recherche peuvent être soumis à des cycles de test et d'itération plus courts, dans le but d'explorer les différents potentiels du modèle.
• Différentes approches de la modélisationLes messages-guides du niveau entreprise s'adaptent parfois au modèle pour s'assurer qu'il est compris correctement, alors que les messages-guides du niveau recherche ont tendance à "respecter" les capacités du modèle et à lui donner plus d'autonomie.

La différence fondamentale entre les messages-guides de niveau entreprise et les messages-guides de niveau recherche réside dans leur but et leur orientation.

Alors que les indices de niveau entreprise sont destinés à fournir aux utilisateurs des solutions fiables, les indices de niveau recherche sont destinés à améliorer notre compréhension des capacités du modèle.

Dans la pratique, ces deux indices peuvent nécessiter des approches et des techniques différentes.

6. conseils pour l'avenir de l'ingénierie

6.1 Les modèles comprendront mieux vos intentions, mais la clarté reste importante

• Une perspective de théorie de l'information : À l'avenir, le modèle comprendra mieux vos besoins, mais vous devez encore fournir suffisamment d'informations pour clarifier vos objectifs. Même si le modèle est capable de comprendre ce que vous dites en dehors de lIl est essentiel de formuler clairement vos attentes.
• L'importance d'objectifs clairs : Quelle que soit l'intelligence du modèle, laLa capacité à définir des objectifs reste au centre. Même si les modèles peuvent fixer des objectifs, si vous voulez les utiliser pour résoudre un problème, vous devez toujours spécifier explicitement ce que vous voulez qu'ils fassent.
• Communication permanente : Même si les modèles deviennent plus intelligents et mieux à même de comprendre vos intentions, vous devez toujoursCommuniquer avec les modèles, fournir un retour d'information et procéder à des ajustements..

6.2 Les modèles seront vos assistants de repérage

• Collaboration avec des modèles : À l'avenir, vous pourrez collaborer plus étroitement avec le modèle pour déterminer ce qui doit être écrit et ce qui manque. Les modèles vous aideront àDécouvrez ce à quoi vous n'auriez peut-être pas penséet fournirSuggestions pour améliorer les messages-guides.
• Génération d'indices assistée par un modèle : Vous pouvez utiliser le modèle pour générer des exemples, des brouillons et des métaprompts afin d'accélérer le processus d'élaboration de l'invite. Par exemple, vous pouvez utiliser le modèle pour générer des exemples que vous révisez ensuite, ce qui est beaucoup plus facile que d'écrire la réponse parfaite à partir de zéro.
• Interactions à large bande : À l'avenir, vous serez en mesure d'avoir des interactions à haut débit avec le modèle, par exemple en fournissant un retour d'information et en demandant des ajustements au modèle. Cette interaction sera similaire à la collaboration avec un concepteur, où vous fournissez des objectifs de haut niveau et où le modèle vous aide à les étoffer.

6.3 Les méta-informations gagneront en importance

• Utiliser les indices pour générer des indices : À l'avenir, vous passerez peut-être plus de temps à rechercher des indices permettant aux modèles de générer les résultats ou les requêtes souhaités. Vous utiliserez des méta-prompts pour amener les modèles à utiliser des techniques d'invite spécifiques ou pour générer des modèles d'invite pour d'autres modèles.
• Donner des modèles de matériel d'apprentissage : Au lieu d'écrire vos propres repères, vous pouvez donner aux modèles des articles ou des documents pertinents pour apprendre de nouvelles techniques de repérage. Les modèles peuvent lire les articles directement et appliquer les connaissances qu'ils contiennent à la génération d'indices.

6.4 L'ingénierie des repères se concentrera sur les limites du modèle

• Capacité d'explorer des modèles : Vous continuerez à explorer les limites des capacités du modèle et à remettre en question ce qu'il peut accomplir.
• La recherche de l'excellence dans les performances : Vous vous concentrerez sur l'obtention du plus haut niveau de performance de vos modèles et explorerez ce que les modèles peuvent à peine accomplir.

6.5 Le modèle peut, à son tour, suggérer que vous

• Le modèle comprend vos intentions : Lorsque les modèles en savent plus que vous sur le contexte de la tâche, ils peuvent vous inviter à clarifier vos besoins. Les modèles peuvent poser des questions pour vous aider à clarifier ce que vous essayez de réaliser et pour repérer des cas particuliers que vous auriez pu négliger.
• Du destinataire de l'instruction au conseiller expert : Le modèle passera du statut de simple destinataire d'instructions à celui de conseiller expert que vous pourrez consulter sur les détails de la tâche. C'est comme travailler avec un designer, il vous posera des questions pour mieux comprendre vos besoins.
• Interviews de modèles : Pour mieux comprendre vos besoins, le modèle peut se déplacer et interagir avec vous comme lors d'un entretien.

6.6 L'avenir exige une plus grande introspection

• Le modèle vous comprend : À l'avenir, le modèle devra comprendre vos idées, plutôt que vous essayiez de comprendre le modèle.
• Rendez vous visible pour le modèle : Vous devrez apprendre à exprimer clairement vos idées et vos besoins afin que le modèle puisse comprendre vos intentions.
• Définir le concept : Il faut parfois créer de nouveaux concepts et en définir la signification pour que le modèle comprenne vos intentions.

6.7 L'ingénierie des signaux pourrait devenir une pratique philosophique

• Exprimé clairement : À l'avenir, l'ingénierie des signaux pourrait nécessiterPenser et écrire comme un philosopheL'élève est capable d'exprimer des idées complexes en utilisant un langage clair et précis.
• Écrire pour le commun des mortels éduqués : Vous devez rédiger l'invite comme si vous écriviez pour un profane cultivé, de sorte que même une personne peu familiarisée avec le sujet puisse comprendre votre intention.
• Extériorisez votre cerveau : Une bonne ingénierie des repères exige que vous extériorisiez les idées qui se trouvent dans votre cerveau et que vous les rendiez compréhensibles pour le modèle.

6.8 Conseil Les compétences en ingénierie seront transférées à des tâches de niveau supérieur

• Des missions de bas niveau aux missions de haut niveau : Au fur et à mesure que le modèle progresse, vous n'aurez plus besoin de vous concentrer sur les invites pour les tâches de bas niveau, mais plutôt sur les tâches de plus haut niveau telles que la décomposition des tâches et le raisonnement complexe.
• Interaction guidée : Les interactions futures ressembleront probablement davantage à des dialogues guidés qu'à des modèles tapant du texte dans une console pour atteindre un résultat final.

Indices que l'avenir de l'ingénierie pourrait exigerRenforcement des compétences en matière de collaboration, d'introspection et d'expression. Vous devrez travailler avec des modèles pour explorer leurs capacités et définir vos besoins. En outre.Vous devez également continuer à apprendre et à vous adapter aux changements du modèle.plutôt que de rechercher une solution unique. Si l'avenir de l'ingénierie d'intervention est appelé à changer, la clarté de l'objectif et l'articulation resteront au cœur de cette démarche.

7. conseils pour les travaux d'incitation

L'accent est mis sur la manière dontAméliorer l'efficacité de la communication avec les modèles: :

7.1 Itération et expérimentation :

• Continuez à essayer : Le projet hint est unprocessus itératifqui nécessite une expérimentation, une révision et une optimisation constantes. Ne vous attendez pas à rédiger un message parfait du premier coup, mais préparez-vous à faire plusieurs tentatives.interagir dans les deux sens.
• Apprenez de vos erreurs : Lorsque le modèle est erroné, il faut l'analyser attentivementRaisons de l'erreuret améliorez vos messages en conséquence. Chaque interaction avec un modèle est une occasion d'apprentissage.
• Acceptez l'expérience : Soyez ouvert à l'idée d'essayer différentes méthodes pour déterminer celle qui fonctionne le mieux. Au cœur du projet cue se trouventExpérimentation et retour d'informationplutôt que de procéder étape par étape.

7.2 Communication claire et précise :

• Expliquer clairement la tâche : dépense ou fraisUn langage clair et concisDécrivez ce que vous voulez que le modèle accomplisse. Évitez les termes vagues ou ambigus.
• Fournir des informations suffisantes : N'ayez pas peur de donner au modèleFournir un contexte détaillé et des informations générales. Assurez-vous que le modèle comprend vos objectifs et les exigences spécifiques de la tâche.
• Respecter le modèle : Au lieu d'essayer de "cajoler" le modèle, il est important deModèle de respectde la compréhension. Décrivez votre tâche directement, plutôt que d'utiliser des métaphores ou des personnages fictifs.

7.3 Comprendre le fonctionnement des modèles :

• Lire les résultats du modèle : Lisez attentivement les résultats du modèle pour en comprendre l'utilité.état d'espritet les processus de raisonnement. Observez la façon dont le modèle traite les différentes entrées et adaptez vos messages-guides en conséquence.
• Explorer les limites du modèle : Essayez de faire accomplir au modèle des tâches que vous pensez qu'il n'est pas en mesure d'accomplir, pourComprendre l'étendue des capacités du modèle. Cela peut vous aider à mieux comprendre les limites du modèle.
• Essayez de jouer le modèle : Essayez de vous mettre à la place dePenser en termes de modélisationVous pouvez ainsi comprendre comment il perçoit vos instructions. Cela peut vous aider à mieux prévoir le comportement du modèle.

7.4Diverses méthodes de repérage :

• Exemple d'utilisation : En fournissantexemple typiquepour guider le modèle dans sa tâche. Toutefois, veillez à ne pas trop vous appuyer sur des exemples, car cela pourrait limiter la créativité du modèle.
• Utilisez les méta-informations : Utilisez les invites pourGénérer des conseils supplémentairesou de faire en sorte que le modèle génère des résultats qui répondent à des besoins spécifiques. Cela peut vous aider à explorer plus efficacement différentes stratégies de repérage.
• Penser en chaîne : faire un modèleUne explication étape par étape de son processus de raisonnement. Cela vous permet de mieux comprendre le processus de prise de décision du modèle et d'améliorer ses performances.
• Jeu de rôle : Bien que cela ne soit pas toujours nécessaire, il est parfois utile de laisser le modèleJouer un rôle spécifiqueCela peut aider à faire le travail. Cependant.Il est souvent plus efficace d'exprimer directement sa mission.

7.5 Conseils avancés :

• Définir le concept : Pour communiquer ses intentions, il faut parfoisDéfinir de nouveaux conceptset expliquer ce qu'ils signifient.
• Laissez le modèle vous interviewer : Demandez au modèle de vous interviewer à tour de rôle pourAide à se libérer l'espritqui extrait les informations que vous devez fournir au modèle.
• S'inspirer de la philosophie : Apprendre de l'écriture philosophique commentArticuler des idées complexesafin que le modèle puisse comprendre vos intentions.
• Informer le modèle : Au lieu de rédiger vos propres questions, vous pouvez simplement donner aux modèles les documents pertinents et les laisser apprendre par eux-mêmes.

7.6 Notes.

• Ne vous focalisez pas trop sur la grammaire : Bien que le souci du détail soit important, ne vous focalisez pas trop sur la grammaire ou la ponctuation. L'essentiel est là.Clarté conceptuelle.
• Ne sous-estimez pas le modèle : Ne pensez pas que les modèles sont stupides et qu'il faut les "amadouer" pour qu'ils travaillent. Vous devezmodèle de confianceet lui donner suffisamment d'informations pour qu'il puisse accomplir sa tâche.
• N'ayez pas peur de la complexité : Au fur et à mesure que les modèles deviennent plus performants, ils peuvent traiter des informations plus complexes. Au lieu d'essayer de cacher la complexité, il estmodèle de confianceà traiter.
• Apprentissage et adaptation continus : Au fur et à mesure que les capacités de modélisation augmentent, lesLes méthodes d'incitation efficaces peuvent également devenir obsolètes. Vous devez continuer à apprendre et à vous adapter aux changements du modèle.
• Retour d'information souhaité. Montrer vos astuces à d'autres personnes, en particulier celles qui ne connaissent pas votre tâche, peut vous aider à repérer des problèmes que vous n'auriez pas remarqués.
• Lire les conseils : Lisez les bons conseils écrits par d'autres et analysez leur fonctionnement.

7.7 Conseils pour l'avenir

• Les modèles seront des assistants. À l'avenir, les modèles vous aideront à rédiger les messages-guides. Vous devrez collaborer avec le modèle pour déterminer ce qui doit être écrit et ce qui manque.
• Capacité d'introspection accrue. Vous devrez faire preuve d'une plus grande introspection pour vous rendre visible au modèle.
• Il s'agit de vous comprendre : À l'avenir, l'objectif de la modélisation passera de la compréhension des instructions à la compréhension de vos intentions.
• Du destinataire de la directive au conseiller expert. Le modèle peut passer du statut de simple récepteur d'instructions à celui de conseiller expert. Vous devez apprendre à communiquer plus en profondeur avec les modèles et à obtenir un retour d'information de leur part.

En conclusion.L'ingénierie des conseils est une compétence qui nécessite de la pratique et un apprentissage continu. En comprenant le fonctionnement des modèles, en employant diverses méthodes de repérage et en explorant continuellement les limites du modèle, vous pouvez améliorer vos compétences en ingénierie de repérage et mieux utiliser le modèle pour toute une série de tâches. En fin de compte, un bon repère est un repère qui exprime votre intention de manière claire, concise et précise et qui permet au modèle d'exécuter efficacement la tâche que vous souhaitez lui confier.

8. discussion sur le Jailbreak

Qu'est-ce que le Jailbreak ?

• définirLes invites Jailbreak sont des invites qui tentent de contourner les restrictions de sécurité et les directives éthiques d'un Grand Modèle de Langage (LLM). Ces invites sont généralement destinées à permettre au modèle de générer un contenu qui est autrement interdit, tel qu'un contenu nuisible, contraire à l'éthique ou biaisé.
• objectifL'objectif du jailbreaking est généralement d'explorer les limites du modèle, d'en tester la sécurité et la robustesse, et de comprendre comment le modèle réagit à différentes entrées et formulations.
• les méthodologiesLe Jailbreaking peut être réalisé de différentes manières, notamment par l'utilisation d'un grand nombre de tokens, de textes longs, de formulations inhabituelles, de mélanges multilingues, de jeux de rôle et de modèles pour prédire le texte.

Comment fonctionne le Jailbreaking

• Dépassement de la répartition de la formationUne explication possible est que les indices de jailbreak placent le modèle en dehors de sa distribution de données d'apprentissage. Par exemple, au cours du processus de mise au point, le modèle peut ne pas avoir rencontré de texte aussi long ou complexe et peut donc se comporter de manière anormale lorsqu'il traite ces indices.
• Utilisation de mécanismes prédictifsLes Jailbreaks utilisent parfois la façon dont le modèle prédit le texte, par exemple en commençant l'invite par "Voici comment vous..." peut amener le modèle à générer des réponses plus détaillées et plus spécifiques.
• Utilisation des capacités de raisonnementLe Jailbreaking peut exploiter le pouvoir de raisonnement du modèle, par exemple en demandant au modèle de générer des réponses dans d'autres langues avant de les traduire dans la langue cible, ce qui permet de contourner certaines restrictions.
• Exploiter les différences de formationLe jailbreaking peut tirer parti des différences dans les données de formation entre les langues, par exemple, certains contenus peuvent être autorisés dans une langue mais interdits dans une autre.
• ingénierie socialeJailbreaking : Le jailbreaking peut parfois s'apparenter à de l'ingénierie sociale, ce qui implique non seulement d'exploiter les vulnérabilités d'un système, mais aussi de comprendre son fonctionnement et d'utiliser cette compréhension pour contourner les restrictions.
• Donner du sens aux modèlesLes méthodes d'évasion efficaces nécessitent non seulement d'essayer, mais aussi de comprendre comment le modèle fonctionne, comment il est formé, et d'utiliser ces connaissances pour contourner les mécanismes de sécurité du modèle.

Jailbreaks et formation au mannequinat

• Objectif de la formation au modèleL'un des objectifs de l'apprentissage du modèle est d'identifier et d'éliminer les schémas de jailbreak afin que le modèle puisse répondre de manière plus sûre à l'entrée de l'utilisateur.
• Processus de formation continueUne fois qu'une méthode efficace de "jailbreak" est découverte, le modèle est réentraîné pour éviter que la même vulnérabilité ne se reproduise à l'avenir. Cela signifie que les techniques d'évasion ont tendance à être de courte durée et qu'elles sont corrigées dès qu'elles sont découvertes.
• Sécurité et éthiqueLe jailbreaking est étroitement lié à la sécurité et à l'éthique du modèle. Le but ultime du jailbreaking étant que le modèle génère un contenu qui viole les directives de sécurité, les développeurs du modèle travaillent en permanence sur le modèle et les mécanismes de sécurité afin d'empêcher un tel comportement.

La signification de Prison Break

• Limite de l'essaiLe Jailbreaking nous aide à mieux comprendre les limites du modèle et à améliorer sa conception en testant les limites de ses capacités.
• Révéler les problèmes potentielsLe Jailbreaking peut révéler des problèmes potentiels dans la formation des modèles, tels que des données biaisées ou des vulnérabilités en matière de sécurité.
• Amélioration de la sécuritéEn examinant les méthodes de jailbreak, nous pouvons développer des mesures de sécurité plus efficaces qui rendront l'utilisation du modèle plus sûre dans les applications réelles.

résumés

Le jailbreaking est un domaine de recherche important dans l'ingénierie des indices qui nous aide non seulement à comprendre le fonctionnement des grands modèles de langage, mais aussi à améliorer la sécurité et la fiabilité de nos modèles. Le jailbreaking est centré sur l'exploration des limites du modèle, en essayant d'amener le modèle à générer un contenu qu'il n'était pas censé générer, et en apprenant et en s'améliorant au cours du processus. Le jailbreaking est également étroitement lié au processus de formation du modèle, car le modèle est constamment mis à jour et amélioré pour éliminer les vulnérabilités potentielles.

9. citations clés des orateurs

9.1 Sur la définition et la nature de l'ingénierie des signaux :

• Zack Witten. Je pense que le projet "prompt" estEssayer de faire faire des choses au modèle, essayer de maximiser le potentiel du modèleIl insiste sur l'importance d'une communication claire et affirme que le dialogue avec les mannequins est essentiel. Il souligne l'importance d'une communication claire et affirme que le dialogue avec les modèlesC'est un peu comme avoir une conversation avec quelqu'un..
• Zack Witten. "La partie technique est le fruit d'une expérimentation itérative.." Il souligne que, contrairement à la conversation avec une personne, la conversation avec un modèle dispose d'un "bouton de réinitialisation" qui permet de repartir de zéro et d'essayer différentes approches de manière indépendante, ce qui rend possible l'expérimentation et la conception.
• David Hershey. "Je pense que l'indice est un peu comme vous...Approche par modèle de programmation." Il a fait remarquer que la mise en place d'un système utilisant des modèles linguistiques nécessite non seulement de rédiger des messages-guides, mais aussi de prendre en compte des questions telles que les sources de données, le temps de latence et l'intégration du système.
• Zack Witten. "Les articles que nous écrivons actuellement sont exactement comme le code." Il affirme que les textes écrits, tels qu'un bon essai, peuvent désormais être traités comme un code.

9.2 Sur les caractéristiques d'un bon ingénieur en baguettes :

• Amanda Askell. "Je pense qu'il s'agit d'un mélange de communication claire, c'est-à-dire d'être capable d'articuler clairement les choses, de comprendre clairement les tâches, et d'avoir une bonne compréhension de l'environnement.Bien penser et décrire les concepts." Elle a soulignéCapacités itérativesainsi queRéfléchissez aux façons dont les indices peuvent mal tourner.
• Amanda Askell. "La différence entre un bon ingénieur de repères et un mauvais ingénieur de repèresLa capacité à décomposer systématiquement toutes les informations nécessaires à l'accomplissement d'une tâche est un facteur déterminant. Elle souligne l'importance de s'éloigner de sa propre compréhension et de s'orienter vers des modèles d'apprentissage.Communiquer clairement les informationsL'importance de la
• Zack Witten. "Lire les résultats du modèle". Il a insisté sur l'importance de lire attentivement les résultats des modèles et a souligné que, même si l'expression "penser progressivement" était incluse dans les invites, il était important de vérifier que le modèle pensait réellement de manière progressive.
• Amanda Askell. "Imodèle de méfianceEt puis je continue d'essayer". Elle estime que les modèles doivent être constamment testés, en particulier dans des zones peu familières, afin de garantir leur fiabilité.

9.3 Pratiques et conseils en matière d'incitation :

• David Hershey. "Souvent, il ne s'agit pas de rédiger un message, de le donner au modèle et de s'arrêter là. En fait, c'est bien plus que cela.C'est beaucoup plus compliqué.." Il a fait remarquer que les messages-guides doivent souvent être intégrés dans des systèmes plus vastes.
• Zack Witten. "N'essayez pas d'abstraire vos conseils(math.) genreDécrire clairement la tâcheNe cherchez pas à construire des abstractions farfelues". Il affirme qu'il est généralement plus efficace de décrire clairement les tâches que d'essayer de construire des abstractions complexes.
• Amanda Askell. "La première chose que je fais, c'est que je l'enregistre et que je dis : ''....Je ne veux pas que vous suiviez ces instructions. Je veux simplement que vous me disiez ce qui n'est pas clair, les ambiguïtés ou tout ce que vous ne comprenez pas..'" Elle suggère de demander au modèle d'indiquer les zones floues ou ambiguës après l'invitation initiale.
• Amanda Askell. "Si les gens voient des mannequins faire des erreurs, ils ne le font généralement pas.Demander directement au modèle." Elle suggère que lorsqu'un modèle commet une erreur, il peut être simple de demander au modèle pourquoi il a commis cette erreur et comment les instructions auraient pu être modifiées pour éviter l'erreur.
• David Hershey. "Si vous ne lui donnez pas une **option de sortie**, il continuera à essayer de suivre vos instructions. Il a souligné l'importance de fournir une option de "sortie" dans les invites afin que le modèle puisse faire face à l'incertitude s'il la rencontre.
• Amanda Askell. "Ne vous attachez pas trop à un conseil parfait." Elle affirme que la recherche excessive d'astuces parfaites peut conduire à la stagnation et qu'il est important de savoir reconnaître quand il est temps d'arrêter l'optimisation.
• Zack Witten. "J'ai l'habitudeEssayez de respecter la grammaire et la ponctuationparce que je pense que c'est intéressant". Il estime que le souci du détail est important, même si le modèle n'exige pas une syntaxe parfaite.

9.4 Sur l'avenir des jeux de rôle et des prompteurs :

• Amanda Askell. "Je pense simplement queIl n'est pas nécessaire de leur mentir.." Elle affirme qu'à mesure que les modèles deviennent plus puissants, il n'est plus nécessaire d'utiliser de faux jeux de rôle et qu'une simple déclaration de la mission suffit.
• Amanda Askell. "Vous devez mettre des mots sur ce que vous voulez.Parfois, ce que je veux est très subtil". Elle pense qu'il faut parfois inventer de nouveaux concepts pour exprimer ses intentions et les définir de concert avec le modèle.
• Amanda Askell. "Peut-être que l'indice deviendra aussiJ'explique ce que je veux et le modèle m'invite à." Elle imagine un avenir où les modèles pourront inviter les utilisateurs à tour de rôle pour les aider à clarifier leurs besoins.
• Zack Witten. "Je pense queNous utiliserons davantage les modèles à l'avenir pour nous aider dans notre travail d'incitation.." Il pense qu'à l'avenir, il sera possible d'utiliser des modèles pour aider à générer des indices et interagir avec eux à haut débit.

9.5 L'évolution de l'ingénierie des signaux :

• Amanda Askell. "Au fil du temps, je suisDe plus en plus enclins à lui faire confiancequi lui donne plus d'informations et de contexte". Elle affirme qu'à mesure que les modèles progressent, on peut désormais leur faire confiance pour traiter davantage d'informations et de contextes.

9.6 Résumé clé :

• La communication claire et l'itération sont au cœur de l'ingénierie des signaux..
• Un bon ingénieur de repères doitComprendre le fonctionnement du modèlefusionnerExplorer en permanence les limites du modèle.
• À l'avenir, les modèles seront des assistants aux invites, et pourront même inviter l'utilisateur à leur tour.
• Les compétences en matière d'ingénierie qui découleront de l'initiative de l'Union européenne en faveur de l'éducation et de la formation tout au long de la vie.Transfert de tâches de bas niveau vers des tâches de niveau supérieurcomme la décomposition des tâches et le raisonnement complexe.
• Compétences introspectives et définitions conceptuellesdeviendra encore plus importante.

Explication des termes clés

• Ingénierie rapide :Méthode d'optimisation des entrées textuelles (messages-guides) pour obtenir le résultat souhaité d'un modèle linguistique.
• L'itération :Dans l'ingénierie des repères, il s'agit du processus d'adaptation et d'amélioration continues des repères, à chaque fois sur la base du retour d'information du modèle.
• Chaîne de pensée :Une technique d'indication qui demande au modèle d'expliquer son processus de raisonnement étape par étape avant de donner une réponse finale.
• Zero-Shot :Se réfère à la capacité d'un modèle à répondre directement aux questions sans fournir d'exemples.
• Peu de coups :Un petit nombre d'exemples sont fournis dans les messages-guides pour guider les sorties du modèle et les rendre plus efficaces.
• Génération améliorée par récupération (RAG) :Une méthodologie qui permet au modèle d'accéder à une base de connaissances externe afin d'obtenir des informations pertinentes lors de la génération de réponses.
• Modèle de sortie :Fait référence aux réponses textuelles générées par le modèle linguistique en réponse à une invite.
• La théorie de l'esprit :Dans le contexte de l'ingénierie des signaux, il s'agit de la capacité à comprendre comment un modèle linguistique comprend et traite les instructions.
• RLHF (Apprentissage par renforcement à partir du feedback humain): technique de formation qui utilise le retour d'information humain pour optimiser le comportement et le résultat d'un modèle linguistique.
• Modèle pré-entraîné :Modèles linguistiques formés sur de grandes quantités de données textuelles, puis affinés pour des tâches spécifiques.
• Promesse d'entreprise :Conseils conçus pour des scénarios d'applications d'entreprise mettant l'accent sur la fiabilité et la cohérence.
• Question de recherche :Invitations conçues à des fins de recherche pour explorer les capacités de modélisation et obtenir des résultats diversifiés.
• Jailbreaking :Tentative de faire en sorte que le modèle génère des indices de contenu nuisible ou inapproprié en contournant les mesures de sécurité.
• L'équipe rouge :Simuler des attaques pour tester la sécurité et la robustesse des modèles et des systèmes.
• Eval :Un test ou un ensemble de données utilisé pour mesurer la performance d'un modèle de langage sur une tâche spécifique.

Traduction intégrale du podcast en chinois

Traduction en chinois

Introduction (00:00-00:27)

Alex (hôte) : Bonjour à tous, je m'appelle Alex et cette table ronde portera principalement sur l'ingénierie des messages-guides. Nous explorerons les messages-guides sous différents angles - recherche, consommateur et entreprise - en partageant nos points de vue et en discutant en profondeur de la nature de l'ingénierie des messages-guides.

Présentation des membres de l'équipe (00:28-02:00)

- Alex : Responsable des relations avec les développeurs chez Anthropic, anciennement Anthropic Tips Engineer, responsable de l'architecture des solutions et de la recherche.

- David Hershey : Il est principalement chargé de travailler avec les clients pour les aider à affiner leurs modèles et à résoudre les problèmes courants liés à l'adoption de modèles linguistiques, tels que l'ingénierie d'aide et la mise en place de systèmes basés sur des modèles linguistiques.

- Amanda Askell : L'un des responsables de l'équipe de réglage fin d'Anthropic, qui se consacre à la mise en œuvre de la politique de l'environnement de l'Union européenne. Claude Plus honnête et plus amical.

- Zack Witten : Ingénieur en stimulation anthropique qui a travaillé avec des clients et travaille actuellement à l'amélioration de l'ingénierie de stimulation au sein de la communauté, notamment par le développement de générateurs de stimulation et de divers matériels éducatifs.

Qu'est-ce qu'un cue project ? (02:01-06:29)

Alex : Qu'est-ce que le projet Cue ? Pourquoi parle-t-on de "projet" ? Qu'est-ce qu'un "indice" ?

Zack : Cue engineering a pour but de guider le modèle dans ses tâches, d'utiliser tout son potentiel et d'accomplir des travaux qui seraient autrement impossibles à réaliser en collaboration avec le modèle. Au cœur de cette démarche se trouve une communication claire. Parler à un modèle est à bien des égards similaire à parler à une personne et nécessite de comprendre la "psychologie" du modèle.

Alex : Pourquoi le nom contient-il le mot "engineering" ?

Zack : L'"ingénierie" réside dans le processus d'essais et d'erreurs. Contrairement aux personnes, les modèles peuvent "recommencer", ce qui signifie que vous pouvez essayer différentes approches à partir de zéro et éviter qu'elles n'interfèrent les unes avec les autres. Cette capacité d'expérimentation et de conception confère à l'ingénierie des indices ses propriétés "d'ingénierie".

Alex : L'ingénierie des repères consiste donc à écrire des repères, à interagir avec le modèle, à le modifier de manière itérative et à être capable de revenir à chaque fois à l'état initial, ce qui est en soi de l'"ingénierie".

Zack : Un autre aspect est l'intégration des messages-guides dans le système global.

David : Les indices peuvent être considérés comme une façon d'écrire des modèles, mais surtout comme de la clarté. Considérer cela comme de la programmation nécessite de prendre en compte les sources de données, les données accessibles, les compromis en matière de latence et la quantité de données fournies. La construction de modèles nécessite une réflexion systématique, et c'est ce qui distingue l'ingénierie des indices des ingénieurs logiciels ou des gestionnaires de produits ; elle est autonome.

Alex : Les indices sont-ils des codes en langage naturel ? S'agit-il d'un niveau d'abstraction supérieur ou d'un concept distinct ?

David : Le fait de trop abstraire les indices peut compliquer le problème ; en général, seule une description claire de la tâche est nécessaire. Cependant, les indices compilent les instructions en résultats, de sorte que des concepts importants de la programmation tels que la précision, le contrôle de la version et le suivi des expériences s'appliquent également aux indices.

Zack : Il est donc logique que nous traitions les articles bien rédigés comme s'il s'agissait d'un code.

Quelles sont les qualités d'un bon ingénieur en communication ? (06:30-12:43)

Alex : Qu'est-ce qui fait un bon ingénieur cueing ? Amanda, que recherchez-vous lorsque vous engagez un ingénieur cueing ?

Amanda : Les bons ingénieurs de repérage doivent être capables de communiquer clairement, d'itérer et d'anticiper les situations dans lesquelles les repères risquent de ne pas fonctionner. Communiquer clairement signifie être capable d'articuler, de comprendre les tâches et de décrire les concepts avec précision. D'excellentes compétences rédactionnelles ne sont pas entièrement corrélées à d'excellentes compétences en matière d'ingénierie des signaux. L'ingénierie des signaux ne se fait pas du jour au lendemain et nécessite une itération constante pour analyser le modèle afin de déceler les zones d'incompréhension et d'y apporter des corrections. Les bons ingénieurs de repères réfléchissent aux situations spécifiques dans lesquelles un modèle peut être erroné, comme un ensemble de données dont le nom ne commence pas par "G" ou une chaîne d'entrée vide, et ajoutent des explications pour ces situations.

David : Les ingénieurs envisagent souvent des situations idéales dans lesquelles un utilisateur pourrait taper, mais la réalité peut être que l'utilisateur n'utilise pas de majuscules, fait des fautes d'orthographe ou saisit des mots sans signification. La capacité à anticiper le comportement réel de l'utilisateur est une autre aptitude importante des ingénieurs chargés des repères.

Zack : La lecture des résultats du modèle est essentielle. À l'instar de "l'examen des données" dans l'apprentissage automatique, l'ingénierie des indices nécessite une lecture attentive des résultats du modèle. Par exemple, même si un indice demande au modèle de "penser étape par étape", il faut vérifier que le modèle le fait réellement, car il peut comprendre les instructions d'une manière plus abstraite ou généralisée.

Amanda : La rédaction d'un énoncé de mission est très difficile et exige de communiquer clairement des informations que Claude ne connaît pas. De nombreuses personnes écrivent d'emblée les informations qu'elles connaissent, mais sans trier systématiquement l'ensemble des informations nécessaires à la compréhension de la tâche.

David : De nombreuses personnes rédigent des messages-guides basés sur leur compréhension a priori de la tâche, ce qui les rend incompréhensibles pour les autres. Les bons ingénieurs de repérage sont capables de sortir de leur propre cadre de connaissances et de communiquer la tâche dans son intégralité au modèle.

Alex : Souvent, sur la base de messages écrits par d'autres, je suis incapable d'accomplir la tâche alors que le modèle est censé faire mieux que moi.

David : Les modèles actuels ne sont pas encore en mesure de poser des questions ciblées de la même manière que les humains, de sorte que les ingénieurs chargés des messages-guides doivent réfléchir eux-mêmes aux questions que l'autre personne pourrait poser et répondre à ces questions dans le message-guide.

Amanda : Je demanderais au modèle de signaler toute partie peu claire ou ambiguë de l'invite et lui demanderais d'expliquer ce qui n'a pas fonctionné et de suggérer des changements.

Comment puis-je savoir si un modèle peut détecter ses propres erreurs ? (12:43-14:12)

Alex : Un modèle peut-il vraiment découvrir ses propres erreurs en se demandant "pourquoi il a fait une erreur" ? Les explications qu'il fournit sont-elles réelles ou sont-elles des "illusions" sur ses propres capacités ?

Amanda : Si l'on explique au modèle ce qu'il fait mal, il peut parfois reconnaître le problème. Mais cela dépend de la tâche spécifique et le taux de réussite est incertain, mais j'essaie toujours.

Zack : L'interaction avec le modèle peut vous aider à comprendre la situation, et vous passerez à côté de ces informations si vous n'essayez pas.

Comment savoir si un message est crédible ? (14:13-17:52)

Alex : Vous interagissez beaucoup avec Claude sur le canal Slack et l'utilisez dans divers scénarios de recherche. Comment avez-vous construit la confiance dans le modèle ?

Amanda : Je ne fais pas entièrement confiance au modèle, mais je l'"affine" constamment. Je me demande si je peux vous faire confiance pour cela. Je me dirais : "Puis-je vous faire confiance pour cela ? Les modèles sont parfois peu fiables pour des tâches apparemment simples, souvent dans des domaines qui se situent en dehors de la distribution des données d'apprentissage du modèle. Ce phénomène diminue au fur et à mesure que les modèles deviennent plus performants. Je ne fais pas confiance aux modèles par défaut, mais je pense qu'en matière d'apprentissage automatique, il est généralement souhaitable d'examiner un grand nombre de données pour éliminer le bruit. Et dans l'ingénierie des indices, un petit nombre d'indices construits avec soin est plus précieux qu'un grand nombre d'indices construits de manière aléatoire. Si je regarde les résultats de 100 modèles et que les résultats sont cohérents, et que je sais que les résultats couvrent un large éventail de cas limites et d'entrées anormales, alors je ferai davantage confiance au modèle.

David : Dans le domaine de l'apprentissage automatique, les signaux sont généralement des chiffres, tels que la précision de la prédiction. Le résultat d'un modèle est généralement une grande quantité de texte, à partir duquel nous pouvons apprendre comment le modèle raisonne. Il ne s'agit pas seulement de savoir si le modèle a effectué la tâche correctement, mais aussi de savoir comment il est parvenu au résultat et par quelles étapes il est passé.

Amanda : Des conseils bien rédigés peuvent faire passer le succès d'une expérience de 1% ou même 0,1% à 1% ou même 0,1%. Si vos expériences doivent se situer dans les 1% supérieurs des classements de performance des modèles pour être couronnées de succès, il est essentiel que vous passiez du temps sur les conseils.

David : Dans le cadre du déploiement d'un produit, une bonne astuce peut rendre utilisable un produit qui ne l'aurait pas été autrement.

Amanda : Mais il y a aussi le piège des "meilleures astuces sont toujours à venir".

Comment puis-je savoir si une tâche peut être résolue avec une invite ? (17:53-21:12)

Alex : Comment puis-je savoir si une tâche est susceptible d'être résolue par une invite ?

Amanda : Je vérifie généralement que le modèle "comprend" la tâche. S'il est évident que le modèle n'est pas en mesure d'accomplir une tâche, je n'y consacre pas beaucoup de temps.

David : Vous pouvez guider le modèle pour qu'il énonce son processus de pensée et, à partir de là, déterminer s'il a compris la tâche correctement. J'abandonne généralement si le processus de réflexion du modèle est complètement différent à chaque fois et s'éloigne de la bonne direction.

Amanda : C'est rare.

David : J'ai récemment essayé de faire jouer Claude à Pokemon, et c'est la première fois que cela m'arrive. J'ai passé un week-end à écrire des astuces pour essayer de faire comprendre à Claude l'écran de la Game Boy, et même si j'ai fait quelques progrès, ce n'était pas suffisant. J'ai donc décidé d'abandonner pour l'instant et d'attendre le prochain modèle.

Conseils sur les images (21:13-24:27)

Zack : L'une des choses que j'ai appréciées dans les indices que vous avez utilisés dans le jeu Pokemon, c'est que vous avez expliqué au modèle qu'il se trouvait dans un jeu Pokemon et comment les éléments du jeu étaient représentés.

David : J'ai fini par superposer une grille à l'image et par décrire chaque section de la grille, puis je l'ai reconstruite sous la forme d'un dessin ASCII avec autant de détails que possible. Ce projet présente de nombreuses similitudes avec le projet cue, mais je n'avais jamais fait cela avec une image auparavant. J'ai constaté que nombre de mes intuitions concernant le texte ne s'appliquaient pas aux images. Par exemple, les indices à échantillons multiples ne fonctionnent pas aussi bien sur les images que sur les textes.

Alex : Nous avons précédemment constaté qu'il était difficile d'améliorer la perception de Claude sur des images lors de l'exploration d'indices multimodaux.

David : J'ai finalement réussi à faire en sorte que Claude reconnaisse les murs et les personnages la plupart du temps, mais il ne pouvait pas reconnaître les PNJ, ce qui est crucial pour bien jouer au jeu.

Discussion sur les jeux de rôle (24:28-32:26)

Alex : La technique de repérage consistant à dire au modèle qu'il joue un certain rôle ou qu'il a une certaine identité est-elle efficace ?

Amanda : À mesure que les modèles deviennent plus performants et mieux compris, je ne vois pas la nécessité de mentir à leur sujet. Je n'aime pas les mensonges et je ne pense pas que construire des ensembles de données d'évaluation pour les systèmes d'apprentissage automatique soit la même chose que construire des quiz pour les enfants. Les modèles savent ce qu'est l'évaluation d'un modèle de langage, je les invite donc directement à effectuer la tâche proprement dite. Je dirais au modèle "Je veux que tu construises des questions qui sont très similaires aux évaluations des modèles de langage", plutôt que de faire semblant d'accomplir une tâche sans rapport.

Zack : J'ai constaté que l'utilisation de métaphores peut aider le modèle à comprendre la tâche. Par exemple, lorsque je juge la qualité d'un tableau, je demande au modèle : "S'il s'agissait d'un devoir de lycée, quelle note donneriez-vous à ce tableau ?" . Cela ne signifie pas que vous êtes un professeur de lycée, mais plutôt que vous fournissez une analogie qui permet au modèle de comprendre la manière dont je souhaite que l'analyse fonctionne.

David : Les gens utilisent souvent le jeu de rôle comme un raccourci pour accomplir des tâches similaires, mais ils ne réalisent pas à quel point les détails du produit sont perdus. Plus les modèles deviennent performants, plus il est important de décrire avec précision le contexte spécifique dans lequel ils seront utilisés. Par exemple, au lieu de dire "Vous êtes un assistant utile", dites au modèle "Vous êtes dans ce produit, vous représentez cette société et vous êtes la fenêtre de chat d'assistance pour ce produit". Mon conseil est de décrire le contexte spécifique dans lequel le modèle sera utilisé avec autant de détails que possible, car les gens se détournent souvent de la tâche réelle en jouant un rôle.

Amanda : Personnellement, je n'ai jamais utilisé le jeu de rôle comme technique d'incitation, même sur des modèles moins compétents.

David : Cela peut être lié aux différences entre le modèle pré-entraîné et le modèle RLHF.

Amanda : J'imaginerais la tâche comme un exercice à réaliser, et je lui dirais "Nous voulons que tu détectes de bons graphiques, et de bons graphiques signifient ......", mais je ne lui dirais pas "Tu es un lycéen ! Tu es un lycéen".

Suggestions pour une présentation concise (32:27-36:45)

David : Lorsque les clients disent que leurs messages-guides ne fonctionnent pas, je leur demande de décrire la tâche, puis je leur demande d'enregistrer ce qu'ils viennent de dire et de le transcrire en texte, qui est généralement meilleur que les messages-guides qu'ils ont écrits.

Zack : Quelqu'un nous a demandé de l'aider à optimiser les conseils, alors j'ai simplement copié ce qu'ils ont décrit et les conseils ont fonctionné.

David : Les gens n'ont pas bien compris ce que signifient réellement les messages-guides. De nombreuses personnes utilisent les zones de texte comme des champs de recherche Google pour saisir des mots-clés. Dans les applications d'entreprise, les gens essaient de prendre des raccourcis dans les invites, pensant qu'une ligne de texte particulière est importante. Les gens font beaucoup d'efforts pour trouver la phrase parfaite et pertinente, mais c'est difficile à faire.

Amanda : Les gens oublient souvent de laisser de la place au modèle dans leurs messages-guides. Par exemple, le modèle fera de son mieux pour suivre vos instructions lorsqu'il rencontrera un cas limite, mais si vous ne lui dites pas quoi faire, il risque de donner une mauvaise réponse. Vous pouvez dire au modèle "Si quelque chose d'étrange se produit et que vous n'êtes pas sûr de ce qu'il faut faire, indiquez "pas sûr" dans l'étiquette". Cela vous aidera à repérer les situations que le modèle ne gère pas bien et à améliorer la qualité des données.

Amanda : Je montrerais les messages-guides aux autres comme si je faisais l'évaluation moi-même.

David : Karpathy réalise également ses propres ensembles de tests ImageNet.

Comment obtenir des informations valables à partir des réponses du modèle (36:46-40:46)

Alex : Comment obtenir des informations valables à partir des réponses d'un modèle ? Il ne s'agit pas seulement d'un chiffre, vous pouvez en tirer des informations sur le processus de pensée du modèle. Cela s'applique-t-il aux chaînes de pensée ?

David : Je pense que l'analogie de la personnification, avec son accent excessif sur le "raisonnement", est nuisible. Ce qui importe, c'est que les chaînes de pensée fonctionnent et peuvent améliorer les performances des modèles. Un raisonnement structuré peut encore renforcer l'effet.

Amanda : Si vous supprimez le processus de raisonnement par lequel le modèle arrive à la bonne réponse et que vous le remplacez par un raisonnement qui semble raisonnable mais qui conduit à la mauvaise réponse, voyez si le modèle arrive à la mauvaise conclusion.

Zack : Demander au modèle d'écrire une histoire avant de réaliser la tâche ne fonctionne pas aussi bien qu'une chaîne de pensée.

Alex : Cela suggère que le processus de raisonnement a un impact sur le résultat.

Amanda : J'ai vu des cas où les étapes du raisonnement ne concordaient pas mais aboutissaient à la bonne réponse.

Sur la nécessité de respecter la grammaire et la ponctuation dans les messages-guides (40:47-45:19)

Alex : Le message exige-t-il une attention particulière à la grammaire et à la ponctuation ?

Zack : Je fais attention à ces détails parce que c'est amusant, mais ce n'est pas nécessaire. Ce qui est important, c'est d'avoir ce souci du détail.

Amanda : Je fais souvent des fautes d'orthographe dans mes messages, mais je me préoccupe davantage de l'expression claire des concepts.

David : Ceci est lié au modèle de pré-entraînement et au modèle RLHF. La probabilité conditionnelle d'erreurs d'orthographe est plus élevée dans le modèle pré-entraîné. L'application de l'intuition du modèle pré-entraîné au modèle dans l'environnement de production ne fonctionne pas toujours.

Alex : Le dialogue avec les modèles peut être considéré comme une forme de mimétisme dans une certaine mesure.

David : Le modèle adapte son comportement en fonction de vos données.

La différence entre les conseils commerciaux, les conseils de recherche et les discussions générales (45:20-50:53)

Alex : Quelle est la différence entre les conseils professionnels, les conseils de recherche et les discussions générales ?

Zack : Les messages-guides fondés sur la recherche sont davantage axés sur la variété et l'exploration des possibilités du modèle, et comportent donc moins d'exemples, voire aucun, afin d'éviter une dépendance excessive à l'égard des exemples du modèle. En revanche, les messages-guides destinés aux entreprises sont davantage axés sur la fiabilité et la cohérence du format, et utilisent donc un grand nombre d'exemples.

Amanda : Les exemples que j'utilise sont généralement différents des données avec lesquelles le modèle travaillera et visent à illustrer les concepts plutôt qu'à les faire mémoriser par le modèle. Pour les tâches cognitives, je veux que le modèle comprenne réellement la bonne réponse dans chaque échantillon.

David : Sur Claude.ai, je n'ai besoin d'amener le modèle à accomplir la tâche correctement qu'une seule fois. Mais dans une application d'entreprise, les invites doivent pouvoir répondre à une variété de situations et de données d'entrée.

Suggestions pour améliorer les compétences en matière d'ingénierie des signaux (50:54-53:57)

Alex : Suggestions pour améliorer les compétences en ingénierie des conseils ?

Zack : Lisez d'excellents conseils et les résultats des modèles, analysez leurs principes et expérimentez-les, discutez plus souvent avec les modèles.

Amanda : Montrez vos astuces aux autres, en particulier à ceux qui ne connaissent pas votre travail. Continuez à vous entraîner et considérez vos conseils du point de vue d'un "débutant".

David : Essayez de faire faire au modèle quelque chose que vous ne pensez pas qu'il puisse faire.

A propos du jailbreak (53:58-56:54)

Alex : Que se passe-t-il à l'intérieur du modèle lorsque des personnes écrivent des astuces de jailbreak ?

Amanda : L'une des possibilités est que l'indice de jailbreak éloigne le modèle de la distribution des données d'apprentissage.

Zack : Le jailbreaking ressemble parfois à une combinaison de piratage et d'ingénierie sociale.

Évolution de la technique des baguettes (56:55-64:33)

Alex : Comment le projet prompt a-t-il évolué au cours des trois dernières années ?

Zack : Nous intégrerons des techniques efficaces d'ingénierie des repères dans la formation au modèle, de sorte que les meilleures techniques sont généralement de courte durée.

David : J'ai progressivement appris à respecter la capacité des modèles à leur donner plus d'informations et de contexte.

Amanda : Je donnerais le papier directement au modèle et je le laisserais apprendre la technique de repérage par lui-même.

David : Les gens sous-estiment souvent le pouvoir de la modélisation et tentent de réduire le problème au "niveau de Claude".

Amanda : J'essaierai d'entrer dans l'espace mental du modèle, ce qui influencera la façon dont j'écrirai les messages-guides.

Zack : Il m'est plus facile d'entrer dans l'espace mental d'un modèle pré-entraîné.

Amanda : La lecture de contenus sur Internet peut être plus utile à la compréhension du modèle que la lecture d'un livre.

Conseils pour l'avenir de l'ingénierie (64:34-fin)

Alex : Quel est l'avenir de l'ingénierie des baguettes ? Deviendrons-nous tous des ingénieurs en baguettes ?

David : Il est toujours nécessaire de préciser les objectifs du modèle et il est important de les exprimer clairement. Les outils et les méthodes continueront d'évoluer et les modèles peuvent nous aider à rédiger de meilleurs messages-guides.

Zack : Nous utiliserons davantage les modèles pour faciliter le lancement du projet, par exemple pour générer des exemples.

Amanda : Actuellement, j'écris principalement des méta-prompts qui permettent au modèle de générer les résultats que je souhaite. À l'avenir, le modèle pourrait agir comme un concepteur, en interagissant avec nous et en nous guidant pour exprimer ce que nous voulons vraiment.

David : Je demanderai à Claude de m'interviewer pour extraire les informations.

Amanda : Pour l'instant, nous devons communiquer au modèle les concepts que nous avons à l'esprit et, à l'avenir, le modèle pourra nous guider activement pour les exprimer. La formation philosophique m'aide à exprimer clairement des concepts complexes.

Alex : L'extraction d'informations auprès des utilisateurs deviendra encore plus importante.

Zack : L'ingénierie est comme l'enseignement, vous devez faire preuve d'empathie avec vos étudiants. À l'avenir, nous devrons être "introspectifs" et laisser les modèles nous comprendre.

Amanda : Je définis souvent de nouveaux concepts pour exprimer clairement mes idées.

Alex : Amanda le résume parfaitement : externaliser ses idées à un profane éduqué.

Résumé :

Cette table ronde est centrée sur l'ingénierie de repérage et couvre un large éventail d'aspects tels que sa définition, les qualités d'un bon ingénieur de repérage, la façon dont il interagit avec le modèle, les applications au niveau de l'entreprise, les applications de recherche et les orientations futures. Les points essentiels sont les suivants :

- La communication claire et la compréhension des capacités du modèle sont au cœur de l'ingénierie des repères.

- Les bons ingénieurs chargés des messages guides doivent être capables de s'exprimer clairement, d'itérer, d'anticiper les erreurs et de penser de manière systématique.

- Au fur et à mesure que les capacités du modèle augmentent, l'ingénierie des indices se concentrera davantage sur la manière d'extraire des informations de l'utilisateur, plutôt que d'envoyer des commandes au modèle dans une direction unique.

- L'avenir de l'ingénierie des signaux pourrait ressembler à l'interaction entre un concepteur et un client, le modèle jouant un rôle plus proactif en guidant l'utilisateur dans l'expression de ses besoins.

- La formation à la philosophie permet d'améliorer les compétences en matière d'ingénierie des signaux, car la philosophie met l'accent sur l'expression claire et précise de concepts complexes.