Exemples d'ingénierie de pointe couramment utilisés dans le tableau de référence rapide (version chinoise)

Le modèle SOTA Big Language étant capable de répondre à des questions de plus en plus complexes, le plus grand défi consiste à concevoir des messages-guides parfaits par le biais du modèle SOTA Big Language. mener (autour) Ces questions. Cet article est un aide-mémoire qui rassemble quelques principes destinés à vous aider à mieux répondre aux questions. Nous aborderons les points suivants :

AUTOMAT est un acronyme qui contient les éléments suivants :

Prenons un exemple de combinaison des techniques ci-dessus :

(A) Jeu de rôle : il s'agit de définir le rôle spécifique de l'assistant AI, avec autant de détails que possible !

(U) Profilage des utilisateurs : il s'agit de définir le public cible, ses antécédents et le niveau de connaissance attendu :

(T) Description de la tâche : utiliser des verbes explicites pour décrire la tâche à accomplir :

(O) Format de sortie : décrit la forme souhaitée de la sortie. Ce point est expliqué plus en détail dans la section suivante :

(M) Mode de réponse : utilisez des adjectifs pour décrire la manière, le ton et le style de réponse que l'IA doit adopter :

(A) Traitement des exceptions : décrit le traitement des situations inhabituelles. Cela ne s'applique généralement qu'aux modèles intégrés dans l'application :

(T) Restrictions concernant les sujets : liste des sujets autorisés pour la discussion :

Le cadre CO-STAR est très similaire au cadre AUTOMAT, mais avec un objectif légèrement différent ; CO-STAR représente les cinq domaines suivants :

Il n'est pas surprenant que de nombreux éléments du cadre CO-STAR correspondent directement à des éléments du cadre AUTOMAT :

Après avoir décrit la tâche, nous devons définir explicitement le format de sortie, c'est-à-dire la manière dont la réponse doit être structurée. Comme pour les humains, le fait de donner au modèle un exemple concret l'aide généralement à mieux comprendre nos exigences :

Enfin, veuillez clarifier les points suivants :

Cela permet au modèle de comprendre plus clairement les exigences de la tâche et donc d'être plus performant :

définirFormat de sortie :

Une autre façon de procéder consiste à utiliser des exemples devitrineFormat de sortie :

La structure de sortie peut être affinée en spécifiant les valeurs autorisées :

Enfin, n'oubliez pas d'expliquer comment traiter les informations qui ne peuvent être déterminées :

L'apprentissage sans échantillon définit une tâche pour le modèle et fournit deux types d'exemples :

En général, il suffit de fournir un exemple par cas d'utilisation pour faciliter la compréhension du modèle. Il convient d'éviter d'énumérer des exemples similaires :

Créez une section d'exemples distincte pour l'apprentissage par la méthode des moindres échantillons :

Un exemple est fourni pour chaque cas limite courant :

Donnez jusqu'à un ou deux exemples par cas d'utilisation :

Permettre au modèle de "penser et parler" comme un humain, c'est-à-dire lui permettre d'expliquer son raisonnement étape par étape, conduit généralement à de meilleurs résultats (pour plus d'informations à ce sujet, voir Cet article de l'équipe Google Brain) Voici comment cela fonctionne : vous donnez un exemple de question et répondez par une question similaire, puis vous posez la question que vous voulez vraiment poser. De cette manière, le modèle réfléchira et répondra pas à pas, en suivant l'exemple que vous avez donné.

Montrez au modèle comment raisonner à partir d'un exemple ou d'un petit nombre d'exemples :

L'utilisation d'expressions clés, telles que "penser étape par étape", guide le modèle à travers le processus de raisonnement en chaîne :

Le processus est décrit à l'aide d'un exemple :

Dans de nombreux cas, vos messages-guides suivront une structure spécifique, ne différant que par certains paramètres (par exemple, l'heure, le lieu, l'historique du dialogue, etc.) Nous pouvons donc généraliser le message-guide en tant que Modèles de conseilsremplacer ces paramètres par des variables :

L'invite finale générée pourrait ressembler à ceci :

Tout d'abord, nous devons définir un modèle d'invite qui contient une à plusieurs variables.

Ensuite, dans chaque dialogue, nous devons remplacer les variables du modèle par leurs valeurs réelles. En code Python, cela pourrait ressembler à ceci.

L'invite qui en résulte ressemble à ceci.

RAG (Retrieval Enhanced Generation) est sans doute l'une des avancées les plus importantes de ces deux dernières années dans le domaine de la modélisation linguistique à grande échelle (LLM). Elle permet aux LLM d'accéder à vos données ou documents exclusifs pour répondre à presque n'importe quelle question, en surmontant efficacement les limitations telles que les délais de connaissance dans les données pré-entraînées. En accédant à un plus large éventail de données, le modèle peut maintenir ses connaissances à jour et couvrir un plus grand nombre de domaines.

Comme les modèles ne relisent pas les messages-guides, il est important de s'assurer qu'ils les comprennent du premier coup. Structurer vos invites en utilisant des hachages, des guillemets et des sauts de ligne peut aider les modèles à comprendre plus facilement ce que vous essayez de dire.

Vous pouvez diviser les différentes sections en utilisant des titres :

Mettez les données en dehors de l'invite entre guillemets :

Les virgules inversées (simples, doubles et triples) peuvent également être utilisées pour la saisie des données par l'utilisateur :

En combinant tous les outils ci-dessus, voici un exemple presque parfait d'un conseil réel.

Commencez par construire les messages dans l'ordre suivant :

Notez que les séparateurs permettent également de structurer davantage les messages.

Pour les problèmes plus complexes, les indications individuelles sont souvent insuffisantes. Plutôt que de construire un indice unique contenant toutes les petites étapes, il est plus simple et plus efficace de diviser l'indice. En règle générale, vous commencez par classer les données d'entrée, puis vous sélectionnez une chaîne spécifique et vous utilisez des modèles et des fonctions déterministes pour traiter les données.

Diviser une demande en plusieurs demandes, par exemple classer d'abord les tâches par catégories.

Vous pouvez ensuite sélectionner les messages de suivi appropriés en fonction des résultats de la catégorisation et enfin évaluer les réponses.