Quel est l'intérêt de cocher OpenRouter Transforms dans Roo Cline ?

Open Roo Cline Lorsque vous définissez le modèle de fournisseur de services sur OpenRouter, les paramètres suivants s'affichent :

Il vous expliquera ce que sont les transformations OpenRouter. Explication simple : lorsque vous rencontrez un contexte trop long, il vous aidera à supprimer la partie centrale avant de l'envoyer au modèle.

Explication détaillée ci-dessous OpenRouter et le rôle des transformées du milieu.

Contexte de la question : contexte du modèle limites de longueur

Tout d'abord, il faut comprendre un concept :Modèle Contexte Longueur limite.

• Les grands modèles linguistiques (LLM) ne disposent pas d'une mémoire illimitée des dialogues précédents lorsqu'ils traitent du texte.
• Chaque modèle a une longueur de contexte maximale (comprise comme une fenêtre de "mémoire") au-delà de laquelle le modèle ne peut pas se souvenir des entrées précédentes.
• Par exemple, un modèle peut avoir 8k jetons (soit environ 6 000 mots) en contexte. Si vous entrez plus de 8 000 mots, le modèle risque d'oublier la toute première partie du texte, ce qui se traduira par une réponse de moindre qualité.

La solution d'OpenRouter : les transformations

Pour résoudre ce problème, OpenRouter fournit un paramètre de transformation qui vous permet de prétraiter les messages envoyés au modèle pour l'objectif principal :

1. Traite les invites dont la longueur est hors contexte : Si vos invites (y compris l'historique du dialogue) sont trop longues pour la longueur du contexte du modèle, OpenRouter peut compresser ou tronquer les invites pour les adapter aux contraintes du modèle via le paramètre transforms.
2. Manipulation personnalisée des baguettes : transforms ne se limite pas aux restrictions de longueur, mais pourrait à l'avenir offrir davantage de fonctionnalités pour travailler avec des indices, par exemple :
   • Alertes de traduction automatique
   • Ajout d'instructions spécifiques

conversion du milieu vers l'extérieur

middle-out est la seule transformation actuellement disponible dans transforms :Compresser ou supprimer les messages au milieu de l'invite pour respecter la limite de longueur du contexte du modèle.

Plus précisément, il fonctionne de la manière suivante :

1. Détecte les longueurs excessives : middle-out vérifie si la longueur totale de votre invite (ou de votre liste de messages) dépasse la longueur du contexte du modèle.
2. Comprimer la partie centrale : S'il est dépassé, middle-out comprimera ou supprimera de préférence le message dans la partie centrale de l'invite. Ceci est basé sur l'observation que le LLM a tendance à prêter plus d'attention au début et à la fin et moins à la partie centrale lorsqu'il traite un texte. Par conséquent, le fait de sacrifier la partie centrale du message garantit généralement la qualité de la réponse du modèle.
3. Conserver la tête et la queue : Le middle-out s'efforcera de conserver autant que possible le début et la fin de l'invite, car cette partie contient généralement des informations importantes telles que
   • instruction primordiale
   • Les contributions récentes des utilisateurs
4. Réduire le nombre de messages : Outre la compression de la longueur, le middle-out réduit également le nombre de messages dans la liste des messages, car certains modèles (comme le AnthropiqueClaude) Le nombre de messages est également limité.

Comportement par défaut et désactivation du middle-out

• Activé par défaut : Si vous utilisez un terminal OpenRouter avec une longueur de contexte inférieure ou égale à 8k, la conversion middle-out est activée par défaut. Cela signifie que si votre message dépasse la longueur du contexte, OpenRouter le comprimera automatiquement pour vous.
• Désactivé de manière explicite : Si vous ne souhaitez pas qu'OpenRouter compresse automatiquement vos invites, vous pouvez définir transforms : [] dans le corps de la requête pour indiquer qu'aucune transformation n'est utilisée.

Quand utiliser le "middle-out" ?

• L'histoire du dialogue est trop longue : Lorsque vous avez plusieurs cycles de dialogue, avec une accumulation d'histoire qui peut dépasser la durée contextuelle du modèle, le middle-out peut vous aider à garder le dialogue cohérent.
• Longueur du contexte du modèle plus petit : Lorsque vous utilisez un modèle dont la longueur du contexte est réduite, la fonction de sortie au milieu vous permet de saisir un texte plus long sans que le modèle "oublie" la saisie précédente.
• Éviter la perte d'informations : Bien que le middle-out supprime certaines informations intermédiaires, il est conçu dans le but de maximiser la rétention des informations importantes et de minimiser l'impact de la perte d'informations.

Quand ne pas utiliser le "middle-out" ?

• Traitement personnalisé : Si vous souhaitez avoir un contrôle total sur la manière dont les invites sont gérées, ou utiliser un algorithme de compression personnalisé, vous pouvez choisir de ne pas utiliser la fonction "middle-out" et de gérer vous-même la longueur des invites.
• Un contexte complet est nécessaire : Dans certains cas, le contexte complet peut être nécessaire et la suppression de l'information au milieu poserait de sérieux problèmes, auquel cas il n'est pas approprié d'utiliser la fonction "middle-out".

résumés

L'objectif principal des transformations et des sorties intermédiaires est le suivant :

• Simplifier le traitement des invites de longueur hors contexteLa gestion manuelle et la troncature des messages-guides sont évitées, ce qui permet au modèle de prendre en charge des textes plus longs et des historiques de dialogue.
• Amélioration de l'expérience de l'utilisateurLes utilisateurs peuvent ainsi tirer plus facilement parti des capacités du modèle.
• Optimiser la qualité des réponses des modèlesLes informations importantes doivent être conservées dans un contexte limité afin de réduire l'oubli du modèle.