Meta : une approche d'adaptation (application pratique) pour les grands modèles de langage

Cet article est le premier d'une série de trois articles de blog sur l'adaptation des grands modèles de langue (LLM) open source. Dans cet article, nous allons découvrir les différentes méthodes disponibles pour adapter les LLM aux données du domaine.

Grands modèles linguistiques (LLM) dans un large éventail de tâches linguistiques et de traitement du langage naturel (NLP) l'étalonnage des performancesLe nombre de cas d'utilisation de produits basés sur ces modèles "génériques" augmente. Le nombre de cas d'utilisation de produits basés sur ces modèles "génériques" augmente. Dans cet article de blog, nous fournirons des conseils aux petites équipes de produits d'IA qui cherchent à adapter et à intégrer les LLM dans leurs projets. Commençons par clarifier la terminologie (souvent confuse) autour des LLM, puis comparons brièvement les différentes approches d'adaptation disponibles, et enfin recommandons un organigramme étape par étape pour déterminer la bonne approche pour votre cas d'utilisation.

préformation

Le pré-entraînement consiste à utiliser des billions de données. jetons Le processus de formation du LLM à partir de zéro. Les modèles sont formés à l'aide d'algorithmes auto-supervisés. Le plus souvent, la formation prédit par autorégression le prochain jeton à effectuer (modélisation du langage causal). Le pré-entraînement prend généralement des milliers d'heures de GPU (105 - 107 [source1, source2) sont répartis sur plusieurs GPU. Le modèle de sortie pré-entraîné est appelé modèle de base.

Préformation continue

Le pré-entraînement continu (également connu sous le nom de pré-entraînement en deux étapes) implique un entraînement supplémentaire du modèle de base à l'aide de nouvelles données de domaine non vues. Le même algorithme auto-supervisé est utilisé que pour le pré-entraînement initial. Il implique généralement tous les poids du modèle et le mélange d'une partie des données d'origine avec les nouvelles données.

réglage fin

Le réglage fin est le processus d'adaptation d'un modèle linguistique pré-entraîné à l'aide d'un ensemble de données annotées de manière supervisée ou en utilisant des techniques basées sur l'apprentissage par renforcement. Il existe deux différences principales par rapport au pré-entraînement :

La compréhension de la grille de mise au point actuelle comporte deux dimensions : le pourcentage de paramètres modifiés et les nouvelles capacités ajoutées à la suite de la mise au point.

Pourcentage de paramètres modifiés

Il existe deux types d'algorithmes en fonction du nombre de paramètres modifiés :

Possibilité de compléter le modèle de base

L'objectif de la mise au point est d'ajouter des capacités aux modèles pré-entraînés - par exemple, l'adhésion aux instructions, l'alignement humain, etc. Le lama 2 pour l'ajustement du dialogue est un modèle affiné avec la capacité d'ajouter l'adhésion à l'instruction et l'alignement. exemple typique.

Génération améliorée par la recherche (RAG)

Les organisations peuvent également s'adapter aux LLM en ajoutant des bases de connaissances spécifiques à un domaine.RAG est essentiellement une "génération de texte LLM pilotée par la recherche".RAG, qui sera lancé en 2020, utilise des contextes de repérage dynamiques récupérés en fonction de la question d'un utilisateur et injectés avec des indices LLM pour le guider dans l'utilisation du contenu récupéré au lieu de connaissances pré-entraînées - et potentiellement dépassées. -connaissances.Chat LangChain est un exemple populaire de chatbot de questions-réponses sur les documents LangChain alimenté par RAG.

Apprentissage contextuel (ICL)

Avec l'ICL, nous avons adapté le LLM en plaçant des exemples de prototypes dans les messages-guides, et plusieurs études ont montré que la "démonstration par l'exemple" est efficace. Ces exemples peuvent contenir différents types d'informations :

Il existe toute une série d'autres stratégies pour modifier les messages-guides quiGuide de l'ingénieur-conseilUne vue d'ensemble est incluse.

Afin de décider laquelle des méthodes ci-dessus est appropriée pour une application particulière, vous devez tenir compte de plusieurs facteurs : les capacités du modèle requises pour la tâche poursuivie, le coût de formation, le coût d'inférence, le type d'ensemble de données, etc. L'organigramme ci-dessous résume nos recommandations pour vous aider à choisir la bonne méthode d'adaptation du Grand Modèle de Langage (LLM).

❌ Préformation

Le pré-entraînement est une partie importante de la formation LLM, utilisant des variantes de prédiction de jetons comme fonctions de perte. Sa nature auto-supervisée permet l'apprentissage sur de grandes quantités de données. Par exemple, Llama 2 a été entraîné sur 2 billions de jetons. Cela nécessite une infrastructure informatique massive : Llama 2 70B cost 1 720 320 heures GPU. Par conséquent, nous ne recommandons pas la préformation comme méthode viable pour l'adaptation du LLM pour les équipes disposant de ressources limitées.

Étant donné que le pré-entraînement est prohibitif sur le plan informatique, la mise à jour des poids d'un modèle déjà pré-entraîné peut être un moyen efficace d'adapter le LLM à une tâche spécifique. Toute approche de mise à jour des poids d'un modèle pré-entraîné est sujette au phénomène d'oubli catastrophique, un terme utilisé pour décrire un modèle qui oublie les compétences et les connaissances acquises précédemment. Par exemple, l'oubli catastrophique est un terme utilisé pour décrire un modèle qui oublie les compétences et les connaissances acquises précédemment.cette étudemontre que les modèles affinés dans le domaine médical sont moins performants lorsqu'il s'agit de suivre des instructions ou de répondre à des questions courantes. D'autres études ont également montré que les connaissances générales acquises lors de la préformation peuvent être oubliées au cours de la formation ultérieure. Par exemple.cette étudeCertaines preuves de l'oubli de connaissances en LLM sont fournies en termes de connaissances du domaine, de raisonnement et de compréhension de la lecture.

❌ Pré-entraînement continu

Si l'on considère l'oubli catastrophique, des développements récents suggèrent que le pré-entraînement continu (CPT) peut encore améliorer les performances à une fraction du coût de calcul requis pour le pré-entraînement. La pré-formation continue peut être bénéfique pour les tâches qui exigent que le LLM acquière de nouvelles compétences de conversion. Par exemple.Il est rapporté que...La formation préalable continue a permis d'ajouter le multilinguisme.

Cependant, la TPC reste un processus coûteux qui nécessite des données et des ressources informatiques importantes. Par exemple, la suite Pythia est passée par une deuxième étape de pré-entraînement, qui a abouti à la création de la base de données FinPythia-6.9BCe modèle est conçu pour les données financières. Ce modèle, conçu spécifiquement pour les données financières, a été soumis à 18 jours de CPT en utilisant un ensemble de données contenant 24 milliards de jetons. en outre, le CPT est sujet à des oublis catastrophiques. Par conséquent, nous ne recommandons pas le pré-entraînement continu comme approche viable de l'adaptation LLM pour les équipes disposant de ressources limitées.

En conclusion, l'utilisation d'algorithmes auto-supervisés et d'ensembles de données non étiquetés pour adapter les MLD (comme c'est le cas pour la pré-formation et la pré-formation continue) est coûteuse en ressources et n'est pas recommandée en tant qu'approche viable.

✅ Réglage fin complet et réglage fin paramétrique efficace (PEFT)

Le réglage fin à l'aide de petits ensembles de données étiquetées est une approche plus rentable que le pré-entraînement à l'aide d'ensembles de données non étiquetées. En adaptant le modèle pré-entraîné à une tâche spécifique, il a été démontré que le modèle affiné obtenait des résultats de pointe dans un large éventail d'applications et de spécialisations (juridiques, médicales ou financières, par exemple).

La mise au point, en particulier la mise au point efficace des paramètres (PEFT), ne nécessite qu'une fraction des ressources informatiques requises pour le pré-entraînement/pré-entraînement continu. Il s'agit donc d'une méthode d'adaptation LLM viable pour les équipes disposant de ressources limitées. Dans cette série deTroisième partieNous y abordons les détails du réglage fin, y compris le réglage fin intégral, le PEFT et un guide pratique sur la manière de procéder.

✅ Récupérer la génération augmentée (RAG)

RAG est une autre méthode d'adaptation LLM populaire. Si votre application doit extraire des informations d'une base de connaissances dynamique (par exemple, un bot de quiz), RAG peut être une bonne solution. La complexité d'un système basé sur RAG réside principalement dans l'implémentation du moteur de recherche. Le coût de raisonnement de ces systèmes peut être plus élevé parce que les indices comprennent les documents récupérés et que la plupart des fournisseurs utilisent un modèle basé sur les jetons. Dans cette série dePartie 2dans lequel nous discutons plus largement du RAG et le comparons au réglage fin.

Apprentissage contextuel (ICL)

C'est la manière la plus rentable d'adapter LLM.ICL ne nécessite pas de données d'apprentissage ou de ressources informatiques supplémentaires, ce qui en fait une approche rentable. Cependant, comme pour RAG, le coût et la latence de l'inférence peuvent augmenter en raison du traitement d'un plus grand nombre de tokens au moment de l'inférence.

La création d'un système basé sur le LLM est un processus itératif. Nous vous recommandons de commencer par une approche simple et d'augmenter progressivement la complexité jusqu'à ce que vous atteigniez votre objectif. L'organigramme ci-dessus décrit ce processus itératif et constitue une base solide pour votre stratégie d'adaptation au LLM.

Nous tenons à remercier Suraj Subramanian et Varun Vontimitta pour leurs commentaires constructifs sur l'organisation et la préparation de ce billet de blog.

Cet article est le deuxième d'une série de billets de blog sur l'adaptation des grands modèles linguistiques (LLM) Open Source. Dans ce billet, nous aborderons la question suivante : "Quand devons-nous affiner et quand devons-nous envisager d'autres technologies ?"

Avant l'essor des grands modèles de langage, le réglage fin était couramment utilisé pour les modèles à plus petite échelle (100 millions - 300 millions de paramètres). Les applications de domaine les plus avancées étaient construites à l'aide d'un réglage fin supervisé (SFT), c'est-à-dire que les modèles pré-entraînés étaient entraînés à l'aide de données annotées provenant de votre propre domaine et de tâches en aval. Cependant, avec l'avènement de modèles plus importants (> 1 milliard de paramètres), la question du réglage fin devient plus subtile. Plus important encore, les modèles de plus grande taille nécessitent davantage de ressources et de matériel commercial pour le réglage fin. Le tableau 1 ci-dessous fournit une liste des pics d'utilisation de la mémoire du GPU pour le réglage fin des modèles Llama 2 7B et Llama 2 13B dans trois scénarios. Vous remarquerez que les modèles tels que QLoRA Ces algorithmes facilitent la mise au point de grands modèles en utilisant des ressources limitées. Par exemple, le tableau 1 montre la mémoire maximale du GPU pour trois scénarios de réglage fin (réglage fin complet, LoRA et QLoRA) sur Llama 2 7B. Des réductions de mémoire similaires résultant d'un réglage fin paramétrique efficace (PEFT) ou d'une quantification sont également présentées sur Llama 1. rapport Plus. Outre les ressources informatiques, les oublis catastrophiques (pour plus d'informations, voir cette série d'articles sur le thème de l'oubli) ne sont pas une fatalité. Première partieLa technique PEFT vise à remédier à ces lacunes en entraînant un petit nombre de paramètres.

Tableau 1 : Mémoire (GB) sur LLama 2 7B pour différentes méthodes de réglage fin (source (d'information, etc.)Le QLoRA est quantifié à l'aide d'un NormalFloat de 4 bits.

Prototypes pouvant bénéficier d'une mise au point

Nous avons identifié les scénarios suivants comme des cas d'utilisation courants qui pourraient bénéficier d'une mise au point :

Apprentissage de précision ou apprentissage contextuel (moins d'échantillons)

L'apprentissage contextuel (ICL) est un moyen puissant d'améliorer les performances des systèmes basés sur de grands modèles de langage. Étant donné sa simplicité, vous devriez essayer l'ICL avant d'entreprendre des activités de réglage fin. En outre, les expériences d'ICL peuvent vous aider à évaluer si le réglage fin améliore les performances des tâches en aval. Les considérations courantes lors de l'utilisation d'ICL sont les suivantes :

réglage fin vs. et RAG

Le consensus général est que lorsque la performance sous-jacente d'un grand modèle linguistique n'est pas satisfaisante, vous pouvez "commencer avec RAG, évaluer sa performance et passer à un réglage fin s'il s'avère insuffisant", ou "RAG peut présenter des avantages" par rapport au réglage fin (source (d'information, etc.)). Cependant, nous pensons que ce paradigme est trop simpliste car, dans de nombreux cas, la RAG n'est pas une alternative à la mise au point, mais plutôt une approche complémentaire de la mise au point. En fonction des caractéristiques du problème, il convient d'essayer l'une ou l'autre approche, voire les deux. Adopter cet article Voici quelques questions que vous pouvez vous poser pour déterminer si le réglage fin ou le RAG (ou éventuellement les deux) est adapté à votre problème :

Dans la plupart des cas, une solution hybride de réglage fin et de RAG produira les meilleurs résultats - et la question devient alors celle du coût, du temps et des gains autonomes supplémentaires qu'il est possible d'obtenir en faisant les deux en même temps. Référez-vous aux questions ci-dessus pour guider vos décisions quant à la nécessité de recourir aux RAG et/ou au réglage fin, et menez des expériences internes en analysant les erreurs pour comprendre les gains possibles en termes de métrologie. Enfin, l'exploration du réglage fin nécessite une solide stratégie de collecte et d'amélioration des données, que nous recommandons comme condition préalable au lancement du réglage fin.

Nous tenons à remercier Suraj Subramanian et Varun Vontimitta pour leurs commentaires constructifs sur l'organisation et la préparation de ce billet de blog.

Cet article est le troisième d'une série de blogs consacrés à l'adaptation de grands modèles linguistiques (LLM) open source. Dans cet article, nous examinons quelques règles empiriques pour constituer des ensembles de données de formation de qualité.

Le réglage fin des LLM est une combinaison d'art et de science, et les meilleures pratiques dans ce domaine sont encore en train d'émerger. Dans ce billet de blog, nous nous concentrerons sur les variables de conception du réglage fin et fournirons des conseils sur les meilleures pratiques pour le réglage fin des modèles dans des environnements à ressources limitées. Nous suggérons les informations suivantes comme point de départ pour développer une stratégie pour les expériences de réglage fin.

Plein de réglages fins et de PEFT en académie répondre en chantant application pratique Il a été démontré que toutes ces méthodes améliorent les performances en aval lorsqu'elles sont appliquées à de nouveaux domaines. Le choix de l'une d'entre elles dépend en fin de compte des ressources informatiques disponibles (en termes d'heures de GPU et de mémoire GPU), des performances sur des tâches autres que la tâche cible en aval (le compromis "apprendre pour oublier") et du coût de l'annotation manuelle.

Le réglage fin d'un volume complet est plus susceptible de souffrir de deux problèmes :crash du modèle répondre en chantant oubli cataclysmique. On parle d'effondrement du modèle lorsque la sortie du modèle converge vers un ensemble fini de sorties et que les queues de la distribution du contenu original disparaissent. L'oubli catastrophique, comme dans cette série Première partie Le modèle perdrait de sa puissance si l'on n'en tenait pas compte. Certaines études empiriques préliminaires ont montré quePar rapport à la technique PEFT, la technique de réglage fin du volume complet est plus sujette à ces problèmesbien que des recherches supplémentaires soient nécessaires.

La technique PEFT peut être conçue pour agir comme un régularisateur naturel pour le réglage fin. PEFT nécessite généralement relativement peu de ressources informatiques pour former les modèles en aval et est plus facile à utiliser dans des scénarios à ressources limitées avec des ensembles de données de taille restreinte. Dans certains cas, un réglage fin complet donne de meilleurs résultats pour des tâches spécifiques, mais généralement au prix de l'oubli de certaines des capacités du modèle original. Ce compromis "apprendre à oublier" entre la performance sur une tâche spécifique en aval et la performance sur d'autres tâches est plus facilement exploité dans le cadre de l Ce document. Une comparaison approfondie de LoRA et du réglage fin complet est présentée dans le document.

Compte tenu des contraintes de ressources, la technique PEFT peut offrir un meilleur rapport performance/coût qu'un réglage fin complet. Si les performances en aval sont essentielles dans une situation où les ressources sont limitées, la mise au point complète du volume sera la plus efficace. Dans les deux cas, il est essentiel de garder à l'esprit les principes clés suivants pour créer des ensembles de données de haute qualité.

Dans les expériences de réglage fin de la littérature, les ensembles de données sont essentiels pour récolter les bénéfices du réglage fin. Il y a ici plus de nuances qu'une simple "meilleure qualité et plus d'exemples", et vous pouvez judicieusement investir dans la collecte d'ensembles de données afin d'améliorer les performances dans les expériences de réglage fin à ressources limitées.

Qualité/quantité des données

Diversité des données

En d'autres termes, si vous surentraînez un modèle avec un type de réponse particulier, il sera biaisé pour donner cette réponse, si ce n'est la réponse la plus appropriée. La règle empirique consiste à s'assurer, dans la mesure du possible, que les données d'entraînement reflètent la manière dont le modèle devrait se comporter dans le monde réel.

Pipeline de données basé sur LLM

Afin de rassembler des ensembles de données diversifiés et de haute qualité, les pipelines de données utilisent souvent des LLM pour réduire les coûts d'annotation. Les techniques suivantes ont été observées dans la pratique :

Débogage de votre jeu de données

Le réglage fin est un aspect essentiel du développement d'un grand modèle linguistique qui nécessite un équilibre délicat entre l'art et la science. La qualité et la conservation de l'ensemble de données jouent un rôle important dans la réussite de l'ajustement, l'analyse des données et l'évaluation de la qualité.Les petits modèles finement ajustés de grandes langues tendent à surpasser les grands modèles sur des tâches spécifiques.. Une fois que la décision a été prise d'affiner l'analyse de l'impact sur l'environnement, il convient d'en tenir compte. Guide de réglage fin du lama constitue un point de départ solide. La nature propriétaire du portefeuille d'ensembles de données affinées a entravé le partage des meilleures pratiques et les progrès de l'open source. Au fur et à mesure de l'évolution du domaine, nous prévoyons l'émergence de meilleures pratiques communes tout en maintenant la créativité et l'adaptabilité du réglage fin.

Nous tenons à remercier Suraj Subramanian et Varun Vontimitta pour leurs commentaires constructifs sur l'organisation et la préparation de ce billet de blog.