Qu'est-ce que l'apprentissage auto-supervisé (SSL) en un article ?

Réponses AIPublié il y a 23 heures Cercle de partage de l'IA

Définition de l'apprentissage auto-supervisé

L'apprentissage auto-supervisé (SSL) est un paradigme d'apprentissage émergent dans le domaine de l'apprentissage automatique, dont l'idée centrale est de générer automatiquement des signaux supervisés à partir de données non étiquetées et de former des modèles pour apprendre des représentations utiles des données. Contrairement à l'apprentissage supervisé traditionnel, qui repose sur des étiquettes manuelles, l'apprentissage auto-supervisé utilise la structure intrinsèque des données elles-mêmes pour concevoir des tâches de pré-formation, que le modèle résout pour capturer les modèles et les caractéristiques sous-jacents des données.

Par exemple, dans le traitement du langage naturel, les modèles peuvent apprendre des représentations linguistiques en prédisant les mots masqués dans les phrases ; dans la vision par ordinateur, les modèles peuvent comprendre le contenu visuel en identifiant si une image a été tournée ou épissée. L'avantage de cette approche est qu'elle réduit considérablement la dépendance à l'égard des annotations manuelles coûteuses et fastidieuses, qu'elle peut traiter des quantités massives de données non étiquetées et qu'elle améliore la généralisation et l'adaptabilité du modèle. L'apprentissage auto-supervisé est applicable aux images et au texte, et s'étend également aux données multimodales telles que l'audio et la vidéo, ce qui donne un nouvel élan au développement de l'intelligence artificielle. Essentiellement un type d'apprentissage par représentation, les caractéristiques apprises au cours de la phase de pré-entraînement peuvent être efficacement transférées vers diverses tâches en aval telles que la classification, la détection et la segmentation, jouant ainsi un rôle important dans les applications du monde réel. L'essor de l'apprentissage auto-supervisé reflète la quête de la communauté de l'apprentissage automatique pour une utilisation efficace des données et marque le passage de la dépendance à l'égard des données étiquetées à l'apprentissage autonome.

Principes fondamentaux de l'apprentissage auto-supervisé

Les principes de base de l'apprentissage auto-supervisé consistent à créer des signaux supervisés à partir de données non étiquetées et à piloter l'apprentissage du modèle par le biais de tâches de pré-entraînement intelligemment conçues. Ces principes couvrent plusieurs aspects clés pour garantir que le modèle capture les caractéristiques essentielles des données.

Amélioration des données et génération de vuesLe modèle est basé sur l'analyse des données : de multiples vues augmentées sont générées à partir des données d'origine en appliquant des transformations aléatoires telles que la rotation, le recadrage ou l'ajustement des couleurs. Le modèle apprend à maintenir la cohérence entre ces vues, ce qui améliore la robustesse et l'invariance. Par exemple, dans le domaine de l'image, différentes versions augmentées de la même image sont utilisées pour entraîner les modèles à reconnaître les caractéristiques invariantes.
Mécanismes d'apprentissage comparatifL'apprentissage par contraste est l'une des principales méthodes d'apprentissage auto-supervisé, où les représentations sont apprises en comparant des paires d'échantillons. Les modèles sont entraînés à rapprocher les échantillons similaires (par exemple, différentes améliorations de la même image) et à éloigner les échantillons dissemblables. Ce processus repose sur une fonction de perte telle que l'InfoNCE, qui incite le modèle à distinguer des différences fines dans les données.
Tâches de pré-entraînement génératifCes tâches exigent que le modèle reconstruise ou génère une partie des données d'entrée. Par exemple, dans la modélisation du langage masqué, le modèle prédit les mots masqués ; dans la restauration d'images, le modèle remplit les pixels manquants. En reconstruisant les erreurs, le modèle apprend des informations sémantiques et structurelles sur les données.
Conception prédictive des tâchesL'apprentissage auto-supervisé : L'apprentissage auto-supervisé implique souvent de prédire une propriété ou une transformation des données. Par exemple, prédire l'angle de rotation d'une image ou l'ordre des images vidéo. Ces tâches obligent le modèle à comprendre la dynamique intrinsèque des données et donc à apprendre des représentations de caractéristiques utiles.
Indique la migration et la mise au pointUne fois le préapprentissage terminé, la représentation apprise est transférée vers une tâche en aval pour affiner le modèle à l'aide d'une petite quantité de données étiquetées. Cela démontre l'utilité de l'apprentissage auto-supervisé, qui combine un pré-entraînement non supervisé avec un réglage fin supervisé pour améliorer les performances globales.

Différence entre l'apprentissage auto-supervisé et l'apprentissage supervisé traditionnel

L'apprentissage auto-supervisé diffère considérablement de l'apprentissage supervisé traditionnel à plusieurs égards, qui se reflètent dans les exigences en matière de données, le processus d'apprentissage et les scénarios applicables.

Dépendances en matière d'étiquetage des donnéesL'apprentissage supervisé : Alors que l'apprentissage supervisé traditionnel repose entièrement sur des étiquettes manuelles, l'apprentissage auto-supervisé ne nécessite pas d'étiquetage externe et utilise les données pour générer des pseudo-étiquettes de manière autonome. Cela réduit le coût et le temps de préparation des données et convient particulièrement aux domaines où l'étiquetage est rare.
Apprendre la source du signalDans l'apprentissage supervisé traditionnel, les signaux d'apprentissage sont dérivés de catégories ou de valeurs étiquetées ; l'apprentissage auto-supervisé génère des signaux par le biais de tâches de pré-entraînement telles que des tâches de comparaison ou de génération. Ce dernier se concentre davantage sur la structure intrinsèque des données que sur la sémantique externe.
Capacités de généralisation des modèlesL'apprentissage supervisé : Alors que l'apprentissage supervisé traditionnel a tendance à s'adapter de manière excessive aux données étiquetées, l'apprentissage auto-supervisé apprend des représentations plus générales grâce à un pré-entraînement non étiqueté et tend à montrer de meilleures performances en matière de généralisation dans les tâches de migration.
Une gamme élargie d'applicationsL'apprentissage supervisé : Alors que l'apprentissage supervisé traditionnel se limite aux tâches pour lesquelles des données étiquetées sont disponibles, l'apprentissage auto-supervisé est capable de traiter un plus large éventail de données non étiquetées, telles que des images brutes ou du texte sur Internet, repoussant ainsi les limites de l'apprentissage automatique.
Besoins en ressources informatiquesL'apprentissage supervisé traditionnel nécessite généralement moins de ressources informatiques pour l'apprentissage, mais présente des coûts d'étiquetage élevés ; l'apprentissage auto-supervisé nécessite beaucoup de ressources informatiques dans la phase de pré-entraînement, mais réduit les coûts d'étiquetage et est plus efficace dans l'ensemble.

Domaines d'application de l'apprentissage auto-supervisé

L'apprentissage auto-supervisé a démontré un fort potentiel dans un certain nombre de domaines, avec des applications allant de la recherche fondamentale à des scénarios industriels réels.

vision par ordinateurDans la classification d'images, la détection d'objets et la segmentation, l'apprentissage auto-supervisé améliore les performances du modèle en pré-entraînant des modèles tels que SimCLR ou MoCo. Par exemple, dans le domaine de l'imagerie médicale, les modèles sont pré-entraînés à l'aide de radiographies non étiquetées, puis affinés pour le diagnostic des maladies, ce qui réduit la dépendance à l'égard de l'annotation des experts.
le traitement du langage naturel (NLP): L'apprentissage auto-supervisé est à l'origine du succès de modèles tels que BERT, GPT, etc., qui sont pré-entraînés par des modèles de langage masqués, et les modèles apprennent des représentations linguistiques qui sont appliquées à des tâches telles que la traduction automatique et l'analyse des sentiments. La précision et l'efficacité des modèles linguistiques s'en sont trouvées grandement améliorées.
traitement audioDans le domaine de la reconnaissance vocale et de l'analyse musicale, les modèles d'apprentissage auto-supervisé permettent d'apprendre des caractéristiques acoustiques en prédisant des segments audio ou en apprenant par comparaison. Par exemple, des modèles pré-entraînés peuvent être utilisés pour le traitement de la parole dans des langues à faibles ressources afin d'améliorer l'accessibilité.
analyse vidéoPour la reconnaissance d'actions ou le résumé vidéo, l'apprentissage auto-supervisé exploite les informations temporelles, telles que la prédiction de l'ordre des images ou la comparaison de clips vidéo, et le modèle capture les caractéristiques dynamiques. Cela présente un intérêt pratique pour la surveillance ou l'industrie du divertissement.
l'apprentissage multimodalL'apprentissage auto-supervisé, combinant des images, du texte et du son, apprend des représentations uniformes par le biais de tâches de comparaison intermodale. Applications à la conduite autonome ou aux assistants virtuels pour améliorer la compréhension d'environnements complexes.

Avantages de l'apprentissage auto-supervisé

Les avantages de l'apprentissage auto-supervisé en font une orientation importante de l'apprentissage automatique, et ces avantages se reflètent dans l'efficacité, l'extensibilité et la praticité.

Réduction des exigences en matière d'étiquetageL'apprentissage auto-supervisé : En exploitant les données non étiquetées, l'apprentissage auto-supervisé réduit considérablement le coût de l'annotation manuelle et rend l'apprentissage automatique plus réalisable dans des environnements aux ressources limitées. Par exemple, dans la recherche scientifique, il devient possible de traiter de grandes quantités de données non étiquetées.
Augmentation de l'utilisation des donnéesL'apprentissage auto-supervisé est capable d'exploiter les informations cachées dans les données et d'améliorer l'efficacité de l'utilisation des données. Le modèle apprend à partir de données massives non étiquetées afin d'éviter les biais d'étiquetage et d'obtenir une représentation plus complète des connaissances.
Forte capacité d'apprentissage migratoireLes représentations pré-entraînées peuvent être facilement migrées vers de multiples tâches en aval avec peu d'ajustements. Cela accélère le déploiement des modèles pour les scénarios d'application rapidement itératifs.
Robustesse et généralisationLes modèles d'apprentissage auto-supervisé sont plus robustes au bruit et à la variation grâce à l'augmentation des données et à l'apprentissage comparatif, ils sont plus performants sur des données inconnues et réduisent le risque de surajustement.
Promouvoir l'innovation: L'apprentissage auto-supervisé encourage de nouvelles conceptions de tâches de pré-entraînement, favorisant la créativité dans la communauté de l'apprentissage automatique et conduisant à des percées telles que les convertisseurs visuels auto-supervisés.

Les défis de l'apprentissage auto-supervisé

Malgré les promesses de l'apprentissage auto-supervisé, il reste confronté à un certain nombre de défis liés à des aspects théoriques, pratiques et éthiques.

Complexité de la conception de la missionLa conception de tâches de pré-entraînement efficaces nécessite une connaissance du domaine et de l'expérimentation, et des tâches inappropriées peuvent amener le modèle à apprendre des caractéristiques non pertinentes et affecter les performances en aval. Par exemple, dans un texte, les stratégies de masquage peuvent introduire un biais.
Besoins en ressources informatiques: La phase de pré-entraînement de l'apprentissage auto-supervisé nécessite généralement des ressources informatiques et un temps considérables, ce qui constitue un obstacle pour les PME ou les chercheurs individuels. L'optimisation de l'efficacité des algorithmes et du matériel est une priorité actuelle de la recherche.
Absence de critères d'évaluationL'apprentissage auto-supervisé : Contrairement à l'apprentissage supervisé, qui dispose de mesures claires telles que la précision, l'apprentissage auto-supervisé ne dispose pas d'un protocole d'évaluation uniforme, ce qui rend difficile la comparaison des différentes méthodes. Des ensembles de données de référence et des mesures sont en cours d'élaboration par la communauté.
Mauvaise interprétabilitéLes représentations apprises par les modèles d'apprentissage auto-supervisés sont souvent en boîte noire et il est difficile d'expliquer leur processus de prise de décision, ce qui pose des problèmes de crédibilité dans les applications à haut risque telles que les soins de santé.
Amplification de la distorsion des donnéesL'apprentissage auto-supervisé : Si les données non étiquetées contiennent des biais sociaux ou culturels, l'apprentissage auto-supervisé peut amplifier ces biais, ce qui conduit à des modèles injustes. Des stratégies de détection et d'atténuation des biais sont nécessaires.

Techniques clés pour l'apprentissage auto-supervisé

L'apprentissage auto-supervisé s'appuie sur une variété de techniques clés pour réaliser un apprentissage efficace, qui couvrent tous les aspects, du traitement des données à l'optimisation des modèles.

Cadre d'apprentissage contrastifL'apprentissage des représentations discriminantes se fait en maximisant la similarité positive des paires d'échantillons et en minimisant la similarité négative des paires d'échantillons, à l'aide d'outils tels que SimCLR et MoCo. Cette méthode repose sur le traitement de lots importants et la gestion de banques de mémoire.
Générer des réseaux adversairesLes réseaux adversaires génératifs sont utilisés pour l'apprentissage auto-supervisé, où le modèle apprend la distribution des données par le biais de tâches génératives et discriminatives. Par exemple, dans la génération d'images, les réseaux adversaires génératifs aident le modèle à capturer les caractéristiques réelles.
Structure de l'auto-encodeurL'auto-encodeur variationnel ou auto-encodeur de débruitage apprend une représentation comprimée en reconstruisant les données d'entrée. Cette technique est largement utilisée dans la détection des anomalies.
Techniques de modélisation du tempsPour les données séquentielles telles que la vidéo ou la parole, un réseau neuronal récurrent ou un convertisseur est utilisé pour prédire les images ou les mots à venir, et le modèle apprend les dépendances temporelles.
Intégration de l'apprentissage multitâcheLa combinaison de plusieurs tâches de préformation, telles que des tâches de comparaison et de génération simultanées, permet au modèle d'obtenir une représentation plus complète et d'améliorer la généralisation.

L'évolution de l'apprentissage auto-supervisé

Le développement de l'apprentissage auto-supervisé est passé par un processus allant des balbutiements à l'émergence, et ce parcours reflète l'évolution du domaine de l'apprentissage automatique.

stade précoce de la germinationAu début des années 2010, les méthodes d'intégration de mots, entre autres, ont démontré le potentiel de l'apprentissage de représentation non supervisé, qui jette les bases de l'apprentissage auto-supervisé en prédisant les vecteurs de mots à partir des mots du contexte.
Percées dans le domaine de la vision par ordinateur: Vers 2018, des méthodes telles que la prédiction de la rotation et les tâches de puzzle ont fait leur apparition dans le domaine de l'image, avec des articles connexes qui ont fait évoluer le domaine.
la révolution du traitement du langage naturelLe modèle BERT a été publié en 2018 et a permis d'atteindre des performances exceptionnelles grâce au pré-entraînement de modèles de langage masqués, ce qui a conduit à l'utilisation généralisée de l'apprentissage auto-supervisé dans le traitement du langage naturel.
Extensions multimodalesDepuis 2020, l'apprentissage auto-supervisé s'étend aux données multimodales telles que la vidéo et l'audio, avec des modèles tels que CLIP combinant la vision et le texte pour un apprentissage sans échantillon.
Points chauds de la recherche actuelleLe projet : Apprentissage auto-supervisé combiné à l'apprentissage par renforcement et au méta-apprentissage pour explorer des paradigmes d'apprentissage plus efficaces, avec un accent communautaire sur les lois de mise à l'échelle et les questions éthiques.

Tendances futures de l'apprentissage auto-supervisé

Les tendances futures de l'apprentissage auto-supervisé vont dans le sens d'une plus grande efficacité, d'une plus grande généralisation et d'une plus grande responsabilisation, qui façonneront la prochaine génération de systèmes d'intelligence artificielle.

Préformation à grande échelle: Avec l'augmentation des ressources informatiques, l'apprentissage auto-supervisé traitera des ensembles de données et des modèles plus importants, tels que des modèles à mille milliards de paramètres, afin d'améliorer la qualité de la représentation. Cela nécessite des algorithmes optimisés et une progression distribuée de l'apprentissage.
l'unification multimodaleL'apprentissage auto-supervisé : À l'avenir, l'apprentissage auto-supervisé intégrera des données multimodales telles que la vision, le langage, l'audio, etc., et apprendra une représentation unifiée pour parvenir à une IA véritablement généralisée. Des applications telles que l'intelligence incarnée et la robotique.
Amélioration de l'apprentissage sans échantillonLa préformation auto-supervisée permettra aux modèles d'être plus performants dans les tâches en aval avec moins d'échantillons, ce qui réduira le besoin de données affinées et facilitera le déploiement de l'IA sur les appareils en périphérie.
Interprétabilité et équitéLa recherche se concentrera sur l'explication des décisions des modèles d'apprentissage auto-supervisé et sur la réduction des biais dans les données afin de garantir que les modèles sont équitables, transparents et éthiques.
Accélération de l'atterrissage industriel: L'apprentissage auto-supervisé va rapidement s'imposer dans les secteurs de la santé, de l'éducation, de la fabrication et dans d'autres domaines, en créant des produits et des services innovants et en modifiant les flux de travail de l'industrie.