AI Engineering Academy : 2.15 ColBERT RAG (modèle d'interaction post-contextuelle basé sur BERT)

ColBERT (Contextualised Post-Cultural Interaction based on BERT) est différent du modèle traditionnel d'intégration dense. Voici une brève description du fonctionnement de ColBERT :

1. Embarquement de la couche tokenContrairement à la création de vecteurs individuels directement pour un document ou une requête, ColBERT crée un vecteur unique pour chaque document ou requête. Jeton Crée le vecteur d'intégration.
2. post-interactionLors du calcul de la similarité entre une requête et un document, chaque token de la requête est comparé à chaque token du document, au lieu de comparer directement le vecteur global.
3. Fonctionnement de MaxSimPour chaque token de la requête, ColBERT recherche la similarité maximale avec n'importe quel token du document et l'additionne pour obtenir un score de similarité.

Notes : https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/10_ColBERT_RAG

L'étape suivante consiste à montrer en détail, à l'aide d'illustrations, comment ColBERT est utilisé dans l'entreprise. RAG travaille dans le cadre d'un processus qui met l'accent sur le traitement au niveau du jeton et sur les mécanismes de post-interaction.

Ce diagramme montre l'architecture globale du pipeline RAG basé sur ColBERT, en mettant l'accent sur le traitement au niveau du jeton et la post-interaction dans l'approche ColBERT.

Maintenant, créons un diagramme plus détaillé qui met en évidence les mécanismes d'intégration et de post-interaction au niveau du token de ColBERT :

Ce graphique illustre :

1. Comment les documents et les requêtes sont traités en tant qu'encastrements au niveau du jeton par l'intermédiaire des couches BERT et linéaires.
2. Comment chaque jeton de requête est comparé à chaque jeton de document dans le mécanisme de post-interaction.
3. L'opération MaxSim et l'étape de sommation qui s'ensuit permettent de générer le score de corrélation final.

Ces diagrammes montrent plus précisément comment ColBERT fonctionne dans le pipeline RAG, en mettant en évidence son approche au niveau des jetons et ses mécanismes d'interaction tardive. Cette approche permet à ColBERT de conserver des informations plus fines à partir des requêtes et des documents, ce qui se traduit par des correspondances plus détaillées et des performances de recherche potentiellement supérieures à celles des modèles d'intégration dense traditionnels.