AI Engineering Academy: 2.15 ColBERT RAG (modelo de interacción postcontextual basado en BERT)

ColBERT (Interacción Postcultural Contextualizada basada en BERT) es diferente del modelo tradicional de incrustación densa. A continuación se describe brevemente cómo funciona ColBERT:

1. Incrustación de tokensA diferencia de la creación directa de vectores individuales para todo un documento o consulta, ColBERT crea un único vector para cada documento o consulta. Ficha Crea el vector de incrustación.
2. después de la interacciónAl calcular la similitud entre una consulta y un documento, cada token de la consulta se compara con cada token del documento, en lugar de comparar directamente el vector global.
3. Funcionamiento de MaxSimPara cada Token de la consulta, ColBERT encuentra la máxima similitud con cualquier Token del documento y la suma para obtener una puntuación de similitud.

Notas: https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/10_ColBERT_RAG

El siguiente paso es mostrar en detalle, con ilustraciones, cómo se utiliza ColBERT en la RAG trabajar en un proceso que haga hincapié en su procesamiento a nivel de ficha y en los mecanismos posteriores a la interacción.

Este diagrama muestra la arquitectura general de la canalización RAG basada en ColBERT, haciendo hincapié en el procesamiento a nivel de token y la interacción posterior en el enfoque ColBERT.

Ahora, vamos a crear un diagrama más detallado que destaque los mecanismos de incrustación y post-interacción a nivel de token de ColBERT:

Este gráfico lo ilustra:

1. Cómo se procesan los documentos y las consultas como incrustaciones a nivel de token a través de capas BERT y lineales.
2. Cómo se compara cada token de consulta con cada token de documento en el mecanismo posterior a la interacción.
3. operación MaxSim y su posterior paso de suma para generar la puntuación de correlación final.

Estos diagramas muestran con mayor precisión el funcionamiento de ColBERT dentro de la canalización RAG, destacando su enfoque a nivel de token y sus mecanismos de interacción tardía. Este enfoque permite a ColBERT retener información más detallada de las consultas y los documentos, lo que se traduce en coincidencias más detalladas y un rendimiento de recuperación potencialmente superior en comparación con los modelos tradicionales de incrustación densa.