AI Engineering Academy: 2.15 ColBERT RAG (modelo de interação pós-contextual baseado em BERT)

O ColBERT (Interação Pós-Cultural Contextualizada baseada no BERT) é diferente do modelo tradicional de incorporação densa. A seguir, uma breve descrição de como o ColBERT funciona:

1. Incorporação da camada de tokenDiferentemente da criação de vetores individuais diretamente para um documento ou consulta inteira, o ColBERT cria um único vetor para cada Token Cria o vetor de incorporação.
2. pós-interaçãoSimilaridade entre a consulta e o documento: Ao calcular a similaridade entre uma consulta e um documento, cada token da consulta é comparado a cada token do documento, em vez de comparar diretamente o vetor geral.
3. Operação do MaxSimPara cada token de consulta, o ColBERT encontra a semelhança máxima com qualquer token no documento e a soma para obter uma pontuação de semelhança.

Observações: https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/10_ColBERT_RAG

A próxima etapa é mostrar em detalhes, com ilustrações, como o ColBERT é usado no RAG trabalham em um processo que enfatiza seus mecanismos de processamento em nível de token e pós-interação.

Este diagrama mostra a arquitetura geral do pipeline RAG baseado em ColBERT, enfatizando o processamento em nível de token e a pós-interação na abordagem ColBERT.

Agora, vamos criar um diagrama mais detalhado que destaque os mecanismos de incorporação e pós-interação em nível de token do ColBERT:

Este gráfico ilustra:

1. Como os documentos e as consultas são processados como embeddings em nível de token por meio de camadas BERT e lineares.
2. Como cada token de consulta é comparado a cada token de documento no mecanismo pós-interação.
3. A operação MaxSim e sua etapa de soma subsequente para gerar a pontuação de correlação final.

Esses diagramas mostram com mais precisão como o ColBERT funciona no pipeline do RAG, destacando sua abordagem em nível de token e os mecanismos de interação tardia. Essa abordagem permite que o ColBERT retenha informações mais refinadas de consultas e documentos, resultando em correspondências mais granulares e desempenho de recuperação potencialmente superior em comparação com os modelos tradicionais de incorporação densa.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>