Инженерная академия ИИ: 2.15 ColBERT RAG (модель постконтекстного взаимодействия на основе BERT)

ColBERT (Contextualised Post-Cultural Interaction based on BERT) отличается от традиционной модели плотного встраивания. Ниже приводится краткое описание работы ColBERT:

1. Встраивание на уровне токенов: В отличие от создания отдельных векторов непосредственно для всего документа или запроса, ColBERT создает один вектор для каждого Токен Создает вектор встраивания.
2. после взаимодействия: При вычислении сходства между запросом и документом каждый маркер запроса сравнивается с каждым маркером документа, вместо того чтобы напрямую сравнивать общий вектор.
3. Работа MaxSimДля каждого маркера запроса ColBERT находит максимальное сходство с любым маркером в документе и суммирует их, чтобы получить оценку сходства.

Примечания: https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/10_ColBERT_RAG

Следующим шагом будет подробный показ с иллюстрациями, как ColBERT используется в RAG работать в процессе, который подчеркивает его обработку на уровне токенов и механизмы пост-взаимодействия.

Эта схема показывает общую архитектуру конвейера RAG на базе ColBERT, подчеркивая обработку на уровне токенов и последующее взаимодействие в подходе ColBERT.

Теперь давайте создадим более подробную диаграмму, на которой будут показаны механизмы встраивания и пост-взаимодействия ColBERT на уровне токенов:

Эта диаграмма иллюстрирует:

1. Как документы и запросы обрабатываются как вкрапления на уровне токенов через BERT и линейные слои.
2. Как каждый токен запроса сопоставляется с каждым токеном документа в механизме пост-взаимодействия.
3. Операция MaxSim и последующее суммирование для получения итоговой корреляционной оценки.

Эти диаграммы более точно показывают, как ColBERT работает в рамках конвейера RAG, подчеркивая его подход на уровне токенов и механизмы позднего взаимодействия. Такой подход позволяет ColBERT сохранять более тонкую информацию из запросов и документов, что приводит к более детальному соответствию и потенциально более высокой производительности поиска по сравнению с традиционными моделями плотного встраивания.