Инженерная академия искусственного интеллекта: 2.14 RAPTOR: рекурсивная обработка сводных данных для улучшенной генерации древовидного структурированного поиска

вводная

RAPTOR (Recursive Abstract Processing for Tree-Structured Retrieval Enhanced Generation) - это усовершенствованный метод Retrieval Enhanced Generation (RAG). Он улучшает традиционный, внедряя иерархическую структуризацию документов и методы обобщения для RAG Процесс.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/09_RAPTOR

локомотив

Традиционные системы RAG часто сталкиваются с трудностями при работе с большими коллекциями документов и сложными запросами. raptor решает эти проблемы, создавая иерархическое представление корпуса документов, что позволяет осуществлять более детальный и эффективный поиск.

Методологические детали

Предварительная обработка документов и создание векторного хранилища

1. Разбейте документы на удобные куски.
2. Вставьте каждый самородок, используя подходящую модель встраивания.
3. Кластеризация векторов встраивания для группировки схожего контента.
4. Результаты кластеризации обобщаются, чтобы создать абстрактное представление более высокого уровня.
5. На основе этих резюме и оригинальных текстовых блоков была построена иерархическая древовидная структура (дерево RAPTOR).

Рабочий процесс создания усовершенствованного поиска

1. Пользовательские запросы внедряются с помощью той же модели внедрения.
2. Обходит дерево RAPTOR, чтобы найти связанные узлы (резюме или блоки документов).
3. Объедините результаты поиска с исходным запросом пользователя, чтобы сформировать контекст.
4. Этот контекст передается в большую языковую модель (LLM) для создания окончательного ответа.

Основные характеристики RAPTOR

• Иерархическое представление документов: создает древовидную структуру содержимого документа.
• Многоуровневая сводка: сводная информация предоставляется на разных уровнях.
• Эффективный поиск: более быстрый и релевантный поиск информации с помощью обхода деревьев.
• Масштабируемость: лучше справляется с большими коллекциями документов по сравнению с плоским векторным хранилищем.

Преимущества этого метода

1. Улучшенная контекстная релевантность: иерархическая структура лучше сопоставляет запросы с релевантным контентом.
2. Лесной поиск более эффективен: подход с обходом деревьев более эффективен по сравнению с полным поиском.
3. Обработка сложных запросов: многоуровневая структура помогает обрабатывать запросы на информацию по нескольким разделам документа.
4. Работа с большими массивами документов: лучшая масштабируемость по сравнению с традиционными методами.

вынести вердикт

RAPTOR повышает качество и эффективность процесса RAG за счет внедрения механизмов представления и поиска документов в виде резюме и древовидной структуры. Ожидается, что этот подход значительно повысит точность и контекстную релевантность поиска информации, особенно для крупных сложных коллекций документов.