Инженерная академия ИИ: 2.12 Самостоятельный запрос RAG: расширенная генерация дополнений к поиску с фильтрацией метаданных

представить (кого-л. на работу и т.д.)

Self-Query RAG (SQRAG) - это усовершенствованный подход к созданию дополнений к поиску (RAG), который расширяет традиционный RAG за счет извлечения метаданных на этапе получения и интеллектуального разбора запроса на этапе получения. RAG Процесс.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/07_Self_Query_RAG

локомотив

Традиционные системы RAG часто не справляются со сложными запросами, включающими семантическое сходство и специфические ограничения на метаданные. Самозапрашивающая RAG решает эти проблемы, используя метаданные и интеллектуальный разбор пользовательских запросов с помощью большой языковой модели (LLM).

Методологические детали

Предварительная обработка документов и создание векторного хранилища

1. Разделите документы на удобные куски.
2. Извлеките метаданные (например, дату, автора, категорию) из каждого фрагмента.
3. Вставьте каждый самородок, используя соответствующую модель встраивания.
4. Индексируйте самородки, их векторы встраивания и связанные с ними метаданные в базу данных векторов.

Рабочий процесс RAG с самостоятельным запросом

1. Пользователи задают запросы на естественном языке.
2. Разбор запросов с использованием большой языковой модели (LLM) для понимания намерений пользователя и структуры запроса.
3. LLM Generation:
   a) Условия фильтрации метаданных на основе запросов.
   b) Семантические поисковые запросы для поиска по содержанию.
4. Применяйте фильтры метаданных, чтобы сузить поиск.
5. Выполняет семантический поиск по отфильтрованному подмножеству.
6. Полученные фрагменты документов объединяются с исходным запросом пользователя, чтобы сформировать контекст.
7. Передайте контекст в Большую языковую модель (LLM), чтобы сгенерировать окончательный ответ.

Ключевые особенности самозапрашивающего RAG

• Извлечение метаданных: Улучшение представления документов с помощью структурированной информации.
• Интеллектуальное разрешение запросов: Используйте LLM для понимания сложных пользовательских запросов.
• Гибридный поиск: Сочетание фильтрации метаданных и семантического поиска.
• Гибкий запрос: Позволяет пользователям неявно задавать ограничения метаданных на естественном языке.

Преимущества этого метода

1. Повышение точности поиска: Фильтры метаданных помогают сузить поиск до более релевантных документов.
2. Обработка сложных запросов: может интерпретировать и отвечать на запросы, включающие сходство содержимого и ограничения метаданных.
3. Эффективный поиск: Фильтрация метаданных может значительно сократить количество документов, требующих семантического поиска.
4. Расширенный контекстМетаданные предоставляют дополнительную структурированную информацию, которая улучшает генерацию ответов.

вынести вердикт

Самостоятельный запрос RAG расширяет традиционный процесс RAG за счет извлечения метаданных и интеллектуального разбора запроса. Такой подход делает поиск более точным и эффективным, особенно для сложных запросов, включающих семантическое сходство и специфические ограничения метаданных. Благодаря использованию Большой языковой модели (LLM) для понимания запросов, самозапрашивающий RAG обеспечивает системы ИИ вопросов и ответов более точными и контекстуально релевантными ответами.