Инженерный институт искусственного интеллекта: 2.9 Дополненная генерация окна предложения (RAG)

вводная

Метод "Генерация с улучшенным извлечением" (RAG), основанный на окнах предложений. RAG Высокоуровневая реализация фреймворка, предназначенного для повышения контекстной осведомленности и согласованности ответов, генерируемых ИИ. Подход сочетает в себе возможности больших языковых моделей с эффективными методами поиска информации, обеспечивая надежное решение для генерации высококачественных и насыщенных контекстом ответов.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/04_Sentence_Window_RAG

локомотив

Обычные системы RAG часто не могут поддерживать согласованность в больших контекстах или работают неадекватно при работе с информацией, охватывающей несколько текстовых блоков. Подходы к созданию поисковых систем на основе окон предложений устраняют это ограничение, сохраняя контекстуальные связи между текстовыми блоками в процессе индексирования и используя эту информацию в процессе поиска и генерации.

Методологические детали

Предварительная обработка документов и создание векторного хранилища

1. Разделение документов: Разделите входной документ на предложения.
2. Создание текстового блока: Группирует предложения в удобные для восприятия фрагменты текста.
3. встроенное представление: Каждый текстовый блок обрабатывается моделью встраивания для создания векторного представления.
4. Указатель базы данных векторов: Сохраняет идентификаторы текстовых блоков, содержание текста и векторы вставки в векторную базу данных для эффективного поиска сходства.
5. Указатель структуры документа: Отдельная база данных используется для хранения связей между блоками текста, включая ссылки каждого блока на k предшествующих и последующих блоков.

Рабочий процесс создания усовершенствованного поиска

1. обработка запросов: Встраиваемое представление пользовательских запросов с использованием той же модели встраивания, что и для текстовых блоков.
2. Поиск сходства: Используйте векторы встраивания запросов для получения наиболее релевантных блоков текста в базе данных векторов.
3. расширение контекста (вычислительная техника): Для каждого найденного текстового блока из базы данных структуры документов извлекаются k текстовых блоков до и после него для расширения контекста.
4. контекстное сочетание: Объедините полученный текстовый блок и его расширенный контекст с исходным запросом.
5. Генерирование ответа: Передайте расширенный контекст и запрос в большую языковую модель для создания окончательного ответа.

Основные характеристики RAG

• Эффективный поискБыстрый и точный поиск информации с помощью векторного поиска по сходству.
• Контекстные оговорки: Поддерживает взаимосвязь между структурой документа и текстовыми блоками на этапе индексирования.
• Гибкое контекстное окно: Позволяет изменять размер контекстного окна на этапе поиска.
• масштабируемость: Может обрабатывать большие коллекции документов, а также различные типы запросов.

Преимущества метода

1. Повышение согласованности действий: Контекстная информация расширяется за счет введения окружающих блоков текста, что приводит к более последовательным и контекстуально точным ответам.
2. Уменьшение галлюцинаций: Благодаря доступу к расширенному контексту модель получает возможность генерировать ответы на основе полученной информации, снижая вероятность создания ложного или нерелевантного контента.
3. Эффективность храненияОптимизация пространства для хранения данных за счет сохранения только необходимой информации в базе данных векторов.
4. Настраиваемое контекстное окноДинамически изменяйте размер контекстного окна в соответствии с потребностями различных запросов или приложений.
5. Сохранение структуры документа: Сохранение структуры и потока исходного документа позволяет искусственному интеллекту понимать и генерировать документ более тонким образом.

резюме

Метод дополненного поиска на основе окна предложений (RAG) представляет собой мощное решение для повышения качества и контекстной релевантности ответов, генерируемых искусственным интеллектом. Сохраняя структуру документа и поддерживая гибкое расширение контекста, этот подход эффективно устраняет некоторые из ключевых ограничений традиционных систем RAG. Он обеспечивает надежную основу для создания передовых систем вопросов и ответов, приложений для анализа документов и генерации контента.