5 дней на изучение маршрутного планировщика RAG

RAG быть Поиск Аббревиатура от Retrieval Augmented Generation. Давайте разберем эту терминологию, чтобы лучше понять, что такое RAG:

R -> Получить

A -> Улучшение

G -> Generate

В основном, большие языковые модели (LLM), которые мы используем сейчас, не обновляются в реальном времени. Если я задам LLM (например, ChatGPT) вопрос, он может галлюцинировать и дать неправильный ответ. Чтобы противостоять этому, мы обучаем LLM, используя больше данных (данных, к которым имеет доступ только подмножество людей, а не общедоступных глобальных данных). Затем мы задаем вопросы LLM, обученному на этих данных, чтобы он мог предоставить релевантную информацию. Если мы не используем RAG, может произойти следующее:

• Повышенная вероятность галлюцинаций
• Устаревание LLM
• Снижение точности и фактичности

Вы можете обратиться к таблице, приведенной ниже:

RAG - это гибридная система, которая сочетает в себе преимущества поисковой системы и LLM для выработки более точных, релевантных и информативных решений. Этот подход использует внешние источники знаний в процессе генерации, повышая способность модели предоставлять актуальную и контекстуальную информацию. На диаграмме выше:

• На первом этапе пользователь делает запрос к LLM.
• Затем запрос отправляется в
• после этого
• Полученные документы отправляются в языковую модель (LLM) вместе с исходным запросом.
• Генератор обрабатывает запрос и связанный с ним документ, генерирует ответ и возвращает его пользователю.

Теперь я знаю, что вы полностью заинтересованы в изучении RAG от базового до продвинутого уровня, поэтому позвольте мне показать вам идеальную дорожную карту для изучения системы RAG всего за 5 дней. Да, вы не ослышались, вы можете освоить систему RAG всего за 5 дней. Давайте перейдем непосредственно к дорожной карте обучения:

День 1: Закладываем основы для RAG

Основная цель Дня 1 - понять RAG в целом и изучить ключевые компоненты RAG. Ниже приведена разбивка тем первого дня:

Обзор RAG.

• Осознайте функцию и важность RAG и его место в современном НЛП.
• Основная идея заключается в том, что генерация с расширением поиска (retrieval-augmented generation, RAG) повышает эффективность сгенерированной модели за счет введения внешней информации.

Ключевые компоненты.

• Изучайте поиск и генерацию отдельно.
• Понимание архитектуры поиска (например, Dense Paragraph Retrieval (DPR), BM25) и генерации (например, GPT, BART, T5).

День 2: Создание собственной поисковой системы

Основная цель дня 2 - успешно внедрить систему поиска (пусть даже базовую). Ниже приведена разбивка тем дня 2:

Подробный обзор моделей поиска.

• Узнайте о разнице между плотным и разреженным поиском:
• Интенсивный поиск: DPR, ColBERT.
• Поиск в разреженном виде. BM25, TF-IDF.
• Изучите преимущества и недостатки каждого метода.

Реализация поиска.

• Для базовых поисковых задач используйте такие библиотеки, как elasticsearch (для плотного поиска) или faiss (для плотного поиска).
• Узнайте, как извлекать релевантные документы из базы знаний с помощью учебника по DPR от Hugging Face.

Базы знаний.

• Поймите структуру базы знаний.
• Узнайте, как подготовить данные к задачам поиска, таким как предварительная обработка корпораций и индексирование документов.

День 3: Тонкая настройка генеративной модели и наблюдение за результатами

Целью третьего дня была тонкая настройка модели генерации и наблюдение за результатами, чтобы понять роль поиска в повышении эффективности генерации. Ниже приведено распределение тем третьего дня:

Подробный обзор генеративного моделирования.

• Изучите обученные модели, такие как T5, GPT-2 и BART.
• Научитесь тонко настраивать процесс создания заданий (например, контрольных работ или конспектов).

Практическая отработка генерации моделей.

• Нанесение обнимающих средств для лица Трансформатор модель, оптимизируя ее на небольшом наборе данных.
• Тест использует генеративную модель для создания ответов на вопросы.

Исследование взаимодействия поиска и генерации.

• Исследуйте, как генеративная модель вводит полученные данные.
• Узнайте, как поиск может повысить точность и качество созданных ответов.

День 4: Внедрение оперативной системы RAG

Теперь мы ближе к нашей цели. Основной задачей на сегодня было реализовать рабочую систему RAG на простом наборе данных и ознакомиться с параметрами настройки. Вот распределение тем на четвертый день:

Комбинированный поиск и генерация:

• Интеграция генерируемых и извлекаемых компонентов в единую систему.
• Обеспечивает взаимодействие между получением результатов и созданием моделей.

Конвейер RAG с использованием LlamaIndex:

• Узнайте о возможностях конвейера RAG из официальной документации или учебников.
• Создайте и выполните пример с использованием модели RAG от LlamaIndex.

Практические эксперименты:

• Начните экспериментировать с различными параметрами, такими как количество извлекаемых документов, стратегия поиска пучков и масштабирование температуры.
• Попробуйте запустить модель на простых наукоемких задачах.

День 5: Создание и тонкая настройка более надежной системы RAG

Целью заключительного дня было создание более надежной модели RAG путем ее тонкой настройки и понимания различных типов моделей RAG. Ниже приведено распределение тем пятого дня:

• Расширенная тонкая настройка: Изучите, как оптимизировать компоненты генерации и поиска для решения задач, специфичных для конкретной области.
• Расширение: Масштабируйте свою систему RAG, используя большие массивы данных и более сложные базы знаний.
• Оптимизация производительности: Узнайте, как максимально эффективно использовать память и увеличить скорость поиска (например, с помощью faiss на GPU).
• Оценка: Узнайте, как оценивать модели RAG в наукоемких задачах, используя различные метрики, такие как BLEU, ROUGE и т. д., для оценки решения проблем.