UltraRAG: универсальное решение для системы RAG, упрощающее построение данных и точную настройку моделей

Общее введение

UltraRAG - это системное решение RAG (Retrieval Augmented Generation), совместно предложенное группой THUNLP Университета Цинхуа, группой NEUIR Северо-Восточного университета, компанией Modelbest.Inc и командой 9#AISoft. Фреймворк основан на гибком развертывании и модульном построении, обеспечивая автоматизированную систему построения данных, тонкой настройки модели и методов оценки выводов. UltraRAG значительно упрощает весь процесс от построения данных до тонкой настройки модели и помогает исследователям и разработчикам решать сложные задачи с высокой эффективностью. Его WebUI, не требующий программирования, позволяет пользователям легко управлять всей цепочкой процессов настройки и оптимизации, включая мультимодальное RAG-решение VisRAG.

Список функций

• Бескодовое программирование Поддержка WebUI: Пользователи могут осуществлять полный процесс настройки и оптимизации связей без опыта программирования.
• Композиция и тонкая настройка одним щелчком мыши: Основанная на запатентованных методах, таких как KBAlign и RAG-DDR, система поддерживает систематическое построение и получение данных одним щелчком мыши, а также оптимизацию производительности с помощью различных стратегий тонкой настройки модели.
• Многомерная, многоступенчатая надежная оценкаОсновная методология RAGEval в сочетании с многоступенчатым подходом к оценке значительно повышает надежность "оценки модели".
• Исследование дружелюбия Изучите интеграцию работы: Включает в себя запатентованную методологию группы THUNLP-RAG и другие передовые методы RAG для поддержки текущей разведки и разработки на уровне модулей.
• Быстрое развертывание: Поддерживает быстрое развертывание с помощью Docker и Conda, что позволяет пользователям быстро приступить к работе.

Использование помощи

экологическая зависимость

• Требуется CUDA версии 12.2 или выше.
• Версия Python должна быть 3.10 или выше.

Быстрое развертывание

Развертывание с помощью Docker

1. Выполните следующую команду:

   docker-compose up --build -d

2. Доступ в браузереhttp://localhost:8843.

Развертывание через Conda

1. Создайте среду Conda:

   conda create -n ultrarag python=3.10

2. Активируйте среду Conda:

   conda activate ultrarag

3. Установите соответствующие зависимости:

   pip install -r requirements.txt

4. Запустите следующий скрипт, чтобы загрузить модель (по умолчанию загружается вresources/models(Каталог):

   python scripts/download_models.py

5. Запустите демонстрационную страницу:

   streamlit run ultrarag/webui/webui.py --server.fileWatcherType none

Основные функции

Бескодовое программирование WebUI

1. Зайдите на страницу WebUI и выберите нужное решение RAG (например, VisRAG).
2. Настройка для построения данных, тонкой настройки модели и оценки выводов на основе подсказок.
3. При нажатии кнопки "Синтез и точная настройка в один клик" система автоматически завершит построение данных и точную настройку модели.

Многомерная, многоступенчатая надежная оценка

1. Выберите метод оценки RAGEval в WebUI.
2. Задайте параметры оценки и нажмите кнопку "Начать оценку".
3. Система автоматически проведет многоступенчатую оценку и создаст отчет об оценке.

Исследование дружелюбия Изучите интеграцию работы

1. Выберите нужный метод RAG в WebUI (например, THUNLP-RAG).
2. Следуйте подсказкам для изучения и разработки на уровне модуля.
3. Нажмите на кнопку "Начать исследование", и система автоматически начнет исследование и разработку.