Trieve: облачная инфраструктура RAG с полным спектром услуг, обеспечивающая поиск, рекомендации и аналитику

Общее введение

Trieve - это всеобъемлющая инфраструктура, разработанная компанией Devflow, Inc. и предназначенная для поиска, рекомендаций, RAG (генерации дополнений к поиску) и аналитики. Платформа обслуживается через API, является самодостаточной и доступна для таких сред, как AWS, GCP, Kubernetes и Docker Compose. Trieve интегрирует OpenAI и модель встраивания Jina, обеспечивает семантический векторный поиск и поддерживает полнотекстовый/нейронный поиск, устойчивый к опечаткам. Его рекомендательная система обеспечивает персонализированные рекомендации контента на основе поведения пользователей для повышения удобства работы с ним. Trieve поддерживает множество функций фильтрации и группировки для обеспечения точности и релевантности результатов поиска.

PDF в Markdown с открытым исходным кодом (PDF2MD): https://github.com/devflowinc/trieve/tree/main/pdf2md

Список функций

• самостоятельный хостинг: Поддержка самостоятельного хостинга в VPC или локальных средах с подробными руководствами по самостоятельному хостингу.
• семантический векторный поиск: Интеграция встроенных моделей OpenAI или Jina для обеспечения высококачественного семантического векторного поиска.
• Поиск допустимых опечаток: Обеспечение толерантного к опечаткам нейронного поиска разреженных векторов с использованием модели naver/efficient-splade-VI-BT-large-query.
• выделение пунктов: Повысьте удобство использования, выделяя совпадающие слова или предложения в результатах поиска.
• рекомендательная система: Предоставление персонализированных рекомендаций на основе поведения пользователя (например, избранное, закладки, "нравится").
• Маршрутизация API RAG: Интегрируется с OpenRouter, предоставляет несколько вариантов доступа к LLM и поддерживает управление памятью тем.
• Гибридный поиск: Оптимизация упорядочивания с помощью BAAI/bge-reranker-large обеспечивает наилучшие результаты поиска.
• Предвзятое отношение к свежести: Предотвращайте появление неактуальных результатов, ориентируясь на самое свежее содержимое.
• Регулируемая коммерциализация: Регулируйте релевантность на основе таких сигналов, как клики, добавление в корзину или цитирование.
• Многократная фильтрацияПоддержка диапазона дат, совпадения подстрок, меток, числовых значений и многих других типов фильтров.
• функция группировки: Поддержка маркировки нескольких блоков как части одного файла гарантирует, что лучшие результаты не будут дублироваться.

Использование помощи

Процесс установки

1. Подготовка среды: Убедитесь, что установлены необходимые пакеты, такие как curl, gcc, g++, make, pkg-config, python3, libpq-dev, libssl-dev и т.д.
2. Установка NodeJS и Yarn: Установите версию NodeJS LTS с помощью NVM и установите Yarn глобально.
3. Установка переменных окружения: Скопируйте файл .env в соответствующую директорию и добавьте ключ API OpenAI.
4. Запуск службы Docker: Запустите необходимый контейнерный сервис с помощью docker-compose.
5. местное развитие: Используйте tmuxp или вкладки терминала для управления локальными службами разработки и запуска модулей.

Руководство по использованию

1. Создать учетную запись: Зайдите на локальный сервер, создайте учетную запись и загрузите тестовый набор данных.
2. Поиск наборов данных: Выполните поиск по набору данных с помощью локального сервера, чтобы убедиться в правильности настройки.
3. Отладка и поддержка: Если у вас возникнут проблемы, обратитесь за поддержкой в Discord или используйте diesel::debugquery(&query).tostring() отлаживает SQL-запросы.

Основные функции

1. семантический векторный поиск: После загрузки данных система автоматически выполнит векторизацию, а пользователь сможет осуществлять семантический поиск через API.
2. рекомендательная система: На основе данных о поведении пользователей система будет автоматически генерировать рекомендуемый контент, а пользователи смогут получать рекомендованные результаты через API.
3. Маршрутизация API RAG: Пользователи могут выбирать различные LLM для RAG система обеспечит наилучшие результаты, основываясь на управлении памятью.
4. Гибридный поиск: Используя функцию гибридного поиска, система автоматически упорядочивает и оптимизирует результаты поиска, чтобы обеспечить их наибольшую релевантность.
5. Фильтрация и группировкаПользователи могут устанавливать различные фильтры и группировки по мере необходимости, чтобы обеспечить точность и релевантность результатов поиска.

С помощью подробного руководства по установке и использованию пользователи смогут легко начать работу с функциями Trieve и воспользоваться всеми преимуществами его мощных возможностей поиска, рекомендаций и анализа.