Trieve: un servicio completo de infraestructura en la nube RAG que proporciona búsquedas, recomendaciones y análisis.

Introducción general

Trieve es una infraestructura integral desarrollada por Devflow, Inc. y diseñada para búsquedas, recomendaciones, RAG (retrieval augmentation generation) y análisis. La plataforma se sirve a través de una API, es autoalojada y está disponible para entornos como AWS, GCP, Kubernetes y Docker Compose.Trieve integra OpenAI y el modelo de incrustación de Jina, proporciona búsqueda vectorial semántica y es compatible con la búsqueda de texto completo/neural tolerante a errores tipográficos. Su sistema de recomendación ofrece recomendaciones de contenido personalizadas basadas en el comportamiento del usuario para mejorar su experiencia, y Trieve admite múltiples funciones de filtrado y agrupación para garantizar la precisión y relevancia de los resultados de búsqueda.

PDF to Markdown de código abierto (PDF2MD): https://github.com/devflowinc/trieve/tree/main/pdf2md

Lista de funciones

• autoalojado: Admite el autoalojamiento en entornos VPC o locales con guías detalladas de autoalojamiento.
• búsqueda vectorial semántica: Integre modelos incrustados OpenAI o Jina para proporcionar una búsqueda vectorial semántica de alta calidad.
• Búsqueda de tolerancia a errores tipográficos: Búsqueda neuronal de vectores dispersos tolerante a errores tipográficos mediante el modelo naver/efficient-splade-VI-BT-large-query.
• resaltado de cláusulasMejora la experiencia del usuario resaltando las palabras o frases coincidentes en los resultados de búsqueda.
• sistema de recomendaciónProporcionar recomendaciones personalizadas basadas en el comportamiento del usuario (por ejemplo, favoritos, marcadores, gustos).
• Enrutamiento API RAG: OpenRouter integrado con múltiples opciones de acceso LLM y soporte para la gestión de memoria temática.
• Búsqueda híbridaLa optimización de la reordenación con BAAI/bge-reranker-large proporciona los mejores resultados de búsqueda.
• Sesgo de frescuraEvita los resultados obsoletos sesgando los resultados de búsqueda en función de los contenidos más recientes.
• Comercialización ajustable: Ajuste la relevancia en función de señales como clics, añadir a la cesta o menciones.
• Filtración múltipleSoporta rango de fechas, concordancia de subcadena, etiqueta, valor numérico y muchos otros tipos de filtro.
• función de agrupación: La posibilidad de marcar varios bloques como parte del mismo archivo garantiza que no se dupliquen los mejores resultados.

Utilizar la ayuda

Proceso de instalación

1. Preparar el entornoAsegúrese de que están instalados los paquetes necesarios, como curl, gcc, g++, make, pkg-config, python3, libpq-dev, libssl-dev, etc.
2. Instalación de NodeJS y YarnInstala la versión LTS de NodeJS usando NVM e instala Yarn globalmente.
3. Configuración de variables de entornoCopia el archivo .env en el directorio correspondiente y añade la clave de la API de OpenAI.
4. Iniciar el servicio DockerInicie el servicio de contenedor requerido utilizando docker-compose.
5. desarrollo local: Utilice tmuxp o las pestañas del terminal para gestionar los servicios de desarrollo local e iniciar los módulos.

Normas de uso

1. Crear una cuentaVisite un servidor local, cree una cuenta y cargue un conjunto de datos de prueba.
2. Búsqueda de conjuntos de datosFunción: Realice una búsqueda de conjuntos de datos utilizando un servidor local para comprobar que la configuración funciona correctamente.
3. Depuración y asistenciaSi tienes problemas, obtén ayuda a través de Discord o utiliza diesel::debugquery(&query).tostring() depura las consultas SQL.

Funciones principales

1. búsqueda vectorial semánticaEl sistema: Tras cargar los datos, el sistema realizará automáticamente la vectorización, y el usuario podrá realizar búsquedas semánticas a través de la API.
2. sistema de recomendaciónRecomendación: a partir de los datos de comportamiento del usuario, el sistema generará automáticamente contenidos recomendados, y los usuarios podrán obtener los resultados recomendados a través de la API.
3. Enrutamiento API RAGLos usuarios pueden seleccionar diferentes LLM para el RAG funcionamiento, el sistema proporcionará los mejores resultados en función de la gestión de la memoria del sujeto.
4. Búsqueda híbridaBúsqueda híbrida: mediante la función de búsqueda híbrida, el sistema reordena y optimiza automáticamente para ofrecer los resultados de búsqueda más pertinentes.
5. Filtrado y agrupaciónLos usuarios pueden establecer diferentes filtros y agrupaciones según sea necesario para garantizar la precisión y pertinencia de los resultados de la búsqueda.

Gracias a la guía detallada de instalación y uso que figura más arriba, los usuarios podrán empezar a utilizar fácilmente las funciones de Trieve y aprovechar al máximo sus potentes capacidades de búsqueda, recomendación y análisis.