Trieve: uma infraestrutura de nuvem RAG de serviço completo que fornece pesquisa, recomendações e análises

Introdução geral

A Trieve é uma infraestrutura abrangente desenvolvida pela Devflow, Inc., projetada para pesquisa, recomendações, RAG (geração de aumento de recuperação) e análise. A plataforma é servida por meio de uma API, é auto-hospedada e está disponível para ambientes como AWS, GCP, Kubernetes e Docker Compose. A Trieve integra o OpenAI e o modelo de incorporação da Jina, fornece pesquisa vetorial semântica e oferece suporte à pesquisa de texto completo/neural tolerante a erros de digitação. O Trieve também oferece suporte a várias funções de filtragem e agrupamento para garantir a precisão e a relevância dos resultados da pesquisa, e seu sistema de recomendação fornece recomendações de conteúdo personalizadas com base no comportamento do usuário para aprimorar a experiência do usuário.

PDF de código aberto para Markdown (PDF2MD): https://github.com/devflowinc/trieve/tree/main/pdf2md

Lista de funções

• auto-hospedadoSuporte à auto-hospedagem em ambientes VPC ou locais com guias detalhados de auto-hospedagem.
• pesquisa vetorial semânticaIntegração de modelos de incorporação OpenAI ou Jina para fornecer pesquisa vetorial semântica de alta qualidade.
• Pesquisa de tolerância a erros de digitaçãoPesquisa de vetor esparso neural tolerante a erros de digitação usando o modelo naver/efficient-splade-VI-BT-large-query.
• realce de cláusulasAprimore a experiência do usuário destacando palavras ou frases correspondentes nos resultados da pesquisa.
• sistema de recomendaçãoRecomendações personalizadas com base no comportamento do usuário (por exemplo, favoritos, marcadores, curtidas).
• Roteamento da API RAGOpenRouter integrado com várias opções de acesso LLM e suporte para gerenciamento de memória de tópicos.
• Pesquisa híbridaOtimização de reordenação com BAAI/bge-reranker-large para fornecer os melhores resultados de pesquisa.
• Viés de frescorEvite resultados desatualizados, orientando os resultados da pesquisa com base no conteúdo mais recente.
• Comercialização ajustávelAjuste a relevância com base em sinais como cliques, adição ao carrinho ou citações.
• Filtragem múltiplaFiltro de data: suporta intervalo de datas, correspondência de substring, rótulo, valor numérico e muitos outros tipos de filtro.
• função de agrupamentoSuporte à marcação de vários blocos como parte do mesmo arquivo: garante que os principais resultados não sejam repetidos.

Usando a Ajuda

Processo de instalação

1. Preparação do ambienteVerifique se os pacotes necessários, como curl, gcc, g++, make, pkg-config, python3, libpq-dev, libssl-dev etc., estão instalados.
2. Instalação do NodeJS e do YarnInstalação: Instale a versão LTS do NodeJS usando o NVM e instale o Yarn globalmente.
3. Definição de variáveis de ambienteCopie o arquivo .env para o diretório apropriado e adicione a chave da API do OpenAI.
4. Iniciando o serviço do DockerInicie o serviço de contêiner necessário usando o docker-compose.
5. desenvolvimento localUse o tmuxp ou as guias do terminal para gerenciar os serviços de desenvolvimento local e iniciar os módulos.

Diretrizes para uso

1. Criar uma contaVisite um servidor local, crie uma conta e carregue um conjunto de dados de teste.
2. Pesquisar conjuntos de dadosExecute uma pesquisa de conjunto de dados usando um servidor local para verificar se a configuração está funcionando corretamente.
3. Depuração e suporteSe você encontrar problemas, obtenha suporte por meio do Discord ou use diesel::debugquery(&query).tostring() depura as consultas SQL.

Funções principais

1. pesquisa vetorial semânticaApós o upload dos dados, o sistema realizará automaticamente a vetorização e o usuário poderá realizar a pesquisa semântica por meio da API.
2. sistema de recomendaçãoCom base nos dados de comportamento do usuário, o sistema gerará automaticamente o conteúdo recomendado, e os usuários poderão obter os resultados recomendados por meio da API.
3. Roteamento da API RAGOs usuários podem selecionar LLMs diferentes para o RAG o sistema fornecerá os melhores resultados com base no gerenciamento de memória do assunto.
4. Pesquisa híbridaUsando a função de pesquisa híbrida, o sistema reordena e otimiza automaticamente para fornecer os resultados de pesquisa mais relevantes.
5. Filtragem e agrupamentoOs usuários podem definir diferentes filtros e agrupamentos, conforme necessário, para garantir a precisão e a relevância dos resultados da pesquisa.

Com o guia detalhado de instalação e uso acima, os usuários podem começar a usar facilmente os recursos do Trieve e aproveitar ao máximo seus poderosos recursos de pesquisa, recomendação e análise.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>