Cognita: uma estrutura de código aberto para criar aplicativos RAG modulares e testar rapidamente diversas estratégias RAG

Introdução geral

A Cognita é uma estrutura de código aberto desenvolvida pela TrueFoundry para simplificar o desenvolvimento de aplicativos baseados em RAG (Retrieval-Augmented Generation). A estrutura oferece uma solução estruturada e modular que facilita a incorporação de aplicativos baseados em RAG. RAG A Cognita é compatível com várias fontes de dados, analisadores e modelos incorporados e oferece uma interface de usuário fácil de usar que permite que usuários não técnicos experimentem as configurações do RAG. Ele se integra perfeitamente aos sistemas existentes, oferece suporte à indexação incremental e a vários bancos de dados vetoriais e ajuda os desenvolvedores a obter iteração e implementação rápidas no desenvolvimento de aplicativos de IA.

Referenciar diferentes estratégias de RAG com base na modularidade do Langchain/LlamaIndex e fornecer uma interface fácil de usar para testar e liberar rapidamente aplicativos de nível de produção.

Lista de funções

• Projeto modular: divida o aplicativo RAG em módulos separados, como carregador de dados, analisador, incorporador e recuperador, para melhorar a reutilização e a manutenção do código.
• Interface de usuário intuitiva: fornece uma interface visual que permite aos usuários carregar documentos e realizar operações de Q&A com facilidade.
• Driver de API: suporta driver de API completo, fácil de integrar com outros sistemas.
• Indexação incremental: reindexar somente os documentos alterados, economizando recursos de computação.
• Suporte a várias fontes de dados: carregue dados de várias fontes de dados, como diretórios locais, S3, bancos de dados, etc.
• Suporte a vários modelos: incluindo OpenAI, Cohere e outros modelos incorporados e suporte a modelos de linguagem.
• Integração com banco de dados vetorial: integração perfeita com bancos de dados vetoriais, como Qdrant, SingleStore e outros.

Usando a Ajuda

Processo de instalação

Como o Cognita é um projeto Python de código aberto, o processo de instalação envolve as seguintes etapas:

1. armazém de clones::

   git clone https://github.com/truefoundry/cognita.git
   cd conhecimento
   

2. Configuração de um ambiente virtual(Prática recomendada):

   python -m venv .cognita_env
   fonte .cognita_env/bin/activate  # Unix
   .cognita_env\Scripts\activate  # Windows
   

3. Instalação de dependências::

   pip install -r requirements.txt
   

4. Configuração de variáveis de ambiente::
   • Copie .env.example para o arquivo .env e configure-o de acordo com suas necessidades, como chave de API, conexão de banco de dados, etc.

Diretrizes para uso

Carregamento de dados:

• Escolha uma fonte de dados: a Cognita suporta o carregamento de dados de arquivos locais, buckets de armazenamento S3, bancos de dados ou artefatos TrueFoundry. Escolha o tipo de fonte de dados mais adequado para você.
• Carregue ou configure os dados: se você escolher arquivos locais, carregue os arquivos diretamente. Se for outra fonte de dados, configure os direitos de acesso e o caminho.

Análise de dados:

• Select Parser (Selecionar analisador): de acordo com o tipo de documento (por exemplo, PDF, Markdown, arquivo de texto), selecione o analisador apropriado.
• Perform Parsing (Executar análise): Clique no botão Parsing (Análise) e o sistema converterá o documento em um formato uniforme.

Incorporação de dados:

• Select Embedded Model (Selecionar modelo incorporado): selecione o modelo incorporado (por exemplo, o modelo da OpenAI ou outros modelos de código aberto) de acordo com suas necessidades.
• Gerar incorporação: realiza operações de incorporação para converter o texto em uma representação vetorial para recuperação posterior.

Consulta e recuperação:

• Inserir uma consulta: insira sua consulta na interface do usuário ou por meio da API.
• Recuperar informações relevantes: o sistema recuperará os fragmentos de documentos mais relevantes no banco de dados de acordo com sua consulta.
• Generate Answers (Gerar respostas): Use o modelo de linguagem selecionado para gerar respostas com base nos segmentos recuperados.

Indexação incremental:

• Monitorar alterações de dados: a Cognita oferece a capacidade de indexar apenas documentos novos ou atualizados, aumentando a eficiência e economizando recursos de computação.

Operação da interface do usuário:

• Gerenciar coleções: você pode criar, excluir ou editar coleções de documentos na interface do usuário.
• Operação de perguntas e respostas: os usuários podem experimentar os efeitos do sistema RAG fazendo perguntas e respondendo diretamente na interface.

Operação da função em destaque

• Suporte multilíngue: se seus dados contiverem vários idiomas, você poderá aproveitar o suporte multilíngue da Cognita para Q&A multilíngue.
• Troca dinâmica de modelos: a Cognita permite que você alterne entre diferentes modelos de incorporação ou de linguagem sob demanda, sem precisar reimplantar todo o aplicativo.

Com as etapas e os recursos descritos acima, os usuários podem começar rapidamente e aproveitar a Cognita para criar e otimizar seus próprios aplicativos RAG para melhorar a recuperação e a geração de informações orientadas por IA.