Cognita : un cadre open source pour construire des applications RAG modulaires et tester rapidement diverses stratégies RAG

Introduction générale

Cognita est un framework open source développé par TrueFoundry pour simplifier le développement d'applications basées sur RAG (Retrieval-Augmented Generation). Le framework fournit une solution structurée et modulaire qui permet d'incorporer facilement la technologie RAG. RAG Cognita prend en charge plusieurs sources de données, analyseurs et modèles intégrés, et offre une interface utilisateur conviviale qui permet aux utilisateurs non techniques d'expérimenter les configurations RAG. Cognita s'intègre parfaitement aux systèmes existants, prend en charge l'indexation incrémentale et plusieurs bases de données vectorielles, et aide les développeurs à réaliser des itérations et des déploiements rapides dans le cadre du développement d'applications d'IA.

Référencement de différentes stratégies RAG basées sur la modularité Langchain/LlamaIndex et fourniture d'une interface conviviale pour tester et publier rapidement des applications de niveau production.

Liste des fonctions

• Conception modulaire : diviser l'application RAG en modules distincts tels que le chargeur de données, l'analyseur, l'intégrateur et le récupérateur afin d'améliorer la réutilisation et la maintenance du code.
• Interface utilisateur intuitive : fournit une interface visuelle qui permet aux utilisateurs de télécharger facilement des documents et d'effectuer des opérations de questions et réponses.
• Pilote API : prend en charge le pilote API complet, ce qui facilite l'intégration avec d'autres systèmes.
• Indexation incrémentale : ne réindexer que les documents modifiés, ce qui permet d'économiser des ressources informatiques.
• Prise en charge de plusieurs sources de données : chargement de données à partir de plusieurs sources de données telles que des répertoires locaux, S3, des bases de données, etc.
• Prise en charge de modèles multiples : y compris OpenAI, Cohere et d'autres modèles intégrés, ainsi que la prise en charge de modèles linguistiques.
• Intégration des bases de données vectorielles : intégration transparente avec les bases de données vectorielles telles que Qdrant, SingleStore et autres.

Utiliser l'aide

Processus d'installation

Cognita étant un projet Python open source, le processus d'installation comporte les étapes suivantes :

1. entrepôt de clones: :

   git clone https://github.com/truefoundry/cognita.git
   cd cognita
   

2. Mise en place d'un environnement virtuel(pratique recommandée) :

   python -m venv .cognita_env
   source .cognita_env/bin/activate  # Unix
   .cognita_env\Scripts\activate  # Windows
   

3. Installation des dépendances: :

   pip install -r requirements.txt
   

4. Configuration des variables d'environnement: :
   • Copiez .env.example dans le fichier .env et configurez-le en fonction de vos besoins, tels que la clé API, la connexion à la base de données, etc.

Lignes directrices pour l'utilisation

Chargement des données :

• Choisissez une source de données : Cognita prend en charge le chargement de données à partir de fichiers locaux, de buckets de stockage S3, de bases de données ou d'artefacts TrueFoundry. Choisissez le type de source de données qui vous convient.
• Télécharger ou configurer les données : si vous choisissez des fichiers locaux, téléchargez directement les fichiers. S'il s'agit d'une autre source de données, configurez les droits d'accès et le chemin d'accès.

Analyse des données :

• Sélectionner l'analyseur : selon le type de document (par exemple PDF, Markdown, fichier texte), sélectionnez l'analyseur approprié. Cognita prend en charge l'analyse de plusieurs formats de fichiers par défaut.
• Effectuer l'analyse : cliquez sur le bouton Analyse et le système convertira le document dans un format uniforme.

L'intégration des données :

• Sélectionner le modèle intégré : sélectionnez le modèle intégré (par exemple, le modèle d'OpenAI ou d'autres modèles open source) en fonction de vos besoins.
• Générer l'intégration : effectue des opérations d'intégration pour convertir le texte en une représentation vectorielle en vue d'une recherche ultérieure.

Demande de renseignements et récupération :

• Saisir une requête : saisissez votre requête dans l'interface utilisateur ou via l'API.
• Extraction d'informations pertinentes : le système extrait les fragments de documents les plus pertinents de la base de données en fonction de votre requête.
• Générer des réponses : utiliser le modèle linguistique sélectionné pour générer des réponses basées sur les segments récupérés.

Indexation incrémentale :

• Contrôler les changements de données : Cognita permet d'indexer uniquement les documents nouveaux ou mis à jour, ce qui augmente l'efficacité et économise les ressources informatiques.

Fonctionnement de l'interface utilisateur :

• Gérer les collections : vous pouvez créer, supprimer ou modifier des collections de documents dans l'interface utilisateur.
• Fonctionnement par questions et réponses : les utilisateurs peuvent expérimenter les effets du système RAG en posant des questions et en obtenant des réponses directement à partir de l'interface.

Fonction en vedette Fonctionnement

• Support multilingue : Si vos données contiennent plusieurs langues, vous pouvez profiter du support multilingue de Cognita pour des questions et réponses multilingues.
• Changement de modèle dynamique : Cognita vous permet de passer d'un modèle d'intégration ou d'un modèle linguistique à l'autre à la demande, sans avoir à redéployer l'ensemble de l'application.

Grâce aux étapes et aux fonctionnalités décrites ci-dessus, les utilisateurs peuvent rapidement démarrer et tirer parti de Cognita pour créer et optimiser leurs propres applications RAG afin d'améliorer la recherche et la génération d'informations basées sur l'IA.