PrivateGPT : un système de questions et réponses sur les documents avec un flux de traitement RAG entièrement localisé

Introduction générale

PrivateGPT est un projet d'IA disponible pour les environnements de production qui permet aux utilisateurs d'interroger des documents à l'aide de grands modèles de langage (LLM) sans connexion Internet. Le projet garantit la confidentialité des données pour 100%, et toutes les données sont traitées dans l'environnement d'exécution de l'utilisateur sans divulgation.PrivateGPT a été développé par l'équipe de Zylon pour fournir une API qui soutient la construction d'applications d'IA privées et conscientes du contexte. Le projet suit et étend la norme API OpenAI pour prendre en charge les réponses normales et en continu. PrivateGPT convient aux domaines qui exigent un degré élevé de confidentialité des données, tels que les soins de santé et le droit.

Projets similaires :Kotaemon : un outil de quiz sur les documents multimodaux, simple à déployer et open source

Liste des fonctions

• Ingestion de documents : gestion de l'analyse syntaxique des documents, du découpage, de l'extraction des métadonnées, de la génération de l'intégration et du stockage.
• Chat & Finish : Conversation et achèvement de tâches en utilisant le contexte du document ingéré.
• Génération de l'encapsulation : génère l'encapsulation sur la base du texte.
• Recherche par bloc de contexte : cette fonction permet d'intégrer les blocs de texte les plus pertinents dans un document en fonction des résultats de la requête.
• Gradio UI Client : fournit un client fonctionnel pour tester l'API.
• Outils pour les scripts de téléchargement de modèles par lots, les scripts d'ingestion, la surveillance des dossiers de documents, etc.

Utiliser l'aide

Processus d'installation

1. entrepôt de clonesPour cela, il faut d'abord cloner le dépôt GitHub de PrivateGPT.

   git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt

2. Installation des dépendances: UtilisationpipInstallez les dépendances Python requises.

   pip install -r requirements.txt

3. Environnement de configurationLes fichiers de configuration et les variables d'environnement peuvent être configurés selon les besoins.

   cp settings-example.yaml settings.yaml
# 编辑settings.yaml文件，配置相关参数

4. Démarrage des servicesDémarrer le service à l'aide de Docker.

   docker-compose up -d

Utilisation de la fonction Q&R de la documentation

1. l'ingestion de documentsLe système d'ingestion est un système de gestion des documents qui consiste à placer les documents à traiter dans le dossier spécifié et à exécuter le script d'ingestion.

   python scripts/ingest.py --input-folder path/to/documents

2. Interaction Q&RLes interactions avec le client Gradio UI : Utilisez le client Gradio UI pour les interactions avec les questions et réponses.

   python app.py
# 打开浏览器访问http://localhost:7860

Utilisation de l'API de haut niveau

1. Analyse syntaxique des documents et génération d'encartsLe projet a pour but d'améliorer la qualité de l'information et de la communication dans le domaine de l'environnement.

   from private_gpt import HighLevelAPI
api = HighLevelAPI()
api.ingest_documents("path/to/documents")

2. Recherche contextuelle et génération de réponses: Recherche de contexte et génération de réponses à l'aide d'API de haut niveau.

   response = api.chat("你的问题")
print(response)

Utilisation de l'API de bas niveau

1. Génération de l'intégrationGénérer un texte intégré à l'aide de l'API de bas niveau.

   from private_gpt import LowLevelAPI
api = LowLevelAPI()
embedding = api.generate_embedding("你的文本")

2. recherche par bloc de contexteLe projet de recherche de blocs contextuels à l'aide d'interfaces de programmation de bas niveau (API).

   chunks = api.retrieve_chunks("你的查询")
print(chunks)

Utilisation de l'ensemble d'outils

1. Modèle de lot TéléchargerTélécharger les modèles : Utilisez le script de téléchargement de modèles en masse pour télécharger les modèles requis.

   python scripts/download_models.py

2. Surveillance des dossiers de documentsLes nouveaux documents sont automatiquement intégrés à l'aide de l'outil Document Folder Monitor.

   python scripts/watch_folder.py --folder path/to/documents