PrivateGPT: un sistema de preguntas y respuestas sobre documentos con un flujo de procesamiento RAG totalmente localizado

Introducción general

PrivateGPT es un proyecto de IA disponible para entornos de producción que permite a los usuarios cuestionar documentos utilizando Large Language Models (LLMs) sin conexión a Internet. El proyecto garantiza la privacidad de los datos para 100%, y todos los datos se procesan en el entorno de ejecución del usuario sin divulgación.PrivateGPT fue desarrollado por el equipo de Zylon para proporcionar una API que soporte la construcción de aplicaciones de IA privadas y conscientes del contexto. El proyecto sigue y amplía el estándar OpenAI API para admitir tanto respuestas normales como en streaming.PrivateGPT es adecuado para dominios que requieren un alto grado de privacidad de los datos, como la sanidad y la abogacía.

Proyectos similares:Kotaemon: una herramienta multimodal de código abierto para cuestionarios sobre documentos, fácil de implantar

Lista de funciones

• Ingesta de documentos: Gestiona el análisis sintáctico de documentos, la división, la extracción de metadatos, la generación de incrustaciones y el almacenamiento.
• Chat & Finish: Conversación y finalización de tareas utilizando el contexto del documento ingestado.
• Generación de incrustaciones: Genera incrustaciones basadas en texto.
• Búsqueda por bloques de contexto: ingiere los bloques de texto más relevantes de un documento en función de la consulta devuelta.
• Gradio UI Client: proporciona un cliente funcional para probar la API.
• Herramientas para secuencias de comandos de descarga de modelos por lotes, secuencias de comandos de ingestión, supervisión de carpetas de documentos, etc.

Utilizar la ayuda

Proceso de instalación

1. almacén de clonesPrimero, clona el repositorio GitHub de PrivateGPT.

   git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt

2. Instalación de dependencias: UsopipInstale las dependencias de Python necesarias.

   pip install -r requirements.txt

3. Entorno de configuraciónConfigure las variables de entorno y los archivos de configuración según sea necesario.

   cp settings-example.yaml settings.yaml
# 编辑settings.yaml文件，配置相关参数

4. Inicio de los serviciosInicia el servicio utilizando Docker.

   docker-compose up -d

Uso de la función de preguntas y respuestas de la documentación

1. ingesta de documentos: Coloque los documentos a procesar en la carpeta especificada y ejecute el script de ingestión.

   python scripts/ingest.py --input-folder path/to/documents

2. Preguntas y respuestas: Utiliza el cliente Gradio UI para las interacciones de preguntas y respuestas.

   python app.py
# 打开浏览器访问http://localhost:7860

Uso de la API a alto nivel

1. Análisis sintáctico de documentos y generación de incrustaciones: Análisis sintáctico de documentos y generación de incrustaciones mediante API de alto nivel.

   from private_gpt import HighLevelAPI
api = HighLevelAPI()
api.ingest_documents("path/to/documents")

2. Búsqueda contextual y generación de respuestas: Recuperación de contexto y generación de respuestas mediante API de alto nivel.

   response = api.chat("你的问题")
print(response)

Uso de la API de bajo nivel

1. Generación de incrustaciones: Genera texto incrustado utilizando la API de bajo nivel.

   from private_gpt import LowLevelAPI
api = LowLevelAPI()
embedding = api.generate_embedding("你的文本")

2. búsqueda de bloques contextuales: Recuperación de bloques de contexto mediante API de bajo nivel.

   chunks = api.retrieve_chunks("你的查询")
print(chunks)

Uso de herramientas

1. Descarga de modelos por lotesUtilice el script Descarga masiva de modelos para descargar los modelos necesarios.

   python scripts/download_models.py

2. Supervisión de la carpeta Documentos: Ingesta automática de nuevos documentos mediante la herramienta Document Folder Monitor.

   python scripts/watch_folder.py --folder path/to/documents