Chat más denso: interactuar con archivos PDF, resaltar el código fuente

Introducción general

Denser Chat es un proyecto de chatbot desarrollado y mantenido por denser.ai para extraer texto y tablas de archivos PDF y páginas web con resaltado de código fuente. El proyecto soporta la construcción de chatbots basados en denser-retriever y proporciona aplicaciones de chatbot interactivas Streamlit. Los usuarios pueden desplegar y utilizar rápidamente el chatbot para responder a preguntas relacionadas con contenidos PDF y web con una instalación y configuración sencillas.

Lista de funciones

• Extraer texto y tablas de archivos PDF y páginas web
• Creación de un chatbot basado en denser-retriever
• Soporte para aplicaciones interactivas de chatbot Streamlit
• Función de resaltado del código fuente
• Admite múltiples formatos de archivo y URL como fuentes de datos
• Inicio de los servicios Elasticsearch y Milvus con Docker Compose
• Utilice OpenAI o Claude API para ofrecer funciones de chat

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/denser-org/denser-chat.git

2. Vaya al directorio del proyecto e inicie el entorno virtual (asegúrese de que la versión de Python es la 3.11):

   cd denser-chat
python -m venv .venv
source .venv/bin/activate

3. Instale los paquetes necesarios:

   pip install -e .

O usa Poesía:

   poetry install

Inicio rápido

1. Antes de construir los índices, ejecute Docker Compose para iniciar los servicios Elasticsearch y Milvus:

   cd denser_chat
docker compose up -d

2. Construir un índice de chatbot:

   python build.py sources.txt output test_index

donde el primer parámetro es el archivo utilizado para construir el chatbot, que puede ser un archivo PDF local, un PDF URL, o una URL. el segundo parámetro es el directorio de salida, y el tercer parámetro es el nombre del índice.

3. Inicie el servidor local para proporcionar servicios PDF:

   python -m http.server 8000

4. Inicie la aplicación Streamlit:

   cd denser_chat
streamlit run demo.py -- --index_name test_index

Funciones de uso

• Extraer texto y tablasCarga un archivo PDF o introduce la URL de una página web y Denser Chat extraerá automáticamente el texto y el contenido de las tablas.
• Resaltado del código fuenteDurante el chat, Denser Chat resalta el código fuente relevante en el archivo PDF para facilitar su visualización y comprensión.
• chat interactivo: Mediante la configuración de OpenAI o Claude API keys, los usuarios pueden interactuar con los chatbots para obtener respuestas precisas.

Procedimiento de funcionamiento detallado

1. Cargar archivosSeleccione y cargue un archivo PDF en la interfaz de la aplicación o introduzca la URL de una página web.
2. hacer preguntas: Escriba preguntas en la ventana de chat, como "¿Qué es el muestreo negativo dentro de un lote?" o "¿Qué piezas tienen pasadores de tope?". .
3. Ver resultadosChat más denso: Denser Chat devolverá las respuestas resaltadas, lo que facilitará a los usuarios localizar rápidamente el contenido relevante.