Danswer: un asistente de IA para la gestión del conocimiento empresarial y la búsqueda de documentos, que integra múltiples herramientas de trabajo

Introducción general

Danswer es un asistente de IA de recuperación de documentos empresariales de código abierto diseñado para conectarse a los documentos, las aplicaciones y las personas de un equipo con el fin de proporcionar respuestas unificadas de búsqueda y consultas en lenguaje natural a través de una interfaz de chat inteligente y capacidades de búsqueda unificadas. Garantiza que los datos de usuario y los registros de chat estén totalmente controlados por el usuario. Su diseño modular y su fácil escalabilidad lo convierten en una herramienta ideal para la gestión del conocimiento y la colaboración en equipo.

Actualmente renombrado ónice y refactorizado la gran mayoría de las funciones.

Lista de funciones

• Interfaz de chatDiálogo con documentos, seleccionando documentos específicos con los que interactuar.
• Asistente AI personalizado: Crea asistentes de IA con diferentes consejos y bases de conocimientos.
• Búsqueda de documentos: Proporciona búsqueda de documentos y respuestas de inteligencia artificial para consultas en lenguaje natural.
• Múltiples conectoresConectividad con herramientas de trabajo comunes como Google Drive, Confluence, Slack, etc.
• Integración con SlackObtén respuestas y resultados de búsqueda directamente en Slack.
• autenticación de usuarios: Proporciona gestión de acceso a nivel de documento.
• Gestión de funcionesGestión de roles: admite la gestión de roles para administradores y usuarios normales.
• Persistencia del registro de chat: Guarda los registros de chat para consultas de seguimiento.
• Configuración de la interfaz de usuario: Proporciona una interfaz de usuario para configurar asistentes y avisos de IA.
• apoyo multimodal: Soporte para el diálogo con imágenes, vídeos, etc. (previsto).
• Invocación de herramientas y configuración de proxy: Proporciona llamadas a la herramienta y opciones de configuración del agente (previstas).

Utilizar la ayuda

Proceso de instalación

1. despliegue local::
   • Descargue e instale Docker.
   • Clona el repositorio GitHub de Danswer.
   • Navegue hasta el directorio del proyecto en el terminal y ejecutedocker-compose upComando.
   • Abra su navegador y visitehttp://localhost:8000Empecé a usar Danswer.
2. Despliegue en la nube::
   • Instale Docker en la máquina virtual.
   • Clona el repositorio GitHub de Danswer.
   • Navegue hasta el directorio del proyecto en el terminal y ejecutedocker-compose upComando.
   • Configure el nombre de dominio y el certificado SSL para garantizar un acceso seguro.
3. Despliegue de Kubernetes::
   • Instalar y configurar un clúster Kubernetes.
   • Clona el repositorio GitHub de Danswer.
   • Busque el archivo de despliegue de Kubernetes en el directorio del proyecto y ejecute el comando kubectl adecuado para desplegarlo.

Normas de uso

1. Interfaz de chat::
   • Abre la aplicación web de Danswer, conéctate y ve a la pantalla de chat.
   • Seleccione el documento con el que desea dialogar, introduzca una pregunta en lenguaje natural y Danswer le proporcionará la respuesta pertinente.
2. Asistente AI personalizado::
   • En la interfaz de administrador, cree un nuevo asistente de IA.
   • Configure los consejos y la base de conocimientos del asistente y guarde los ajustes.
   • Selecciona diferentes asistentes de IA con los que hablar en la pantalla de chat.
3. Búsqueda de documentos::
   • Introduzca una consulta en lenguaje natural en la barra de búsqueda y Danswer le devolverá los documentos pertinentes y las respuestas generadas por la IA.
   • Permite filtrar y ordenar los resultados de búsqueda para encontrar rápidamente la información que necesita.
4. Integración con Slack::
   • Instale la aplicación Danswer en Slack.
   • Configure la conexión de Danswer a Slack para autorizar el acceso a los canales pertinentes.
   • Introduzca una consulta directamente en Slack y Danswer le devolverá los resultados de la búsqueda y las respuestas.
5. Autenticación de usuarios y gestión de funciones::
   • Añade y gestiona usuarios en la interfaz de administrador.
   • Configure los derechos de acceso y las funciones de los usuarios para garantizar la seguridad de los datos.
6. Persistencia del registro de chat::
   • Todos los chats se guardarán automáticamente y los usuarios podrán consultar el historial en cualquier momento.
   • Admite la búsqueda y el filtrado de registros de chat, lo que facilita la búsqueda de conversaciones anteriores.

Funciones destacadas

• Búsqueda eficienteCombinación de los modelos de incrustación BM-25 y prefijo-consciente para proporcionar una experiencia de búsqueda híbrida óptima.
• Modelos personalizados: Admite modelos de aprendizaje profundo personalizados y aprendizaje a partir de los comentarios de los usuarios.
• Múltiples opciones de despliegueSoporta despliegues locales, en la nube y en Kubernetes, adaptándose de forma flexible a las necesidades de equipos de diferentes tamaños.
• apoyo multimodal: Las versiones futuras permitirán el diálogo con imágenes, vídeos, etc. para mejorar la experiencia del usuario.
• Invocación de herramientas y configuración de proxy: Ofrece opciones flexibles de invocación de herramientas y configuración de agentes para satisfacer las necesidades de distintos equipos.
• Conocimiento de la organización y asesoramiento de expertos: Danswer será capaz de reconocer a los expertos del equipo y proporcionarles consejos pertinentes para mejorar la colaboración en equipo.

Visión general del sistema

Explicación de los distintos componentes y procesos del sistema

En esta página se explica cómo funciona Danswer a alto nivel. El objetivo es que nuestro diseño sea más transparente. De este modo, podrá sentirse seguro al utilizar Danswer.

O, si quieres personalizar el sistema o convertirte en colaborador de código abierto, éste es un buen punto de partida.

arquitectura del sistema

Tanto si Danswer se despliega en una única instancia como en una plataforma de orquestación de contenedores, el flujo de datos es el mismo. Los documentos se extraen y procesan a través de conectores y, a continuación, se almacenan de forma persistente en Vespa/Postgres ejecutándose en contenedores del sistema.

El único momento en que los datos sensibles salen de tu configuración de Danswer es cuando llama a LLM para generar la respuesta. La persistencia de los datos en la API de LLM depende de las condiciones del servicio de alojamiento de LLM que utilices.

También señalamos que Danswer dispone de algunos datos de telemetría muy limitados y anonimizados, que nos ayudan a mejorar el sistema identificando cuellos de botella y conectores de datos poco fiables. Puedes desactivar la telemetría estableciendo la variable de entorno DISABLE_TELEMETRY en True.

flujo incrustado

Cada documento se divide en partes más pequeñas llamadas "trozos".

Al pasar bloques al LLM en lugar del documento completo, podemos reducir el ruido en el modelo pasando sólo las partes relevantes del documento. Además, esto mejora significativamente la rentabilidad, ya que los servicios de LLM suelen cobrarse por token. Por último, al incrustar bloques en lugar de documentos completos, podemos conservar más detalles, ya que cada vector incrustado sólo puede codificar una cantidad limitada de información.

Añadir microbloques profundiza aún más este concepto. Al incorporar distintos tamaños, Danswer puede recuperar contexto y detalles de alto nivel. Los microbloques también pueden activarse o desactivarse mediante variables de entorno, ya que la generación de múltiples vectores por bloque puede ralentizar la indexación de documentos en caso de bajo rendimiento del hardware.

Al elegir nuestro modelo de incrustación, utilizamos el codificador dual más avanzado, que es lo suficientemente pequeño como para funcionar en una CPU y mantener los tiempos de recuperación de documentos por debajo del segundo.

Proceso de consulta

Este flujo suele actualizarse a medida que nos esforzamos continuamente por ampliar las capacidades del canal de recuperación para aprovechar los últimos avances de las comunidades de investigación y de código abierto. Tenga en cuenta también que muchos de los parámetros de este flujo, como cuántos documentos recuperar, cuántos reordenar, qué modelos utilizar, qué bloques pasar a LLM, etc., son configurables.