Deep Recall: una herramienta de código abierto que proporciona un marco de memoria de clase empresarial para modelos de gran tamaño.

Introducción general

Deep Recall es un marco de memoria empresarial de código abierto diseñado para modelos lingüísticos a gran escala (LLM). Proporciona una capacidad de respuesta hiperpersonalizada a través de una recuperación y una integración contextuales eficientes. El marco adopta una arquitectura de tres niveles, que incluye un servicio de memoria, un servicio de inferencia y un coordinador, y admite la inferencia optimizada para GPU y la integración de bases de datos vectoriales. No sólo mejora el conocimiento del contexto del modelo, sino que también genera respuestas personalizadas basadas en el historial y las preferencias del usuario, lo que lo hace ideal para escenarios que requieren interacciones profundamente personalizadas.

Lista de funciones

• Recuperación contextual eficiente: extraer rápidamente información relevante de las interacciones históricas de los usuarios.
• Generación de respuestas personalizadas: genere respuestas personalizadas basadas en las preferencias del usuario y en datos históricos.
• Inferencia optimizada para GPU: uso de GPU para acelerar el proceso de inferencia y mejorar la velocidad de procesamiento.
• Integración de bases de datos vectoriales: permite almacenar y consultar datos vectoriales a gran escala.
• Escalado automático: ajuste dinámicamente la asignación de recursos para adaptarse a las distintas demandas de carga.
• Compatibilidad con RESTful API: proporciona una interfaz cómoda para la gestión y recuperación de memoria.
• Supervisión y mantenimiento exhaustivos: herramientas de supervisión integradas para garantizar un funcionamiento estable del sistema.
• Sistema de escaneado de seguridad: Garantice la seguridad del código mediante el escaneado de dependencias, el análisis de código y mucho más.

Utilizar la ayuda

Proceso de instalación

Para utilizar Deep Recall, es necesario instalar y configurar las dependencias pertinentes en un entorno que soporte Python. A continuación se detallan los pasos de instalación:

1. Repositorio de código clonado
   Ejecute el siguiente comando en un terminal para obtener el código fuente de Deep Recall:

   git clone https://github.com/jkanalakis/deep-recall.git
   cd deep-recall
   

2. Creación de un entorno virtual
   Para evitar conflictos de dependencias, se recomienda crear un entorno virtual Python:

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   venv\Scripts\activate  # Windows
   

3. Instalación de dependencias
   Instale las dependencias de ejecución y desarrollo necesarias para el proyecto:

   pip install -r requirements.txt
   pip install -r requirements-dev.txt
   

4. Configuración de ganchos precommit
   Para garantizar la calidad del código, instale el gancho pre-commit:

   pre-commit install
   

5. Verificar la instalación
   Una vez finalizada la instalación, puede comprobar que el entorno está configurado correctamente ejecutando casos de prueba. Consulte la sección CONTRIBUTING.md para ejecutar el comando de prueba:

   pytest
   

Funciones principales

1. Búsqueda contextual y respuesta personalizada

La función principal de Deep Recall es generar respuestas personalizadas basadas en el historial de interacciones del usuario. El usuario llama al servicio de memoria a través de una API RESTful, y el sistema recupera el contexto pertinente de una base de datos vectorial y genera una respuesta basada en la entrada actual. Los pasos son los siguientes:

• Llamadas a la APIUtilice una solicitud POST para enviar el /memory/retrieve El endpoint envía el ID de usuario y la consulta. Ejemplo:

  curl -X POST http://localhost:8000/memory/retrieve \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "query": "推荐一部电影"}'
  

• procesamiento de respuestasAPI: la API devuelve datos JSON que contienen contexto y respuestas generadas que los desarrolladores pueden analizar y mostrar directamente a los usuarios.
• Personalización de la configuraciónEn el archivo de configuración config/memory_config.json para ajustar parámetros de recuperación como el tamaño de la ventana de contexto o los umbrales de similitud en el

2. Razonamiento optimizado para la GPU

Deep Recall admite la inferencia acelerada en la GPU para un procesamiento significativamente más rápido. Debe asegurarse de que CUDA y los controladores relacionados están instalados en su sistema. Pasos de configuración:

• Instalación de las dependencias de la GPU: Durante la instalación, asegúrese de que los archivos requirements.txt Las bibliotecas relacionadas con la GPU, como PyTorch, se han instalado correctamente.
• Inicie el servicio de razonamiento: ejecútelo en el directorio raíz del proyecto:

  python -m deep_recall.inference_service --gpu
  

• Verificar el uso de la GPU: Confirma a través de los registros que el servicio de inferencia está utilizando los recursos de la GPU.

3. Integración de bases de datos vectoriales

Deep Recall utiliza una base de datos vectorial para almacenar los datos de interacción del usuario y admite consultas eficientes. Procesos operativos:

• Inicialización de la base de datosEjecuta el script de inicialización para crear el índice vectorial:

  python scripts/init_vector_db.py
  

• Importación de datosImportar datos del historial de usuario a la base de datos mediante API o script. Ejemplo de llamada a la API:

  curl -X POST http://localhost:8000/memory/store \
  -H "Content-Type: application/json" \
  -d '{"user_id": "user123", "data": "用户喜欢科幻电影"}'
  

• Consultar datosUtiliza la API de recuperación para consultar los datos vectoriales almacenados bajo demanda.

4. Extensiones automatizadas

Deep Recall admite la asignación dinámica de recursos para escenarios de alta carga. Los usuarios pueden configurar el archivo config/scaling_config.json Establezca políticas de escalado como el número máximo de instancias o umbrales de carga. Inicie el servicio de coordinador:

python -m deep_recall.orchestrator

El coordinador ajusta automáticamente el número de instancias del servicio de inferencia en función de la carga.

Función destacada Operación

Sistema de escaneado seguro

Deep Recall cuenta con completas herramientas de análisis de seguridad integradas para garantizar la calidad del código. Método de funcionamiento:

• Ejecución de una exploración de dependenciasComprobación de vulnerabilidades conocidas en las dependencias de Python:

  safety check
  

• Análisis de seguridad del código: Utiliza Bandit para buscar problemas de seguridad en tu código:

  bandit -r deep_recall
  

• Ver informeLos resultados del análisis se guardan en los formatos JSON y Markdown en el archivo reports/ Catálogo para revisión por el usuario.

Ejemplo de cliente API

Deep Recall proporciona bibliotecas cliente Python y JavaScript para simplificar la integración de la API. Ejemplo de código Python:

from deep_recall_client import DeepRecallClient
client = DeepRecallClient("http://localhost:8000")
response = client.retrieve_memory(user_id="user123", query="推荐一部电影")
print(response["reply"])

Los usuarios también pueden consultar Reaccione Ejemplo de front-end para construir rápidamente interfaces interactivas.

advertencia

• Asegúrese de que su conexión de red es estable, las llamadas a la API pueden fallar debido a problemas de red.
• Realice periódicamente copias de seguridad de la base de datos de vectores, consulte docs/backup.md Configurar la copia de seguridad automática.
• sonda config/security_config.jsonPersonalice las reglas de exploración de seguridad.

escenario de aplicación

1. Robot de atención al cliente
   Deep Recall proporciona a los bots de atención al cliente una función de memoria que registra las preguntas y preferencias históricas de un usuario, generando respuestas más pertinentes a sus necesidades. Por ejemplo, en las plataformas de comercio electrónico, los bots pueden recomendar productos basándose en las compras anteriores de un usuario.
2. Plataforma de educación personalizada
   En la educación en línea, Deep Recall almacena el progreso y los intereses del alumno para generar sugerencias de aprendizaje personalizadas. Por ejemplo, sugiere preguntas de práctica adecuadas al nivel del alumno.
3. Desarrollo de asistentes inteligentes
   Los desarrolladores pueden utilizar Deep Recall para crear asistentes inteligentes que registren los hábitos del usuario y ofrezcan sugerencias contextualmente relevantes. Por ejemplo, el asistente puede recordar a los usuarios reuniones o tareas en función de sus horarios.
4. Sistema de recomendación de contenidos
   Deep Recall es adecuado para crear motores de recomendación de contenidos que analicen el historial de navegación de un usuario para recomendarle artículos, vídeos o productos relevantes. Por ejemplo, las plataformas de noticias pueden ofrecer información personalizada basada en las preferencias de lectura de los usuarios.
5. Gestión del conocimiento empresarial
   Las organizaciones pueden utilizar Deep Recall para crear bases de conocimiento internas, almacenar datos sobre las interacciones de los empleados y recuperar rápidamente información histórica. Por ejemplo, los equipos de asistencia técnica pueden utilizar el sistema para encontrar soluciones anteriores.

CONTROL DE CALIDAD

1. ¿Qué grandes modelos admite Deep Recall?
   Deep Recall es compatible con varios macromodelos de código abierto, como LLaMA, Mistral y BERT, y los usuarios pueden consultar la documentación oficial. docs/model_support.md Consulte la lista completa de ayudas.
2. ¿Cómo se garantiza la privacidad de los datos?
   Deep Recall admite la implantación local con datos almacenados en un servidor controlado por el usuario. Los usuarios pueden proteger aún más la privacidad de los datos mediante volúmenes cifrados o cortafuegos configurados.
3. ¿Necesita una GPU para funcionar?
   Las GPU pueden acelerar la inferencia, pero no son necesarias, y los entornos de CPU pueden ejecutar Deep Recall, aunque con velocidades de procesamiento ligeramente inferiores. Las GPU se recomiendan para escenarios de alta carga.
4. ¿Cómo se gestionan los fallos en las llamadas a la API?
   Compruebe la conectividad de la red y la configuración del punto final de la API. Si el problema persiste, compruebe los archivos de registro logs/service.log O ponte en contacto con el correo electrónico oficial de asistencia.
5. ¿Admite datos multilingües?
   Sí, la base de datos vectorial de Deep Recall admite el almacenamiento y la recuperación de texto en varios idiomas para escenarios de aplicación internacionalizados.