Deep Recall : un outil open source qui fournit un cadre de mémoire de classe entreprise pour les grands modèles

Dernières ressources sur l'IAPosté il y a 4 mois Cercle de partage de l'IA

9.9K 00

Introduction générale

Deep Recall est un cadre de mémoire open source de qualité professionnelle conçu pour les modèles de langage à grande échelle (LLM). Il offre une réactivité hyperpersonnalisée grâce à une récupération et une intégration contextuelles efficaces. Deep Recall adopte une architecture à trois niveaux, comprenant un service de mémoire, un service d'inférence et un coordinateur, et prend en charge l'inférence optimisée par le GPU et l'intégration de la base de données vectorielle. Il améliore non seulement la connaissance du contexte du modèle, mais génère également des réponses personnalisées basées sur l'historique et les préférences de l'utilisateur, ce qui le rend idéal pour les scénarios qui nécessitent des interactions profondément personnalisées.

Liste des fonctions

Recherche contextuelle efficace : extraction rapide d'informations pertinentes à partir de l'historique des interactions avec l'utilisateur.
Génération de réponses personnalisées : générer des réponses personnalisées en fonction des préférences de l'utilisateur et des données historiques.
Inférence optimisée par le GPU : utilisation des GPU pour accélérer le processus d'inférence et améliorer la vitesse de traitement.
Intégration de la base de données vectorielle : permet de stocker et d'interroger efficacement des données vectorielles à grande échelle.
Mise à l'échelle automatisée : ajustement dynamique de l'allocation des ressources pour s'adapter aux différentes demandes de charge.
Prise en charge de l'API RESTful : fournit une interface pratique pour la gestion et la récupération de la mémoire.
Surveillance et maintenance complètes : des outils de surveillance intégrés garantissent un fonctionnement stable du système.
Système d'analyse de la sécurité : assurez la sécurité du code grâce à l'analyse des dépendances, l'analyse du code et bien plus encore.

Utiliser l'aide

Processus d'installation

Pour utiliser Deep Recall, vous devez installer et configurer les dépendances nécessaires dans un environnement qui supporte Python. Voici les étapes détaillées de l'installation :

Cloner le dépôt de code
Exécutez la commande suivante dans un terminal pour obtenir le code source de Deep Recall :
```
git clone https://github.com/jkanalakis/deep-recall.git
cd deep-recall
```
Créer un environnement virtuel
Pour éviter les conflits de dépendances, il est recommandé de créer un environnement virtuel Python :
```
python -m venv venv
source venv/bin/activate  # Linux/macOS
venv\Scripts\activate  # Windows
```
Installation des dépendances
Installez les dépendances d'exécution et de développement nécessaires au projet :
```
pip install -r requirements.txt
pip install -r requirements-dev.txt
```
Configuration des hooks de précommission
Pour garantir la qualité du code, installez le crochet de pré-commission :
```
pre-commit install
```
Vérifier l'installation
Une fois l'installation terminée, vous pouvez vérifier que l'environnement est correctement configuré en exécutant des cas de test. Reportez-vous à la page CONTRIBUTING.md pour exécuter la commande de test :
```
pytest
```

Principales fonctions

1. recherche contextuelle et réponse personnalisée

La fonctionnalité principale de Deep Recall est de générer des réponses personnalisées basées sur l'historique des interactions de l'utilisateur. L'utilisateur appelle le service de mémoire via une API RESTful, et le système récupère le contexte pertinent dans une base de données vectorielle et génère une réponse basée sur l'entrée actuelle. Les étapes sont les suivantes :

Appels de l'API: Utilisez une requête POST pour envoyer un message à l'adresse suivante /memory/retrieve Le point d'accès envoie l'identifiant de l'utilisateur et la requête. Exemple : le point de terminaison envoie l'identifiant de l'utilisateur et la requête :
```
curl -X POST http://localhost:8000/memory/retrieve \
-H "Content-Type: application/json" \
-d '{"user_id": "user123", "query": "推荐一部电影"}'
```
traitement des réponsesL'API renvoie des données JSON contenant le contexte et les réponses générées que les développeurs peuvent analyser et afficher directement aux utilisateurs.
Personnalisation de la configurationDans le fichier de configuration config/memory_config.json pour ajuster les paramètres d'extraction, tels que la taille de la fenêtre contextuelle ou le seuil de similarité, dans la fenêtre de recherche.

2. raisonnement optimisé par le GPU

Deep Recall prend en charge l'inférence accélérée par le GPU pour un traitement nettement plus rapide. Vous devez vous assurer que CUDA et les pilotes associés sont installés sur votre système. Étapes de configuration :

Installation des dépendances du GPU : Lors de l'installation, assurez-vous que le fichier requirements.txt Les bibliothèques liées au GPU, telles que PyTorch, ont été correctement installées.
Démarrer le service de raisonnement : le lancer dans le répertoire racine du projet :
```
python -m deep_recall.inference_service --gpu
```
Verify GPU Usage (Vérifier l'utilisation du GPU) : Confirme à l'aide des journaux que le service d'inférence utilise les ressources du GPU.

3. l'intégration de la base de données vectorielle

Deep Recall utilise une base de données vectorielle pour stocker les données d'interaction avec l'utilisateur et permet des requêtes efficaces. Processus opérationnels :

Initialisation de la base de donnéesLe script d'initialisation est exécuté pour créer l'index vectoriel :
```
python scripts/init_vector_db.py
```

Importation de donnéesImportation de l'historique des utilisateurs dans la base de données via l'API ou un script. Exemple d'appel API :

curl -X POST http://localhost:8000/memory/store \
-H "Content-Type: application/json" \
-d '{"user_id": "user123", "data": "用户喜欢科幻电影"}'

Interroger les donnéesLes données vectorielles stockées peuvent être interrogées à la demande à l'aide de l'API d'extraction.

4. les extensions automatisées

Deep Recall prend en charge l'allocation dynamique des ressources pour les scénarios à forte charge. Les utilisateurs peuvent configurer le fichier config/scaling_config.json Définir des politiques de mise à l'échelle telles que le nombre maximum d'instances ou les seuils de charge. Démarrer le service de coordination :

python -m deep_recall.orchestrator

Le coordinateur ajuste automatiquement le nombre d'instances de service d'inférence en fonction de la charge.

Fonction en vedette Fonctionnement

Système de balayage sécurisé

Deep Recall dispose d'outils d'analyse de sécurité complets intégrés pour garantir la qualité du code. Méthode de fonctionnement :

Exécution d'une analyse des dépendancesVérification des vulnérabilités connues dans les dépendances de Python :
```
safety check
```
Analyse de la sécurité du codeBandit : Utilisez Bandit pour rechercher les problèmes de sécurité dans votre code :
```
bandit -r deep_recall
```
Voir le rapportLes résultats de l'analyse sont enregistrés aux formats JSON et Markdown dans le fichier reports/ Catalogue pour examen par l'utilisateur.

Exemple de client API

Deep Recall fournit des bibliothèques client Python et JavaScript pour simplifier l'intégration de l'API. Exemple de code Python :

from deep_recall_client import DeepRecallClient
client = DeepRecallClient("http://localhost:8000")
response = client.retrieve_memory(user_id="user123", query="推荐一部电影")
print(response["reply"])

Les utilisateurs peuvent également se référer à la page d'accueil du projet Réagir Exemple d'interface pour construire rapidement des interfaces interactives.

mise en garde

Assurez-vous que votre connexion réseau est stable, les appels API peuvent échouer en raison de problèmes de réseau.
Sauvegardez régulièrement la base de données vectorielle, voir docs/backup.md Configurer la sauvegarde automatique.
sonde config/security_config.jsonpour personnaliser les règles d'analyse de sécurité.

scénario d'application

Robot du service client
Deep Recall offre aux robots de service à la clientèle une fonction de mémoire qui enregistre les questions et les préférences passées de l'utilisateur, générant ainsi des réponses plus adaptées aux besoins de l'utilisateur. Par exemple, sur les plateformes de commerce électronique, les robots peuvent recommander des produits en fonction des achats passés de l'utilisateur.
Plate-forme d'éducation personnalisée
Dans l'enseignement en ligne, Deep Recall enregistre les progrès et les intérêts de l'élève pour générer des suggestions d'apprentissage personnalisées. Par exemple, il suggère des questions pratiques adaptées au niveau de l'élève.
Développement d'un assistant intelligent
Les développeurs peuvent utiliser Deep Recall pour créer des assistants intelligents qui enregistrent les habitudes de l'utilisateur et fournissent des suggestions pertinentes en fonction du contexte. Par exemple, l'assistant peut rappeler aux utilisateurs des réunions ou des tâches en fonction de leur emploi du temps.
Système de recommandation de contenu
Deep Recall est adapté à la construction de moteurs de recommandation de contenu qui analysent l'historique de navigation d'un utilisateur pour lui recommander des articles, des vidéos ou des produits pertinents. Par exemple, les plateformes d'information peuvent diffuser des informations personnalisées en fonction des préférences de lecture des utilisateurs.
Gestion des connaissances de l'entreprise
Les organisations peuvent utiliser Deep Recall pour créer des bases de connaissances internes, stocker des données sur les interactions entre employés et retrouver rapidement des informations historiques. Par exemple, les équipes d'assistance technique peuvent utiliser le système pour trouver des solutions antérieures.

QA

Quels sont les grands modèles pris en charge par Deep Recall ?
Deep Recall est compatible avec un certain nombre de macromodèles open-source tels que LLaMA, Mistral et BERT, et les utilisateurs peuvent se référer à la documentation officielle. docs/model_support.md Voir la liste complète des soutiens.
Comment garantir la confidentialité des données ?
Deep Recall permet un déploiement local avec des données stockées sur un serveur contrôlé par l'utilisateur. Les utilisateurs peuvent protéger davantage la confidentialité des données grâce à des volumes cryptés ou à des pare-feu configurés.
A-t-il besoin d'un GPU pour fonctionner ?
Les GPU peuvent accélérer l'inférence, mais ne sont pas nécessaires, et les environnements CPU peuvent exécuter Deep Recall, bien qu'avec des vitesses de traitement légèrement inférieures. Les GPU sont recommandés pour les scénarios à forte charge.
Comment gérer les échecs des appels à l'API ?
Vérifiez la connectivité du réseau et la configuration du point final de l'API. Si le problème persiste, examinez les fichiers journaux logs/service.log Ou contactez le service d'assistance officiel par courrier électronique.
Prend-il en charge les données multilingues ?
Oui, la base de données vectorielle de Deep Recall prend en charge le stockage et l'extraction de textes multilingues pour des scénarios d'application internationalisés.