LangFriend : un agenda avec une fonction de mémoire à long terme

Tutoriels pratiques sur l'IAPosté il y a 1 an Cercle de partage de l'IA

2.2K 00

Original : https://blog.langchain.dev/langfriend/?t=ZMdNze4qQKvNzUMHPhQRfg

LangChain est très axé sur le concept de mémoire, et nous avons l'habitude de créer des exemples d'applications pour démontrer les concepts sur lesquels nous nous concentrons. Pour la mémoire, nous avons choisi de créer une application de journal intime (LangFriend) ! Nous avons mis une version d'essai à la disposition de tous, et nous avons déjà commencé à développer une API destinée aux développeurs avec certains utilisateurs précoces.

Liens principaux.

💡 Nous prévoyons également de travailler avec New OrdinateurMongoDB et Anthropic s'associent pour organiser un hackathon sur la mémoire le 6 avril 2024. Pour en savoir plus sur le hackathon, rendez-vous sur [VoiciInscrivez-vous pour participer.

Nous fondons de grands espoirs sur cette partie du système LLM, la mémoire. Une grande partie de la puissance de l'IA générative vient de sa capacité à générer un contenu unique à tout moment, ce qui est très puissant pour personnaliser l'expérience de l'utilisateur. Cela peut être réalisé non seulement en accédant aux informations existantes sur l'utilisateur, mais aussi en se souvenant des interactions précédentes avec l'utilisateur et en apprenant d'elles.

C'est ce type d'exploration de la "mémoire" que nous attendons avec impatience. Nous pensons qu'il y aura de plus en plus d'interactions entre les utilisateurs et le LLM - les chatbots deviennent la principale forme d'applications LLM. Cela signifie que de plus en plus d'informations précieuses sur les utilisateurs seront échangées dans ces conversations - comme les goûts et les aversions d'une personne, qui sont ses amis, quels sont ses objectifs, etc. L'apprentissage et la compréhension de ces attributs, puis leur intégration dans les applications, peuvent grandement améliorer l'expérience de l'utilisateur.

En explorant la mémoire, nous avons pensé que l'intégration d'un exemple concret de cas d'utilisation serait un bon moyen de motiver et de guider notre travail. Nous avons choisi de créer une application de journal intime. Nous avons baptisé l'application "LangFriend" et l'avons mise à la disposition du public aujourd'hui. Bien qu'il ne s'agisse que d'un petit aperçu de recherche, nous espérons recueillir les commentaires de la communauté sur ce qui fonctionne bien et sur ce qui doit être amélioré avant de la rendre open source.

Dans ce billet, nous parlerons de certaines recherches universitaires sur la mémoire, de certaines autres activités intéressantes menées par des entreprises dans des domaines connexes et de la raison pour laquelle nous avons choisi de nous concentrer sur le développement d'une application d'agenda. Nous nous pencherons ensuite sur cette application pour en présenter les fonctionnalités. Si vous souhaitez explorer la mémoire avec nous, n'hésitez pas à nous contacter.

recherche universitaire

Dans le cadre de nos travaux sur la recherche sur la mémoire, nous avons trouvé deux articles universitaires qui nous ont beaucoup inspirés.

Tout d'abord, un article de chercheurs de l'université de Berkeley [MemGPT] L'idée clé de cet article est qu'ils dotent les MLD de la capacité d'exécuter plusieurs fonctions, telles que la mémorisation de faits spécifiques, le rappel de sujets pertinents, etc.

Les grands modèles de langage (LLM) ont révolutionné l'IA, mais le fait d'être contraint par une fenêtre de contexte limitée entrave l'utilité de l'IA pour des tâches telles que les longs dialogues et l'analyse de documents. Pour résoudre ce problème, nous proposons une technique appelée gestion de contexte virtuel, inspirée des systèmes de mémoire hiérarchique des systèmes d'exploitation traditionnels qui exploitent l'ordonnancement entre les mémoires physiques et les disques pour obtenir l'effet de mémoires virtuelles infiniment extensibles. En utilisant cette technique, nous avons développé MemGPT (Memory GPT), un système de gestion de la couche mémoire qui fournit efficacement des contextes étendus dans la fenêtre contextuelle limitée de LLM.

L'autre provient de chercheurs de l'université de Stanford [Agents générateurs] L'idée clé de cet article est qu'ils forment des souvenirs en réfléchissant à leurs expériences passées, puis qu'ils les stockent et les récupèrent de manière programmatique.

Nous démontrons empiriquement que notre architecture d'agent fonctionne à travers diverses parties d'observation, de planification et de réflexion, chacune ayant un impact significatif sur la précision du comportement de l'agent généré. En fusionnant des modèles de langage à grande échelle avec des agents d'interaction informatiques, nous introduisons dans ce travail la génération d'architectures et de modèles d'interaction qui modélisent avec précision le comportement humain.

Une différence intéressante entre ces deux articles est la mesure dans laquelle LLM utilise activement la mémoire par rapport à la mesure dans laquelle il le fait plus comme un processus d'arrière-plan. memGPT force LLM à utiliser la fonction mémoire, tandis que l'agent génératif agit plus comme un processus d'arrière-plan.

entreprises

Plusieurs entreprises se sont distinguées dans le domaine de la technologie des mémoires.

Plastic Labs est une entreprise spécialisée dans le développement de produits tels que [...TutorGPTLe projet de loi sur l'emploi et l'égalité des chances pour les femmes et les hommes a été adopté par l'Assemblée générale des Nations unies.

LangChain LLM app. Il s'agit d'une fonction dynamique de méta-promptage pour les tutoriels de réflexion théorique.

[Bonne IA] est une startup qui a récemment mis à disposition un assistant de conversation doté de capacités de mémoire à long terme.

À première vue, Charlie peut ressembler aux agents LLM existants tels que ChatGPT, Claude et Gemini. Cependant, son caractère unique réside dans le fait qu'il introduit une implémentation LLM qui lui permet deTirer des enseignements de chaque interaction. Il s'agit notamment deStocker et intégrer les messages de l'utilisateur, les réponses de l'assistant et les informations sur l'environnement dans la mémoire à long terme.afin de pouvoir se renseigner sur les tâches à accomplir en cas de besoin.

OpenAILa fonction mémoire a également été intégrée récemmentEntrez ChatGPT.

Du point de vue de ces entreprises, il existe des différences entre deux manières de réaliser la fonctionnalité de la mémoire : une manière active dans laquelle les LLM doivent être consciemment invoqués (par exemple, ChatGPT), et une manière passive dans laquelle ils sont automatiquement intégrés dans des processus d'arrière-plan (par exemple, TutorGPT).

Pourquoi choisir Diary App ?

Lorsque nous avons réfléchi à un bon scénario pour mettre en œuvre et tester la mémoire à long terme, nous avons immédiatement pensé à une application de journal intime. La raison principale était que nous pensions que l'application contiendrait plus d'informations pertinentes pour la mémorisation de l'interaction qu'une application de chat classique.

Par rapport à une application de chat classique, cette dernière peut être remplie de formules de politesse quotidiennes qu'il n'est pas nécessaire de mémoriser - "Hey !", "Hi", "How's it going", etc. Bonjour", "Comment ça va", etc. Et dans les applications de journal intime, vous avez plus de chances d'arriver au stade du partage d'émotions et de points de vue réels et intéressants.

Malgré cela, nous voulions ajouter une composante de chat à cette application. La raison principale est que nous voulions montrer que notre application est capable d'apprendre et de mémoriser des informations sur l'utilisateur. L'application utilisera ces informations pour générer une réponse personnalisée pour l'utilisateur.

Vous pouvez voir que cette application se souvient de moi en tant qu'amateur de cuisine italienne et de ma sensation de fraîcheur après une séance d'entraînement.

Après avoir ajouté votre première entrée de journal et parlé à notre compagnon, vous verrez un bouton "Souvenirs" dans la barre de navigation. Cliquez dessus et vous verrez tous les souvenirs clés que nous avons extraits de votre journal.

Vous trouverez cette liste concise et peu informative. Il ne s'agit que de quelques-unes des informations de base les plus importantes que nous avons extraites. En réalité, dans les coulisses, nous avons extrait beaucoup plus d'informations que cela de vos journaux, et vous pouvez les trouver en les recherchant !

Dans "Search memories... (Rechercher des souvenirs...)" dans le champ de saisie et vous pourrez voir en temps réel la grande variété d'informations que LangFriend a stockées sur vous :

personnalisation

Nous souhaitons que LangFriend soit attrayant pour tous les utilisateurs. C'est pourquoi nous permettons aux utilisateurs d'ajuster les messages du système qui serviront de point de départ et de ton à tous les chats avec nos partenaires de chat. Nous proposons un réglage par défaut qui a été soigneusement conçu pour répondre aux besoins de la plupart des utilisateurs. Toutefois, si vous attendez quelque chose de légèrement différent, ou de complètement différent, vous pouvez modifier n'importe quelle partie à votre convenance.

Vous pouvez trouver et mettre à jour vos alertes système en visitant la page Journaux et en cliquant sur le bouton Configurer. Une boîte de dialogue contenant vos alertes système s'ouvre alors.

Toutes les modifications apportées seront conservées d'une session à l'autre et deviendront le point de départ de toutes vos futures conversations par chat !

rendre un verdict

LangFriend est un aperçu de l'avenir et de la recherche qui démontre le grand potentiel de l'intégration de la mémoire à long terme dans les applications de gestion du cycle de vie. En se concentrant sur le développement d'applications de prise de notes qui visent à capturer des informations utiles pour l'utilisateur afin de fournir des réponses personnalisées et d'améliorer l'expérience de l'utilisateur, LangFriend est une excellente démonstration de la façon dont nous pouvons activement exploiter la mémoire, ou l'incorporer dans des applications en tant que processus contextuel, pour créer des expériences interactives qui sont engageantes et qui s'adaptent au changement. Nous invitons chaleureusement la communauté à participer à l'exploration de LangFriend, à fournir des commentaires et à nous rejoindre pour faire progresser les possibilités de la mémoire dans les applications LLM, en exploitant tout le potentiel de l'IA générative pour offrir aux utilisateurs des expériences plus puissantes, plus personnalisées et plus utiles.