LangFriend: un diario con función de memoria a largo plazo

Original: https://blog.langchain.dev/langfriend/?t=ZMdNze4qQKvNzUMHPhQRfg

 

LangChain se centra mucho en el concepto de memoria, y es habitual que creemos aplicaciones de ejemplo para demostrar los conceptos en los que nos centramos. Para la memoria, hemos elegido crear una aplicación de diario (LangFriend). Hemos puesto a disposición de todo el mundo una versión de prueba, y ya hemos empezado a desarrollar una API para desarrolladores con algunos de los primeros usuarios.

 

Enlaces principales.

• [YouTube]
• [Aplicación Agenda]
• [Acceso a la API para desarrolladores]

 

💡 También tenemos previsto trabajar con Nueva OrdenadorMongoDB y Anthropic se unen para organizar un hackathon relacionado con la memoria el 6 de abril de 2024. Puede obtener más información sobre el hackathon en [aquí están] inscribirse para participar.

 

Tenemos grandes esperanzas puestas en esta parte del sistema LLM, la memoria. Gran parte de la potencia de la IA generativa procede de su capacidad para generar contenido único en cualquier momento, lo que resulta muy potente para personalizar la experiencia del usuario. Esto puede lograrse no sólo accediendo a la información existente sobre el usuario, sino también recordando interacciones anteriores con él y aprendiendo de ellas.

 

Es este tipo de exploración de la "memoria" lo que esperamos con impaciencia. Creemos que cada vez habrá más interacciones entre los usuarios y LLM: los chatbots se están convirtiendo en la principal forma de aplicación de LLM. Esto significa que en estas conversaciones se intercambiará cada vez más información valiosa sobre el usuario, como lo que le gusta y lo que no le gusta a una persona, quiénes son sus amigos, cuáles son sus objetivos, etcétera. Aprender y comprender estos atributos, e incorporarlos después a las aplicaciones, puede mejorar enormemente la experiencia del usuario.

 

Al explorar la memoria, pensamos que incorporar un ejemplo concreto de un caso de uso sería una buena forma de motivar y guiar nuestro trabajo. Elegimos crear una aplicación de diario. La hemos bautizado como "LangFriend" y hoy la hemos puesto a disposición del público. Aunque sólo se trata de un pequeño avance de investigación, esperamos recabar opiniones de la comunidad sobre lo que funciona bien y lo que hay que mejorar antes de hacerla de código abierto.

 

En este post, hablaremos de algunas de las investigaciones académicas sobre la memoria, de otras cosas interesantes que están haciendo las empresas en campos relacionados y de por qué decidimos centrarnos en el desarrollo de una aplicación de agenda. A continuación, nos adentraremos en esta aplicación y mostraremos sus características. Si estás interesado en explorar la memoria con nosotros, no dudes en ponerte en contacto.

 

 

investigación académica

En el curso de nuestro trabajo sobre la investigación de la memoria, hemos encontrado dos artículos académicos que han sido muy inspiradores para nuestro trabajo.

En primer lugar, un artículo de investigadores de la Universidad de Berkeley [MemGPT] La idea clave de este trabajo es que dotan a los LLM de la capacidad de realizar varias funciones, como recordar hechos concretos, recordar asuntos relevantes, etc.

 

Los grandes modelos lingüísticos (LLM) han revolucionado la IA, pero el hecho de estar constreñidos por una ventana de contexto limitada dificulta su utilidad para tareas como los diálogos largos y el análisis de documentos. Para resolver este problema, proponemos una técnica denominada gestión de contexto virtual, inspirada en los sistemas de memoria jerárquica de los sistemas operativos tradicionales que aprovechan la programación entre memorias físicas y discos para conseguir el efecto de memorias virtuales infinitamente escalables. Utilizando esta técnica, desarrollamos MemGPT (Memory GPT), un sistema de gestión de la capa de memoria que proporciona de forma eficaz contextos ampliados dentro de la ventana de contexto limitada de LLM.

 

El otro es de investigadores de la Universidad de Stanford [Agentes generadores] La idea clave de este trabajo es que forman recuerdos reflexionando sobre experiencias pasadas y luego almacenan y recuperan programáticamente los recuerdos.

 

Demostramos empíricamente que nuestra arquitectura de agentes funciona a través de varias partes de observación, planificación y reflexión, cada una de las cuales tiene un impacto significativo en la precisión del comportamiento del agente generado. Al fusionar modelos lingüísticos a gran escala con agentes de interacción computacionales, introducimos en este trabajo la generación de arquitecturas y patrones de interacción que modelan con precisión el comportamiento humano.

 

Una diferencia interesante entre estos dos trabajos es la medida en que LLM utiliza activamente la memoria frente a la medida en que lo hace más bien como un proceso en segundo plano. memGPT obliga a LLM a utilizar la función de memoria, mientras que el agente generativo actúa más bien como un proceso en segundo plano.

 

 

empresas

Hay varias empresas que se han distinguido en el campo de la tecnología de memoria.

Plastic Labs es una empresa especializada en el desarrollo de productos [...TutorGPT] de proyectos innovadores para startups.

 

Aplicación LangChain LLM. Se trata de una función dinámica de meta-prompting para tutoriales de pensamiento teórico.

 

[Buena IA] es una empresa que acaba de lanzar un asistente de chat con memoria a largo plazo.

A primera vista, Charlie puede parecer similar a los agentes LLM existentes, como ChatGPT, Claude y Gemini. Sin embargo, su singularidad radica en la introducción de una implementación LTM que le permiteAprenda de cada interacción. Esto incluyeAlmacenar e integrar en la LTM los mensajes del usuario, las respuestas del asistente y la información del entorno.para hacer consultas sobre las tareas pertinentes cuando sea necesario.

 

OpenAILa función de memoria también se ha integrado recientementeEntra en ChatGPT.

 

Desde la perspectiva de estas empresas, existen diferencias entre dos formas de realizar la funcionalidad de memoria: una forma activa en la que los LLM deben invocarse conscientemente (por ejemplo, ChatGPT), y una forma pasiva en la que se fusionan automáticamente en procesos de fondo (por ejemplo, TutorGPT).

 

 

¿Por qué elegir Diary App?

Cuando pensamos en un buen escenario para poner a prueba la memoria a largo plazo, nos vino a la cabeza una aplicación de diario. La razón principal fue que pensamos que la aplicación contendría más información relevante para recordar la interacción que una aplicación de chat normal.

 

En comparación con una aplicación de chat normal, esta última puede estar llena de cumplidos cotidianos que no es necesario memorizar: "¡Hola!" Hola", "¿Cómo va todo? Y en las aplicaciones de diario, es más probable que llegues a la fase de compartir emociones y puntos de vista reales e interesantes.

 

A pesar de ello, queríamos añadir un componente de chat a esta aplicación. La razón principal es que queríamos demostrar que nuestra aplicación es capaz de aprender y recordar información del usuario. La aplicación utilizará esta información para generar una respuesta personalizada para el usuario.

Puedes ver que esta aplicación me recuerda como amante de la comida italiana y lo fresco que me siento después de un entrenamiento.

 

 

Después de añadir tu primera entrada en el diario y hablar con nuestro compañero, verás un botón "Recuerdos" en la barra de navegación. Haz clic en él y verás todos los recuerdos clave que hemos extraído de tu diario.

 

 

La lista le parecerá concisa y no demasiado informativa. Estos son sólo algunos de los datos básicos más importantes que hemos extraído. En realidad, entre bastidores, hemos extraído mucha más información que esa de tus registros, ¡y puedes encontrarla buscándola!

En "Buscar recuerdos... (Buscar recuerdos...)" en el cuadro de entrada y podrás ver en tiempo real la gran variedad de información que LangFriend tiene almacenada sobre ti:

 

 

 

personalización

Queremos que LangFriend sea atractivo para todos los usuarios. Por lo tanto, permitimos a los usuarios ajustar los mensajes del sistema que servirán como inicio y tono de todos los chats con nuestros compañeros de chat. Proporcionamos una configuración por defecto que ha sido cuidadosamente diseñada para satisfacer las necesidades de la mayoría de los usuarios. Sin embargo, si esperas algo ligeramente diferente, o completamente diferente, puedes cambiar cualquier parte a tu gusto.

 

Puedes encontrar y actualizar tus alertas del sistema visitando la página de Registros y haciendo clic en el botón Configurar. Aparecerá un cuadro de diálogo con las alertas del sistema.

 

 

Los cambios que realices se mantendrán de una sesión a otra y se convertirán en el inicio de todas tus futuras conversaciones de chat.

 

 

llegar a un veredicto

LangFriend es una mirada al futuro y un avance de la investigación que demuestra el gran potencial de incorporar la memoria a largo plazo a las aplicaciones LLM. Al centrarse en el desarrollo de aplicaciones de toma de notas cuyo objetivo es capturar información significativa del usuario para ofrecer respuestas personalizadas y mejorar la experiencia del usuario, LangFriend es una excelente demostración de cómo podemos aprovechar activamente la memoria, o incorporarla a las aplicaciones como un proceso contextual, para crear experiencias interactivas que sean atractivas y adaptables a los cambios. Invitamos encarecidamente a la comunidad a participar en la exploración de LangFriend, aportar comentarios y unirse a nosotros para avanzar en las posibilidades de la memoria en las aplicaciones LLM, aprovechando todo el potencial de la IA generativa para ofrecer experiencias más potentes, personalizadas y valiosas para los usuarios.