Original: https://blog.langchain.dev/langfriend/?t=ZMdNze4qQKvNzUMHPhQRfg
A LangChain está muito focada no conceito de memória, e é costume criarmos aplicativos de exemplo para demonstrar os conceitos em que estamos nos concentrando. Para a memória, optamos por criar um aplicativo de diário (LangFriend)! Disponibilizamos uma versão de teste para qualquer pessoa e já começamos a desenvolver uma API voltada para o desenvolvedor com alguns dos primeiros usuários.
Links principais.
Também estamos planejando uma hackatona relacionada a memes em 6 de abril de 2024 com a New Computer, MongoDB e Anthropic. Você pode saber mais sobre a hackatona em [Aqui estão...] inscreva-se para participar.
Temos grandes esperanças para essa parte do sistema LLM, a memória. Grande parte do poder da IA generativa vem de sua capacidade de gerar conteúdo exclusivo a qualquer momento, o que é muito poderoso para personalizar a experiência do usuário. Isso pode ser feito não apenas acessando as informações existentes sobre o usuário, mas também lembrando as interações anteriores com o usuário e aprendendo com elas.
É esse tipo de exploração de "memória" que estamos esperando. Acreditamos que haverá cada vez mais interações entre os usuários e o LLM - os chatbots estão se tornando a principal forma de aplicativos de LLM. Isso significa que cada vez mais informações valiosas sobre o usuário serão trocadas nessas conversas, como os gostos e desgostos de uma pessoa, quem são seus amigos, quais são seus objetivos e assim por diante. Aprender e compreender esses atributos e incorporá-los aos aplicativos pode melhorar muito a experiência do usuário.
Ao explorar a memória, pensamos que incorporar um exemplo concreto de um caso de uso seria uma boa maneira de motivar e orientar nosso trabalho. Optamos por criar um aplicativo de diário. Chamamos o aplicativo de "LangFriend" e o disponibilizamos para o público hoje. Embora esta seja apenas uma pequena prévia de pesquisa, esperamos obter feedback da comunidade sobre o que funciona bem e o que precisa ser aprimorado antes de torná-lo de código aberto.
Neste post, falaremos sobre algumas das pesquisas acadêmicas sobre memória, algumas das outras coisas interessantes que as empresas estão fazendo em áreas relacionadas e por que escolhemos nos concentrar no desenvolvimento de um aplicativo de diário. Em seguida, faremos um mergulho profundo nesse aplicativo de diário para mostrar seus recursos. Se estiver interessado em explorar a memória conosco, fique à vontade para entrar em contato.
pesquisa acadêmica
No decorrer de nosso trabalho de pesquisa de memória, encontramos dois artigos acadêmicos que foram muito inspiradores para o nosso trabalho.
O primeiro é um artigo de pesquisadores da UC Berkeley [MemGPT] A ideia principal deste artigo é que eles equipam os LLMs com a capacidade de realizar várias funções, como lembrar fatos específicos, recordar assuntos relevantes e assim por diante.
Os modelos de linguagem ampla (LLMs) revolucionaram a IA, mas o fato de serem restringidos por uma janela de contexto limitada prejudica a utilidade da IA para tarefas como diálogos longos e análise de documentos. Para resolver esse problema, propomos uma técnica chamada gerenciamento de contexto virtual, inspirada nos sistemas de memória hierárquica dos sistemas operacionais tradicionais que aproveitam o agendamento entre memórias físicas e discos para obter o efeito de memórias virtuais infinitamente dimensionáveis. Usando essa técnica, desenvolvemos o MemGPT (Memory GPT), um sistema de gerenciamento de camada de memória que fornece efetivamente contextos estendidos dentro da janela de contexto limitada do LLM.
O outro é de pesquisadores da Universidade de Stanford [Agentes geradores] A ideia principal deste documento é que eles formam memórias refletindo sobre experiências passadas e, em seguida, armazenam e recuperam as memórias de forma programática.
Demonstramos empiricamente que nossa arquitetura de agente funciona por meio de várias partes de observação, planejamento e reflexão, sendo que cada uma delas tem um impacto significativo na precisão do comportamento do agente gerado. Ao fundir modelos de linguagem em grande escala com agentes de interação computacional, apresentamos neste trabalho a geração de arquiteturas e padrões de interação que modelam com precisão o comportamento humano.
Uma diferença interessante entre esses dois trabalhos é a medida em que o LLM usa ativamente a memória e a medida em que o faz mais como um processo em segundo plano. O memGPT força o LLM a usar a função de memória, enquanto o agente gerador age mais como um processo em segundo plano.
empresas
Há várias empresas que se destacaram no campo da tecnologia de memória.
A Plastic Labs é uma empresa especializada no desenvolvimento de produtos como [...TutorGPT...] de projetos inovadores para startups.
Aplicativo LangChain LLM. Esse é um recurso dinâmico de meta-prompting para tutoriais de pensamento teórico.
[Boa IA] é uma startup que recentemente abriu o código aberto de um assistente de bate-papo com recursos de memória de longo prazo.
À primeira vista, o Charlie pode parecer semelhante aos agentes LLM existentes, como ChatGPT, Claude e Gemini. No entanto, sua singularidade reside no fato de que ele apresenta uma implementação de LTM que permiteAprenda com cada interação. Isso incluiArmazenar e integrar mensagens do usuário, respostas do assistente e feedback ambiental no LTMpara fazer consultas sobre tarefas relevantes quando necessário.
OpenAIA função de memória também foi integrada recentementeEntre no ChatGPT.
Do ponto de vista dessas empresas, há diferenças entre duas formas de realizar a funcionalidade da memória: uma forma ativa, na qual os LLMs devem ser invocados conscientemente (por exemplo, ChatGPT), e uma forma passiva, na qual eles são automaticamente integrados a processos em segundo plano (por exemplo, TutorGPT).
Por que escolher o Diary App?
Ao considerar um bom cenário para implementar e testar a memória de longo prazo, pensamos imediatamente em um aplicativo de diário. A principal razão para isso foi que achamos que o aplicativo conteria mais informações relevantes para que a interação fosse lembrada do que um aplicativo de bate-papo comum.
Em comparação com um aplicativo de bate-papo comum, o último pode estar repleto de palavras de cortesia do dia a dia que não precisam ser memorizadas - "Ei!" ", "Oi", "Como vai?" e assim por diante. E nos aplicativos de diário, é mais provável que você chegue ao estágio de compartilhar emoções e percepções reais e interessantes.
Apesar disso, queríamos adicionar um componente de bate-papo a esse aplicativo. O principal motivo para isso é que queríamos mostrar que o nosso aplicativo é capaz de aprender e lembrar as informações do usuário. O aplicativo usará essas informações para gerar uma resposta personalizada para o usuário.
Você pode ver que esse aplicativo se lembra de mim como um amante da comida italiana e de como me sinto revigorado após um treino.
Depois de adicionar sua primeira entrada no diário e conversar com nosso companheiro, você verá um botão "Memories" (Memórias) na barra de navegação. Clique nele e você verá todas as principais memórias que extraímos de seu diário.
Você verá que a lista é concisa e não muito informativa. Essas são apenas algumas das informações básicas mais importantes que extraímos. Na verdade, nos bastidores, extraímos muito mais informações do que isso dos seus logs, e você pode encontrá-las pesquisando por elas!
Em "Search memories... (Pesquisar memórias...)" na caixa de entrada e você poderá ver em tempo real a grande variedade de informações que o LangFriend armazenou sobre você:
personalização
Queremos tornar o LangFriend atraente para todos os usuários. Portanto, permitimos que os usuários ajustem as mensagens do sistema que servirão como início e tom de todos os bate-papos com nossos parceiros de bate-papo. Fornecemos uma configuração padrão que foi cuidadosamente projetada para atender às necessidades da maioria dos usuários. No entanto, se você espera algo ligeiramente diferente, ou completamente diferente, pode alterar qualquer parte a seu gosto.
Você pode localizar e atualizar os alertas do sistema visitando a página Logs e clicando no botão Configure. Aqui, será exibida uma caixa de diálogo contendo os alertas do sistema.
Todas as alterações que você fizer serão mantidas de sessão em sessão e se tornarão o início de todas as suas futuras conversas de bate-papo!
chegar a um veredicto
O LangFriend é um vislumbre do futuro e uma prévia da pesquisa que demonstra o grande potencial de incorporar a memória de longo prazo aos aplicativos de LLM. Ao se concentrar no desenvolvimento de aplicativos de anotações que visam capturar informações significativas do usuário para fornecer respostas personalizadas e aprimorar a experiência do usuário, o LangFriend é uma excelente demonstração de como podemos aproveitar ativamente a memória ou incorporá-la aos aplicativos como um processo contextual para criar experiências interativas envolventes e adaptáveis às mudanças. Convidamos a comunidade a participar da exploração do LangFriend, fornecer feedback e juntar-se a nós no avanço das possibilidades da memória em aplicativos LLM, aproveitando todo o potencial da IA generativa para oferecer experiências mais poderosas, personalizadas e valiosas para os usuários.
