LangFriend: 장기 기억 기능이 있는 일기장

원본: https://blog.langchain.dev/langfriend/?t=ZMdNze4qQKvNzUMHPhQRfg

랭체인은 메모리 개념에 매우 집중하고 있으며, 우리가 집중하고 있는 개념을 보여주기 위해 샘플 앱을 만드는 것이 관례입니다. 메모리의 경우, 저희는 일기장 애플리케이션(LangFriend)을 만들기로 결정했습니다! 누구나 사용해 볼 수 있는 버전을 공개했으며, 이미 일부 얼리어답터들과 함께 개발자 대상 API 개발에 착수했습니다. 관심이 있으신 분들은 아래에서 등록하여 참여해 주세요.

주요 링크.

💡 또한 New 컴퓨터몽고DB와 앤트로픽이 함께 2024년 4월 6일 메모리 관련 해커톤을 개최합니다. 해커톤에 대한 자세한 내용은 [[에서 확인할 수 있습니다.다음은 다음과 같습니다.] 에 가입하여 참여하세요.

저희는 LLM 시스템의 이 부분인 메모리에 큰 기대를 걸고 있습니다. 생성형 AI의 힘의 대부분은 사용자 경험을 맞춤화하는 데 매우 강력한 고유 콘텐츠를 언제든지 생성할 수 있는 능력에서 비롯됩니다. 이는 사용자에 대한 기존 정보에 액세스하는 것뿐만 아니라 사용자와의 이전 상호 작용을 기억하고 이를 통해 학습함으로써 달성할 수 있습니다.

저희가 기대하는 것은 바로 이러한 '메모리' 유형의 탐색입니다. 챗봇이 LLM 애플리케이션의 주요 형태로 자리 잡으면서 사용자와 LLM 간의 상호작용이 점점 더 많아질 것으로 예상됩니다. 즉, 이러한 대화에서 사용자가 좋아하는 것과 싫어하는 것, 친구가 누구인지, 목표가 무엇인지 등 점점 더 많은 가치 있는 사용자 정보가 교환될 것입니다. 이러한 속성을 학습하고 이해한 다음 애플리케이션에 통합하면 사용자 경험을 크게 향상시킬 수 있습니다.

메모리를 탐구하는 과정에서 구체적인 사용 사례의 예를 제시하는 것이 작업에 동기를 부여하고 방향을 제시하는 좋은 방법이라고 생각했습니다. 그래서 일기장 앱을 만들기로 했습니다. 앱의 이름을 "LangFriend"로 정하고 오늘 공개했습니다. 비록 작은 연구용 프리뷰에 불과하지만, 오픈소스로 공개하기 전에 잘 작동하는 부분과 개선해야 할 부분에 대한 커뮤니티의 피드백을 수렴하고자 합니다.

이 글에서는 기억에 관한 학술 연구와 관련 분야에서 기업들이 하고 있는 흥미로운 일들, 그리고 왜 다이어리 앱 개발에 집중하기로 결정했는지에 대해 이야기해 보겠습니다. 그런 다음 이 다이어리 앱의 기능을 자세히 살펴보겠습니다. 저희와 함께 메모리를 탐구하고 싶으시다면 언제든지 연락주세요.

학술 연구

메모리 연구 과정에서 저희의 작업에 큰 영감을 준 두 편의 학술 논문을 발견했습니다.

첫 번째는 UC 버클리 연구진의 글입니다.MemGPT] 이 백서의 핵심 아이디어는 특정 사실 기억하기, 관련 사항 회상하기 등 여러 가지 기능을 수행할 수 있는 능력을 LLM에 부여한다는 것입니다.

대규모 언어 모델(LLM)은 AI에 혁신을 가져왔지만, 제한된 컨텍스트 창으로 인해 긴 대화나 문서 분석과 같은 작업에서 AI의 유용성을 저해하는 제약이 있습니다. 이 문제를 해결하기 위해 저희는 물리적 메모리와 디스크 간의 스케줄링을 활용하여 무한히 확장 가능한 가상 메모리의 효과를 얻는 기존 운영 체제의 계층적 메모리 시스템에서 영감을 얻은 가상 컨텍스트 관리라는 기술을 제안합니다. 이 기법을 사용하여 LLM의 제한된 컨텍스트 창 내에서 확장된 컨텍스트를 효과적으로 제공하는 메모리 계층 관리 시스템인 MemGPT(메모리 GPT)를 개발했습니다.

다른 하나는 스탠포드 대학교 연구진의 연구 결과입니다.에이전트 생성] 이 논문의 핵심 아이디어는 과거의 경험을 반추하여 기억을 형성한 다음, 그 기억을 저장하고 프로그래밍 방식으로 검색한다는 것입니다.

저희는 에이전트 아키텍처가 관찰, 계획, 반영의 다양한 부분을 통해 작동하며, 각 부분이 생성된 에이전트의 행동 정확도에 상당한 영향을 미친다는 것을 경험적으로 입증했습니다. 대규모 언어 모델과 컴퓨터 인터랙션 에이전트를 융합하여 인간의 행동을 정확하게 모델링하는 아키텍처와 인터랙션 패턴을 생성하는 방법을 이 연구에서 소개합니다.

이 두 논문의 흥미로운 차이점은 LLM이 메모리를 적극적으로 사용하는 정도와 백그라운드 프로세스처럼 사용하는 정도입니다. memGPT는 LLM이 메모리 기능을 사용하도록 강제하는 반면, 생성 에이전트는 백그라운드 프로세스처럼 작동합니다.

기업

메모리 기술 분야에서 두각을 나타내고 있는 여러 회사가 있습니다.

Plastic Labs는 다음과 같은 제품 개발을 전문으로 하는 회사입니다.TutorGPT] 등 스타트업을 위한 혁신적인 프로젝트를 소개합니다.

LangChain LLM 앱. 이론적 사고 튜토리얼을 위한 동적 메타 프롬프트 기능입니다.

[좋은 AI]]는 최근 장기 기억 기능을 갖춘 채팅 도우미를 오픈소스화한 스타트업입니다.

언뜻 보기에 Charlie는 ChatGPT, 클로드, 제미니와 같은 기존 LLM 에이전트와 비슷해 보일 수 있습니다. 하지만 다음과 같은 기능을 수행할 수 있는 LTM 구현을 도입했다는 점에서 고유성을 지니고 있습니다.모든 상호 작용에서 배우기. 여기에는 다음이 포함됩니다.사용자 메시지, 어시스턴트 응답 및 환경 피드백을 저장하고 LTM에 통합합니다.에 접속하여 필요할 때 관련 업무에 대해 문의할 수 있습니다.

OpenAI메모리 기능도 최근 통합되었습니다.ChatGPT를 입력합니다.

이러한 회사의 관점에서 메모리 기능을 구현하는 방식에는 두 가지 차이점이 있습니다. LLM을 의식적으로 호출해야 하는 능동적 방식(예: ChatGPT)과 백그라운드 프로세스에 자동으로 융합되는 수동적 방식(예: TutorGPT)이 그것입니다.

왜 다이어리 앱을 선택해야 하나요?

장기기억을 구현하고 테스트하기 위한 좋은 시나리오를 고려할 때, 일기장 앱이 바로 떠올랐습니다. 그 주된 이유는 일기장 앱이 일반 채팅 앱보다 기억해야 할 상호 작용과 관련된 정보가 더 많이 포함되어 있을 것이라고 생각했기 때문입니다.

일반 채팅 앱과 비교했을 때, 후자는 외울 필요가 없는 일상적인 인사말로 가득할 수 있습니다 - "헤이!" , "안녕", "어떻게 지내세요" 등과 같이 외울 필요가 없는 일상적인 인사말로 가득합니다. 그리고 다이어리 앱에서는 실제적이고 흥미로운 감정과 통찰력을 공유하는 단계에 도달할 가능성이 더 높습니다.

그럼에도 불구하고 저희는 이 앱에 채팅 컴포넌트를 추가하고 싶었습니다. 그 주된 이유는 앱이 사용자 정보를 학습하고 기억할 수 있다는 것을 보여주고 싶었기 때문입니다. 앱은 이 정보를 사용하여 사용자에게 개인화된 응답을 생성합니다.

이 앱은 제가 이탈리아 음식을 좋아하고 운동 후 얼마나 상쾌한지 기억하고 있다는 것을 알 수 있습니다.

첫 번째 일기 항목을 추가하고 컴패니언과 대화를 나누면 탐색 모음에 "추억" 버튼이 표시됩니다. 이 버튼을 클릭하면 일기에서 추출한 주요 추억을 모두 볼 수 있습니다.

목록은 간결하면서도 너무 많은 정보를 담고 있지는 않습니다. 이는 저희가 추출한 가장 중요한 기본 정보 중 일부에 불과합니다. 실제로는 이보다 훨씬 더 많은 정보를 로그에서 추출했으며, 이를 검색하면 찾을 수 있습니다!

"추억 검색... (추억 검색...)" 를 입력하면 랭프렌드가 사용자에 대해 저장한 다양한 정보를 실시간으로 확인할 수 있습니다:

사용자 지정

저희는 모든 사용자들에게 매력적으로 다가갈 수 있는 LangFriend를 만들고자 합니다. 따라서, 저희는 사용자가 채팅 파트너와의 모든 채팅의 시작과 톤으로 사용될 시스템 메시지를 조정할 수 있도록 하고 있습니다. 대부분의 사용자들의 요구를 충족시키기 위해 신중하게 설계된 기본 설정이 제공됩니다. 그러나 약간 다른 것을 원하거나 완전히 다른 것을 기대하는 경우 원하는 대로 변경할 수 있습니다.

로그 페이지로 이동하여 구성 버튼을 클릭하면 시스템 알림을 찾아 업데이트할 수 있습니다. 그러면 시스템 알림이 포함된 대화 상자가 나타납니다.

변경한 내용은 세션마다 유지되며 향후 모든 채팅 대화의 시작이 됩니다!

평결에 도달하기

LangFriend는 장기기억을 LLM 애플리케이션에 통합할 수 있는 큰 잠재력을 보여주는 연구의 미리 보기이자 미래를 엿볼 수 있는 사례입니다. 의미 있는 사용자 정보를 수집해 개인화된 응답을 제공하고 사용자 경험을 향상시키는 것을 목표로 하는 메모 앱 개발에 초점을 맞춘 LangFriend는 메모리를 적극적으로 활용하거나 상황에 맞는 프로세스로 앱에 통합해 매력적이고 변화에 적응하는 대화형 경험을 만드는 방법을 보여주는 훌륭한 예시라고 할 수 있습니다. 커뮤니티에서 LangFriend를 살펴보고 피드백을 제공하며, 사용자에게 더욱 강력하고 개인화되며 가치 있는 경험을 제공하기 위해 제너레이티브 AI의 잠재력을 최대한 활용하여 LLM 앱에서 메모리의 가능성을 발전시키는 데 동참해 주시기 바랍니다.