Linly-Talker: 새로운 대화형 경험을 위해 빅 언어 모델과 시각 모델을 결합한 디지털 사용자를 위한 지능형 대화 시스템

20.3K 00

일반 소개

Linly-Talker는 대규모 언어 모델(LLM)과 시각적 모델을 결합하여 인간과 컴퓨터의 상호작용에 대한 새로운 접근 방식을 만들어내는 혁신적인 디지털 인간 대화 시스템입니다. 이 시스템에는 Whisper, Linly, Microsoft 음성 서비스 및 새드토커 사실적인 디지털 인간 대화 경험을 제공하도록 설계된 세대 시스템으로, 사용자가 대화용 이미지를 업로드할 수 있도록 지원하고 다원 대화 시스템을 통해 상호 작용과 사실감을 향상시킵니다. 이 프로젝트는 케드리믹스가 개발했으며 개발자와 연구자들이 사용하고 개선할 수 있도록 깃허브에 오픈소스로 공개되어 있습니다.

Linly-Talker：数字人智能对话系统，结合大语言模型与视觉模型，实现互动新体验

기능 목록

다자간 대화 시스템향상된 상호 작용과 사실감을 위해 상황에 맞는 다원 대화를 지원합니다.
이미지 업로드 대화 상자사용자는 이미지를 업로드하고 디지털 사람들과 대화할 수 있습니다.
음성 합성 및 인식다양한 음성 유형과 빠른 음성 인식을 제공하기 위해 Microsoft TTS 및 FunASR과 통합됩니다.
동영상 자막 생성향상된 시각 효과를 위한 동영상 자막 생성을 지원합니다.
음성 복제GPT-SoVITS 모델을 사용하면 1분 분량의 음성 데이터를 사용하여 음성을 복제할 수 있습니다.
맞춤형 캐릭터 생성여러 모델과 옵션으로 개인화된 역할 생성을 지원합니다.
실시간 대화기본적인 실시간 대화 기능을 위해 MuseTalk와 통합되었습니다.

도움말 사용

설치 프로세스

복제 프로젝트터미널에서 다음 명령을 실행하여 프로젝트를 복제합니다:

   git clone https://github.com/Kedreamix/Linly-Talker.git

종속성 설치프로젝트 디렉토리로 이동하여 필요한 종속성을 설치합니다:

   cd Linly-Talker
pip install -r requirements_app.txt
pip install -r requirements_webui.txt

구성 환경환경 변수 및 인증서를 필요에 따라 구성하여 시스템이 올바르게 작동하도록 합니다.

사용 가이드라인

웹UI 시작하기: 다음 명령을 실행하여 WebUI를 시작합니다:

   python webui.py

브라우저를 열어 액세스 http://localhost:7860린리토커의 웹 인터페이스에 액세스하려면 다음 링크를 클릭하여 액세스할 수 있습니다.

대화용 이미지 업로드::
- WebUI 인터페이스에서 '이미지 업로드' 버튼을 클릭하고 업로드할 이미지 파일을 선택합니다.
- 이미지가 업로드되면 시스템이 자동으로 대화 콘텐츠를 생성하고 사용자는 디지털 인물과 상호작용할 수 있습니다.
음성 합성 및 인식::
- 대화 상자에 텍스트를 입력하고 음성 유형을 선택한 다음 '음성 생성' 버튼을 클릭하면 시스템이 음성을 합성하여 재생합니다.
- 또한 사용자가 마이크를 통해 음성을 입력하면 시스템이 자동으로 인식하여 텍스트를 생성합니다.
동영상 자막 생성::
- 동영상 파일을 업로드하면 시스템에서 자동으로 자막을 생성하여 동영상에 삽입하고, 사용자는 자막이 포함된 동영상 파일을 다운로드할 수 있습니다.
음성 복제::
- 대상자의 음성 샘플을 업로드하면 시스템이 음성 복제를 위해 GPT-SoVITS 모델을 사용하여 대상자와 유사한 음성을 생성합니다.
맞춤형 캐릭터 생성::
- WebUI 인터페이스에서 '개인화된 페르소나 생성' 옵션을 선택하고 페르소나 정보를 입력하면 시스템에서 개인화된 페르소나를 생성합니다.
실시간 대화::
- MuseTalk 모듈을 선택하면 시스템이 실시간 대화 기능을 켜고 사용자가 디지털 인물과 실시간으로 상호작용할 수 있습니다.