페이 디지털 휴먼 프레임워크: 언어 모델과 3D 디지털 캐릭터를 통합하여 다양한 애플리케이션 시나리오 지원

최신 AI 리소스7개월 전 업데이트 AI 공유 서클
2.2K 00

일반 소개

페이는 언어 모델 및 디지털 캐릭터와 통합된 오픈 소스 3D 가상 디지털 휴먼 프레임워크로 가상 쇼핑 가이드, 가상 앵커, 비서, 웨이터, 교사, 음성 또는 텍스트 기반 모바일 비서 등 다양한 애플리케이션 시나리오에 적합하며, 페이 프레임워크는 완전한 오프라인 사용을 지원하여 밀리초 단위의 응답을 제공하며 다양한 디지털 휴먼 모델, 대규모 언어 모델, ASR(자동 음성 인식) 및 TTS(텍스트 음성 변환) 모델과 자유롭게 매치할 수 있습니다. Fay는 마이크로컨트롤러, 애플리케이션, 웹사이트 등을 위한 종합적인 디지털 휴먼 애플리케이션 인터페이스를 제공하기 위해 노력하고 있으며, 다중 사용자 및 다중 채널 동시성을 지원하고 텍스트 및 음성 통신 인터페이스, 관리 및 제어 인터페이스, 자동 재생 인터페이스 등을 제공합니다. Fay의 프레임워크는 완전한 오프라인 사용을 지원하여 밀리초 단위의 응답을 제공합니다.

Fay数字人框架:集成语言模型与3D数字角色,支持多种应用场景

 

기능 목록

  • 완전 오픈 소스 및 상업적으로 사용 가능
  • 완전한 오프라인 사용 지원
  • 밀리초 응답
  • 무료 매칭 디지털화된 휴먼 모델, 대규모 언어 모델, ASR, TTS 모델
  • 가상 교사, 가상 앵커, 뉴스 방송 및 기타 자동 방송 모드 지원
  • 마이크로컨트롤러, 애플리케이션, 웹사이트, 대형 화면, 성숙한 시스템 액세스 지원
  • 다중 사용자 동시 지원
  • 문자 통신 인터페이스, 음성 통신 인터페이스, 디지털 휴먼 모델 인터페이스, 관리 제어 인터페이스, 자동 재생 인터페이스 제공
  • 음성 명령 실행의 유연한 구성 지원
  • 맞춤형 지식창고, 맞춤형 Q&A 쌍, 맞춤형 페르소나 정보
  • 깨우기 및 대화 중단 지원
  • 서버 및 독립 실행형 모드 지원
  • 로봇 표현식 출력 지원
  • 리액트 에이전트의 자율적인 의사 결정 실행 지원
  • 활성 대화 지원
  • 백그라운드에서 자동 시작 지원

 

도움말 사용

설치 프로세스

  1. 시스템 환경이 Python 3.9, 3.10, 3.11 또는 3.12이며 Windows, macOS 및 Linux를 지원하는지 확인합니다.
  2. 페이 창고 복제:
   git clone https://github.com/xszyou/Fay.git
  1. Fay 디렉토리로 이동하여 종속성을 설치합니다:
   cd Fay
pip install -r requirements.txt
  1. 필요에 따라 수정./system.conf문서화.
  2. 페이 컨트롤러를 시작합니다:
   python main.py

를 클릭하거나 Docker로 부팅하세요:

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

사용 가이드라인

기본 기능

  • 문자 커뮤니케이션 인터페이스API를 통해 문자 메시지를 보내 디지털 담당자가 답장하도록 합니다.
  • VCIAPI를 통해 음성 메시지를 보내면 디지털 사람의 음성 응답을 받을 수 있습니다.
  • 관리 제어 인터페이스디지털 휴먼 행동 및 대응을 관리하고 구성합니다.
  • 자동 재생 인터페이스가상 교사, 가상 앵커 등과 같은 자동 재생 모드를 설정합니다.

주요 기능

  • 맞춤형 지식창고사용자가 직접 지식창고를 만들고 관리할 수 있어 디지털 인재의 전문성과 개인화를 강화할 수 있습니다.
  • 맞춤형 Q&A 쌍특정 도메인에 대한 디지털 담당자의 대응력을 향상시키기 위해 구체적인 질문과 답변을 구성합니다.
  • 맞춤형 페르소나 정보적용 시나리오에 따라 디지털 인물의 역할과 배경 정보를 설정합니다.
  • 음성 명령 구성복잡한 상호작용을 위한 음성 명령의 유연한 구성.
  • 깨어나서 대화 중단하기특정 명령을 통해 디지털 휴먼 대화를 깨우거나 중단할 수 있도록 지원합니다.
  • 로봇 표현식 출력대화 내용에 따라 디지털 인물이 해당 표현을 출력하여 대화형 경험을 향상시킬 수 있습니다.
  • 리액트 에이전트 자율 의사 결정디지털 인재는 미리 정의된 규칙에 따라 자율적으로 의사 결정을 내리고 작업을 수행할 수 있습니다.
  • 활성 대화디지털 담당자가 대화를 시작하여 사용자 상호 작용 경험을 향상시킬 수 있습니다.
  • 백그라운드에서 조용히 시작백그라운드에서 무음 시작을 지원하여 전경 작업의 간섭을 줄입니다.

고급 플레이

  • 자사 제품에 통합Fay는 사용자가 마이크로컨트롤러, 애플리케이션, 웹사이트 등의 제품에 통합할 수 있는 다양한 인터페이스 세트를 제공합니다.
  • 디지털 인력 활용Fay는 다양한 디지털 휴먼 모델을 지원하므로 사용자는 필요에 따라 애플리케이션에 적합한 모델을 선택할 수 있습니다.
  • 가상 앵커(TV)자동 뉴스 방송, 머천다이징 등을 위한 가상 앵커 모드를 구성할 수 있습니다.
  • 원격 음성 어시스턴트스마트 홈 및 기타 애플리케이션 시나리오에서 음성 명령을 통해 기기를 원격으로 제어합니다.
© 저작권 정책

관련 문서

댓글 없음

댓글에 참여하려면 로그인해야 합니다!
지금 로그인
없음
댓글 없음...