페이 디지털 휴먼 프레임워크: 언어 모델과 3D 디지털 캐릭터를 통합하여 다양한 애플리케이션 시나리오 지원

일반 소개

페이는 언어 모델 및 디지털 캐릭터와 통합된 오픈 소스 3D 가상 디지털 휴먼 프레임워크로 가상 쇼핑 가이드, 가상 앵커, 비서, 웨이터, 교사, 음성 또는 텍스트 기반 모바일 비서 등 다양한 애플리케이션 시나리오에 적합하며, 페이 프레임워크는 완전한 오프라인 사용을 지원하여 밀리초 단위의 응답을 제공하며 다양한 디지털 휴먼 모델, 대규모 언어 모델, ASR(자동 음성 인식) 및 TTS(텍스트 음성 변환) 모델과 자유롭게 매치할 수 있습니다. Fay는 마이크로컨트롤러, 애플리케이션, 웹사이트 등을 위한 종합적인 디지털 휴먼 애플리케이션 인터페이스를 제공하기 위해 노력하고 있으며, 다중 사용자 및 다중 채널 동시성을 지원하고 텍스트 및 음성 통신 인터페이스, 관리 및 제어 인터페이스, 자동 재생 인터페이스 등을 제공합니다. Fay의 프레임워크는 완전한 오프라인 사용을 지원하여 밀리초 단위의 응답을 제공합니다.

기능 목록

완전 오픈 소스 및 상업적으로 사용 가능
완전한 오프라인 사용 지원
밀리초 응답
무료 매칭 디지털화된 휴먼 모델, 대규모 언어 모델, ASR, TTS 모델
가상 교사, 가상 앵커, 뉴스 방송 및 기타 자동 방송 모드 지원
마이크로컨트롤러, 애플리케이션, 웹사이트, 대형 화면, 성숙한 시스템 액세스 지원
다중 사용자 동시 지원
문자 통신 인터페이스, 음성 통신 인터페이스, 디지털 휴먼 모델 인터페이스, 관리 제어 인터페이스, 자동 재생 인터페이스 제공
음성 명령 실행의 유연한 구성 지원
맞춤형 지식창고, 맞춤형 Q&A 쌍, 맞춤형 페르소나 정보
깨우기 및 대화 중단 지원
서버 및 독립 실행형 모드 지원
로봇 표현식 출력 지원
리액트 에이전트의 자율적인 의사 결정 실행 지원
활성 대화 지원
백그라운드에서 자동 시작 지원

도움말 사용

설치 프로세스

시스템 환경이 Python 3.9, 3.10, 3.11 또는 3.12이며 Windows, macOS 및 Linux를 지원하는지 확인합니다.
페이 창고 복제:

   git clone https://github.com/xszyou/Fay.git

Fay 디렉토리로 이동하여 종속성을 설치합니다:

   cd Fay
pip install -r requirements.txt

필요에 따라 수정./system.conf문서화.
페이 컨트롤러를 시작합니다:

   python main.py

를 클릭하거나 Docker로 부팅하세요:

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

사용 가이드라인

기본 기능

문자 커뮤니케이션 인터페이스API를 통해 문자 메시지를 보내 디지털 담당자가 답장하도록 합니다.
VCIAPI를 통해 음성 메시지를 보내면 디지털 사람의 음성 응답을 받을 수 있습니다.
관리 제어 인터페이스디지털 휴먼 행동 및 대응을 관리하고 구성합니다.
자동 재생 인터페이스가상 교사, 가상 앵커 등과 같은 자동 재생 모드를 설정합니다.

주요 기능

맞춤형 지식창고사용자가 직접 지식창고를 만들고 관리할 수 있어 디지털 인재의 전문성과 개인화를 강화할 수 있습니다.
맞춤형 Q&A 쌍특정 도메인에 대한 디지털 담당자의 대응력을 향상시키기 위해 구체적인 질문과 답변을 구성합니다.
맞춤형 페르소나 정보적용 시나리오에 따라 디지털 인물의 역할과 배경 정보를 설정합니다.
음성 명령 구성복잡한 상호작용을 위한 음성 명령의 유연한 구성.
깨어나서 대화 중단하기특정 명령을 통해 디지털 휴먼 대화를 깨우거나 중단할 수 있도록 지원합니다.
로봇 표현식 출력대화 내용에 따라 디지털 인물이 해당 표현을 출력하여 대화형 경험을 향상시킬 수 있습니다.
리액트 에이전트 자율 의사 결정디지털 인재는 미리 정의된 규칙에 따라 자율적으로 의사 결정을 내리고 작업을 수행할 수 있습니다.
활성 대화디지털 담당자가 대화를 시작하여 사용자 상호 작용 경험을 향상시킬 수 있습니다.
백그라운드에서 조용히 시작백그라운드에서 무음 시작을 지원하여 전경 작업의 간섭을 줄입니다.

고급 플레이

자사 제품에 통합Fay는 사용자가 마이크로컨트롤러, 애플리케이션, 웹사이트 등의 제품에 통합할 수 있는 다양한 인터페이스 세트를 제공합니다.
디지털 인력 활용Fay는 다양한 디지털 휴먼 모델을 지원하므로 사용자는 필요에 따라 애플리케이션에 적합한 모델을 선택할 수 있습니다.
가상 앵커(TV)자동 뉴스 방송, 머천다이징 등을 위한 가상 앵커 모드를 구성할 수 있습니다.
원격 음성 어시스턴트스마트 홈 및 기타 애플리케이션 시나리오에서 음성 명령을 통해 기기를 원격으로 제어합니다.