Fay数字人框架：集成语言模型与3D数字角色，支持多种应用场景

综合介绍

Fay是一个开源的3D虚拟数字人框架，集成了语言模型和数字角色，适用于多种应用场景，如虚拟购物导购、虚拟主播、助理、服务员、教师以及基于语音或文本的移动助手。Fay框架支持全离线使用，提供毫秒级回复，并且可以自由匹配各种数字人模型、大语言模型、ASR（自动语音识别）和TTS（文本转语音）模型。Fay致力于为单片机、应用程序、网站等提供全面的数字人应用接口，支持多用户多路并发，提供文字和声音沟通接口、管理控制接口、自动播放接口等功能。

功能列表

• 完全开源，商用免责
• 支持全离线使用
• 毫秒级回复
• 自由匹配数字人模型、大语言模型、ASR、TTS模型
• 支持虚拟教师、虚拟主播、新闻播报等自动播报模式
• 支持单片机、应用程序、网站、大屏、成熟系统接入
• 多用户多路并发支持
• 提供文字沟通接口、声音沟通接口、数字人模型接口、管理控制接口、自动播放接口
• 支持语音指令灵活配置执行
• 自定义知识库、自定义问答对、自定义人设信息
• 支持唤醒及打断对话
• 支持服务器及单机模式
• 支持机器人表情输出
• 支持react agent自主决策执行
• 支持主动对话
• 支持后台静默启动

使用帮助

安装流程

1. 确保系统环境为Python 3.9、3.10、3.11或3.12，支持Windows、macOS、Linux。
2. 克隆Fay仓库：

   git clone https://github.com/xszyou/Fay.git

3. 进入Fay目录并安装依赖：

   cd Fay
pip install -r requirements.txt

4. 根据需要修改./system.conf文件。
5. 启动Fay控制器：

   python main.py

或使用Docker启动：

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

使用指南

基本功能

• 文字沟通接口：通过API发送文本消息，获取数字人回复。
• 声音沟通接口：通过API发送语音消息，获取数字人语音回复。
• 管理控制接口：管理和配置数字人行为和响应。
• 自动播放接口：设置自动播放模式，如虚拟教师、虚拟主播等。

特色功能

• 自定义知识库：用户可以创建和管理自己的知识库，提升数字人的专业性和个性化。
• 自定义问答对：配置特定问题和答案，提高数字人对特定领域的响应能力。
• 自定义人设信息：根据应用场景设置数字人的角色和背景信息。
• 语音指令配置：灵活配置语音指令，实现复杂的交互操作。
• 唤醒及打断对话：支持通过特定指令唤醒或打断数字人对话。
• 机器人表情输出：数字人可以根据对话内容输出相应的表情，增强互动体验。
• react agent自主决策：数字人可以根据预设规则自主决策和执行任务。
• 主动对话：数字人可以主动发起对话，提升用户互动体验。
• 后台静默启动：支持在后台静默启动，减少对前台操作的干扰。

高级玩法

• 集成到自家产品：Fay提供丰富的接口，用户可以将其集成到自己的产品中，如单片机、应用程序、网站等。
• 使用数字人：Fay支持多种数字人模型，用户可以根据需要选择合适的模型进行应用。
• 虚拟主播：配置虚拟主播模式，实现自动新闻播报、商品推销等功能。
• 远程语音助理：通过语音指令远程控制设备，实现智能家居等应用场景。