AI个人学习
和实操指南
豆包Marscode1

VirtualWife:支持B站直播和语音互动的二次元数字人

综合介绍

VirtualWife 是一个开源的虚拟数字人项目,由开发者 yakami129 创建。它目前处于孵化阶段,目标是打造一个有“灵魂”的虚拟角色,用户可以像朋友一样与之互动。项目支持 B站直播,能通过中文语音和文字与用户交流。它结合 OpenAI 和 Ollama 等大语言模型,提供情感陪伴功能。VirtualWife 使用 Docker 一键部署,支持 Linux、Windows 和 MacOS 系统。开发者希望它未来能作为恋爱导师或心理咨询师,融入人类生活,解决情感需求。

VirtualWife:支持B站直播和语音互动的二次元数字人-1


 

功能列表

  • 支持在 B站进行实时直播,可与观众互动。
  • 通过中文语音对话,响应速度快,支持流式传输。
  • 提供短期和长期记忆功能,能记住用户对话内容。
  • 支持自定义角色设定,用户可调整性格和背景。
  • 支持更换 VRM 模型,可从 https://hub.vroid.com/ 下载角色。
  • 集成多种大语言模型(如 OpenAI、Ollama),支持切换和私有化部署。
  • 文字驱动表情和动作,提升互动真实感。
  • 支持 Edge(微软)和 Bert-VITS2 语音切换,中文发音更自然。

 

使用帮助

安装流程

VirtualWife 通过 Docker 部署,适合技术爱好者和普通用户。以下是详细步骤:

  1. 安装 Docker
    • Windows/MacOS:下载 Docker Desktop,安装后启动。
    • Linux:打开终端,输入以下命令安装 Docker 和 Docker Compose:
      sudo apt update && sudo apt install docker.io docker-compose -y
      
    • 检查是否成功:运行 docker -v 和 docker-compose -v,看到版本号即完成。
  2. 获取项目文件
    • 访问 https://github.com/yakami129/VirtualWife,点击 “Code” 按钮,选择 “Download ZIP” 下载。或用 Git:
      git clone https://github.com/yakami129/VirtualWife.git
      
    • 解压后进入 VirtualWife 文件夹。
  3. 配置环境变量
    • 找到 env_example 文件,改名为 .env
    • 用文本编辑器打开 .env,填写必要参数。例如:
      TIMEZONE=Asia/Shanghai
      OPENAI_API_KEY=your-api-key-here
      
    • 如果使用 Ollama,添加 OLLAMA_API_URL=http://host.docker.internal:11434
  4. 启动程序
    • 进入 installer 文件夹,运行:
      cd installer
      docker-compose up -d
      
    • 初次启动会下载镜像,可能需要 5-10 分钟。完成后用 docker ps 检查容器状态。
  5. 访问页面
    • 打开浏览器,输入 http://localhost/,进入配置界面。

初始化配置

1. 基础配置

  • 进入网页后,选择角色模型(从 VRM 市场下载)并上传。
  • 选择语言模型:OpenAI 或 Ollama。
  • 点击保存,无需重启即可使用。

2. 语言模型设置

  • OpenAI:填写 OPENAI_API_KEY,可选填代理地址 OPENAI_BASE_URL
  • Ollama:若用 Docker 部署,设置为 http://host.docker.internal:11434
  • 保存配置后即可对话。

3. 高级设置

  • 如果网络受限,配置代理,如 HTTP_PROXY=http://host.docker.internal:23457
  • 调整完成后保存。

使用主要功能

1. B站直播

  • 准备:在 .env 中填入 B站直播房间号和认证信息(见 FAQ)。
  • 操作
    1. 启动项目后,VirtualWife 自动连接 B站。
    2. 观众发送弹幕,VirtualWife 实时语音回复。
    3. 可通过麦克风直接对话,增强互动。
  • 注意:因 B站接口调整,进入房间提示暂不可用。

2. 语音对话

  • 操作
    1. 连接麦克风,对着它说话,如“你今天过得怎么样?”。
    2. VirtualWife 会用中文语音回答。
  • 切换语音:在配置中选 Edge 或 Bert-VITS2,Bert-VITS2 更适合中文。
  • 建议:保持环境安静,避免杂音干扰。

3. 自定义角色

  • 更换模型
    1. 从 https://hub.vroid.com/ 下载 VRM 文件。
    2. 放入 installer/linux 或 installer/windows 文件夹。
    3. 重启项目,新模型生效。
  • 调整性格:在配置页面修改角色设定,如“温柔”或“活泼”。

4. 记忆功能

  • VirtualWife 会记住对话内容。例如,你说“我喜欢狗”,下次它可能问“你家狗狗好吗?”。
  • 当前记忆无法手动查看,但会在对话中体现。

常见问题解决

  • 启动失败:检查 Docker 是否运行,端口 23457 是否被占用。
  • 语音无响应:确认麦克风正常,切换 Bert-VITS2 试试。
  • B站连接失败:核对 .env 中的直播配置。

 

应用场景

  1. 情感陪伴
    用户感到孤单时,可以与 VirtualWife 聊天。它会记住你的喜好,提供温暖陪伴。
  2. 直播互动
    B站主播用它增加直播趣味性,回复弹幕,提升观众参与度。
  3. 角色扮演
    用户可定制角色,如“猫娘”或“傲娇少女”,体验沉浸式互动。
  4. 技术探索
    开发者可研究源码,学习虚拟数字人和 AI 技术。

 

QA

  1. VirtualWife 收费吗?
    它是免费开源项目,但使用 OpenAI 模型需自备 API 费用。
  2. 支持手机运行吗?
    目前不支持,需在电脑上用 Docker 部署。
  3. 如何提升对话质量?
    在配置中切换到更强的模型,如 OpenAI GPT-4。
  4. 支持英文对话吗?
    可以输入英文,但语音输出以中文为主。
未经允许不得转载:首席AI分享圈 » VirtualWife:支持B站直播和语音互动的二次元数字人
zh_CN简体中文