VirtualWife: вторичное цифровое лицо, поддерживающее прямую трансляцию со станции B и голосовое взаимодействие

Общее введение

VirtualWife - это проект виртуального цифрового человека с открытым исходным кодом, созданный разработчиком yakami129. В настоящее время он находится на стадии инкубации, цель - создать виртуального персонажа с "душой", с которым пользователи смогут взаимодействовать как с другом. Проект поддерживает прямые трансляции с B-станций и может общаться с пользователями с помощью китайского голоса и текста. Он сочетает в себе OpenAI и Оллама VirtualWife использует Docker для развертывания в один клик и поддерживает системы Linux, Windows и MacOS. Разработчики надеются, что в будущем ее можно будет использовать в качестве тренера или консультанта по отношениям, интегрируя в жизнь человека и решая его эмоциональные потребности.

Список функций

• Поддерживает прямую трансляцию в режиме реального времени на станции B, что позволяет взаимодействовать с аудиторией.
• Быстрое время отклика и поддержка потоковой передачи данных с помощью китайского голосового диалога.
• Обеспечивает функции кратковременной и долговременной памяти, позволяющие запоминать содержание диалогов пользователя.
• Поддерживаются индивидуальные настройки персонажей с настраиваемыми личностями и фонами.
• Поддерживаются запасные модели VRM, а роли можно загрузить с сайта https://hub.vroid.com/.
• Интеграция нескольких крупных языковых моделей (например, OpenAI, Ollama), поддержка коммутации и частного развертывания.
• Выражения и действия, управляемые текстом, повышают реалистичность интерактивного взаимодействия.
• Поддерживает Edge (Microsoft) и голосовое переключение Bert-VITS2 для более естественного китайского произношения.

Использование помощи

Процесс установки

VirtualWife разворачивается через Docker и подходит как для энтузиастов техники, так и для обычных пользователей. Ниже приведены подробные шаги:

1. Установка Docker
   • Windows/MacOS: Загрузите Docker Desktop, установите его и запустите.
   • Linux: Откройте терминал и введите следующую команду для установки Docker и Docker Compose:

     sudo apt update && sudo apt install docker.io docker-compose -y
     

   • Проверка успеха: выполнить docker -v ответить пением docker-compose -vЕсли вы видите номер версии, значит, все готово.
2. Доступ к документам проекта
   • Перейдите на сайт https://github.com/yakami129/VirtualWife, нажмите кнопку "Code" и выберите "Download ZIP" для загрузки. Или воспользуйтесь Git'ом:

     git clone https://github.com/yakami129/VirtualWife.git
     

   • Распакуйте и перейдите в раздел VirtualWife Папка.
3. Настройка переменных среды
   • найти env_example переименуйте его в .env.
   • Откройте в текстовом редакторе .envЗаполните необходимые параметры. Например:

     TIMEZONE=Asia/Shanghai
     OPENAI_API_KEY=your-api-key-here
     

   • Если используете "Олламу", добавьте OLLAMA_API_URL=http://host.docker.internal:11434.
4. процедура срабатывания
   • входить installer папку, запустить:

     cd installer
     docker-compose up -d
     

   • При начальной загрузке образ будет загружен и может занять 5-10 минут. После завершения используйте кнопку docker ps Проверьте состояние контейнера.
5. страница доступа
   • Откройте браузер и введите http://localhost/Войдите в экран конфигурации.

Инициализация Конфигурация

1. базовая конфигурация

• Оказавшись на веб-странице, выберите модель персонажа (загруженную из VRM Marketplace) и загрузите ее.
• Выберите языковую модель: OpenAI или Ollama.
• Нажмите Сохранить, чтобы использовать его без перезагрузки.

2. языковое моделирование

• OpenAI: Заполнить OPENAI_API_KEYДополнительный адрес прокси-сервера OPENAI_BASE_URL.
• Оллама: Если вы развертываете с помощью Docker, установите значение http://host.docker.internal:11434.
• Сохраните конфигурацию, после чего вы сможете вести диалог.

3. Дополнительные настройки

• Если сеть ограничена, настройте прокси-сервер, например HTTP_PROXY=http://host.docker.internal:23457.
• Сохраните по завершении настройки.

Использование основных функций

1. Прямая трансляция со станции B

• намерение: в .env Введите номер комнаты B Live и информацию для аутентификации (см. FAQ).
• буровая установка::
  1. После запуска проекта VirtualWife автоматически подключается к станции B.
  2. Зрители отправляют всплывающие окна, а VirtualWife отвечает на них голосом в режиме реального времени.
  3. Для улучшения взаимодействия предусмотрен прямой диалог через микрофон.
• принимать к сведению: В связи с настройкой интерфейса станции B, подсказка входа в комнату пока недоступна.

2. Голосовой диалог

• буровая установка::
  1. Подключите микрофон и говорите в него, например, "Как прошел день?". .
  2. VirtualWife ответит китайским голосом.
• Toggle Voice: Выберите Edge или Bert-VITS2 в конфигурации, Bert-VITS2 больше подходит для китайского языка.
• предложение: Соблюдайте тишину и избегайте отвлекающих звуков.

3. Пользовательские роли

• Сменная модель::
  1. Загрузите файл VRM с сайта https://hub.vroid.com/.
  2. вводить installer/linux возможно installer/windows Папка.
  3. Перезапустите проект, и новая модель вступит в силу.
• Корректировка личности: Измените параметры роли на странице конфигурации, например "Нежный" или "Живой".

4. Функции памяти

• VirtualWife запоминает разговоры. Например, если вы скажете: "Я люблю собак", в следующий раз она может спросить: "Как поживает ваша собака?". В следующий раз она может спросить: "Как поживает ваша собака?".
• Текущие воспоминания нельзя просмотреть вручную, но они будут отражены в диалоге.

Часто задаваемые вопросы

• сбой загрузки: Проверьте, запущен ли Docker и занят ли порт 23457.
• Голос не реагирует: Убедитесь, что микрофон работает правильно, переключите Bert-VITS2 и попробуйте.
• Сбой подключения станции B:: Примирение .env Живая конфигурация в

сценарий применения

1. эмоциональное общение
   Пользователи могут общаться с VirtualWife, когда чувствуют себя одинокими. Она запомнит ваши предпочтения и обеспечит теплые дружеские отношения.
2. живое взаимодействие
   Ведущие телеканалов используют его, чтобы добавить интереса к своим прямым эфирам, отвечать на всплывающие окна и повышать вовлеченность аудитории.
3. ролевая игра (игра)
   Пользователи могут настраивать своих персонажей, например, "леди-кошку" или "высокомерную девушку", чтобы испытать захватывающее взаимодействие.
4. Исследование технологий
   Разработчики могут изучить исходный код и узнать о виртуальных цифровых людях и технологиях искусственного интеллекта.

QA

1. Взимает ли VirtualWife плату?
   Это бесплатный проект с открытым исходным кодом, но использование моделей OpenAI связано с расходами на API.
2. Поддерживает ли он работу с мобильными телефонами?
   В настоящее время не поддерживается, требуется развертывание с помощью Docker на ПК.
3. Как можно улучшить качество диалога?
   Переключитесь на более сильную модель в конфигурации, например OpenAI GPT-4.
4. Поддержка английского диалога?
   Можно ввести английский язык, но голосовой вывод в основном на китайском.