Fay Digital Human Framework: интеграция языковых моделей и трехмерных цифровых персонажей для поддержки различных сценариев применения

Общее введение

Fay - это фреймворк с открытым исходным кодом для создания 3D виртуального цифрового человека, интегрированный с языковыми моделями и цифровыми персонажами, подходящий для различных сценариев применения, таких как виртуальные гиды по магазинам, виртуальные ведущие, ассистенты, официанты, учителя и голосовые или текстовые мобильные помощники. Фреймворк Fay поддерживает полное автономное использование, обеспечивая миллисекунды для ответа, и может свободно сочетаться с различными цифровыми моделями человека, большими языковыми моделями, ASR (Automatic Speech Recognition) и TTS (Text-to-Speech) моделями. Fay стремится обеспечить комплексные интерфейсы цифровых человеческих приложений для микроконтроллеров, приложений, веб-сайтов и т. д. Он поддерживает многопользовательский и многоканальный параллелизм, обеспечивает интерфейсы текстовой и голосовой связи, интерфейсы управления и контроля, интерфейсы автовоспроизведения и т. д. Fay поддерживает полное автономное использование, обеспечивая миллисекундные ответы.

Список функций

• Полностью открытый исходный код и коммерческая доступность
• Поддержка полного автономного использования
• миллисекундный ответ
• Свободное сопоставление оцифрованных человеческих моделей, большие языковые модели, ASR, TTS модели
• Поддержка виртуального учителя, виртуального ведущего, трансляции новостей и других режимов автоматического вещания
• Поддержка микроконтроллера, приложения, веб-сайта, большого экрана, доступ к зрелой системе
• Поддержка одновременной работы нескольких пользователей
• Обеспечивает интерфейс текстовой связи, интерфейс голосовой связи, цифровой интерфейс человеческой модели, интерфейс управления, интерфейс автоматического воспроизведения
• Поддержка гибкой настройки выполнения голосовых команд
• Настроенная база знаний, настроенные пары вопросов и ответов, настроенная информация о персонах
• Поддержка диалогов пробуждения и прерывания
• Поддерживает серверный и автономный режимы
• Поддержка вывода выражений робота
• Поддержка автономного принятия решений агентами-реакторами
• Поддержка активного диалога
• Поддержка бесшумного запуска в фоновом режиме

Использование помощи

Процесс установки

1. Убедитесь, что в системном окружении установлен Python 3.9, 3.10, 3.11 или 3.12 с поддержкой Windows, macOS и Linux.
2. Хранилище Клона Фэя:

   git clone https://github.com/xszyou/Fay.git

3. Перейдите в каталог Fay и установите зависимости:

   cd Fay
pip install -r requirements.txt

4. Вносите изменения по мере необходимости./system.confДокументация.
5. Запустите контроллер Fay:

   python main.py

или загрузитесь с помощью Docker:

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

Руководство по использованию

Основные функции

• интерфейс текстовой коммуникации: Отправьте текстовое сообщение через API, чтобы получить ответ от цифрового человека.
• VCI: Отправьте голосовое сообщение через API, чтобы получить цифровой ответ человеческого голоса.
• Интерфейс управления: Управление и настройка цифрового поведения и реакции человека.
• Интерфейс автовоспроизведения: Настройте режимы автоигры, такие как виртуальный учитель, виртуальный ведущий и т. д.

Основные функции

• Настроенная база знаний: Пользователи могут создавать и управлять собственной базой знаний, повышая профессионализм и персонализацию цифровых людей.
• Индивидуальные пары вопросов и ответов: Настройте конкретные вопросы и ответы, чтобы улучшить реакцию цифровых людей на конкретные домены.
• Индивидуальная информация о персонах: Установите роль и биографические данные цифрового человека в соответствии со сценарием применения.
• Конфигурация голосовых команд: Гибкая настройка голосовых команд для сложных взаимодействий.
• Проснитесь и прервите диалог: Поддержка пробуждения или прерывания диалога с цифровым человеком с помощью определенных команд.
• Вывод экспрессии роботаЦифровое лицо может выдавать соответствующие выражения в соответствии с содержанием диалога для улучшения интерактивного опыта.
• реакция агента автономное принятие решенийЦифровые люди могут принимать самостоятельные решения и выполнять задачи на основе заранее заданных правил.
• Активный диалогЦифровые люди могут инициировать диалог для улучшения взаимодействия с пользователем.
• Тихий старт на заднем плане: Поддерживает тихий запуск в фоновом режиме, чтобы уменьшить помехи для операций переднего плана.

Продвинутая игра

• Интеграция в ваши собственные продукты: Fay предоставляет богатый набор интерфейсов, которые позволяют пользователям интегрировать его в свои продукты, такие как микроконтроллеры, приложения, веб-сайты и так далее.
• Использование цифровых людей: Fay поддерживает широкий спектр цифровых моделей человека, позволяя пользователям выбирать подходящую модель для своих задач по мере необходимости.
• виртуальный ведущий (ТВ): Настройте режим виртуального ведущего для автоматической трансляции новостей, продажи товаров и т. д.
• Удаленный голосовой помощник: Дистанционное управление устройствами с помощью голосовых команд для "умного дома" и других сценариев применения.