PersonaLive - Университет Макао и другие открытые источники для создания портретной анимации в реальном времени с помощью ИИ.

Что такое PersonaLive?

PersonaLive - это фреймворк с открытым исходным кодом, разработанный Университетом Макао для прямых трансляций с использованием искусственного интеллекта в режиме реального времени,dzine.aiРазработан совместно с лабораторией GVC Lab при Университете Большого залива. Она способна с низкой задержкой и высокой частотой кадров управлять цифровыми людьми на средней видеокарте потребительского класса (12 ГБ видеопамяти) и поддерживает управление выражениями и движениями персонажей на фотографиях в реальном времени с помощью камеры. Основная технология включает гибридное управление движениями, пошаговую дистилляцию внешнего вида и потоковую генерацию микроблоков, что значительно повышает скорость вывода (задержка менее 100 мс) и подходит для таких сценариев, как виртуальный якорь и создание коротких видеороликов.

Особенности PersonaLive

• В режиме реального времени и эффективно: С помощью одного графического процессора с 12 ГБ графической памяти можно в реальном времени создавать потоковые портретные анимации неограниченной длины с низкой задержкой и высоким качеством, причем задержка составляет всего 40-50 мс на кадр.
• низкое потребление ресурсов: Требования к аппаратному обеспечению невысоки, и он работает без сбоев даже на менее настроенных устройствах, что снижает порог использования.
• Создание анимации высокого качества: Созданная анимация отличается высоким качеством, а внешний вид персонажа остается стабильным, не рассыпаясь и не теряя формы в течение длительного времени.
• Широкий спектр сценариев примененияОн подходит для прямых трансляций, создания коротких видеороликов, анимации, виртуального ведущего, имитации смайликов, ролевых игр, социальных развлечений, демонстрации продукции, образования и обучения, рекламы и маркетинга и многих других сценариев.
• Инновационная техническая архитектура: Содержит 6 хорошо разработанных компонентов нейронной сети с инновационными методами, такими как смешанные сигналы движения, стратегия дистилляции с уменьшением шага появления и авторегрессионная парадигма генерации микроблочного потока для повышения производительности и эффективности.
• юзабилити: Предоставляется подробная документация по использованию, включая шаги по настройке среды, загрузке весов, проведению оффлайн- и онлайн-анализа и т.д., что позволяет пользователям быстро приступить к работе.
• открытый исходный код: Как проект с открытым исходным кодом, пользователи могут свободно загружать, использовать и изменять код для вторичного развития и настройки.

Основные преимущества PersonaLive

• В режиме реального времени и с низкой задержкой: Он может реализовать генерацию портретной анимации неограниченной длины в реальном времени с чрезвычайно низкой задержкой, всего 40-50 мс на кадр, что подходит для сценариев с высокими требованиями к реальному времени, таких как прямые трансляции и взаимодействие в реальном времени.
• Низкие требования к оборудованию: Для ее запуска требуется только один GPU с 12 ГБ видеопамяти, что снижает аппаратный порог и делает ее доступной для большего числа пользователей на обычных устройствах.
• Высокое качество и стабильность: Сгенерированные анимации отличаются высоким качеством, а персонажи остаются стабильными в течение длительного времени, не рассыпаясь и не теряя формы.
• Инновационная технологическая архитектура: Для повышения эффективности и результативности генерации используются такие инновационные методы, как смешанные сигналы движения, стратегия дистилляции с уменьшенным шагом и авторегрессионная парадигма генерации микроблочного потока.

Что такое официальный сайт PersonaLive

• Репозиторий GitHub:: https://github.com/GVCLab/PersonaLive
• Библиотека моделей HuggingFace:: https://huggingface.co/huaichang/PersonaLive
• Технический документ arXiv:: https://arxiv.org/pdf/2512.11253

Для кого предназначена PersonaLive

• создатель контента: Подходит для создателей, которым необходимо быстро генерировать высококачественный анимированный контент, таких как производители короткометражных видеороликов и ведущие прямых эфиров, которые могут управлять виртуальным изображением для выполнения действий в режиме реального времени, чтобы повысить увлекательность и интерактивность контента.
• Практики анимации и кино: Он может использоваться как вспомогательный инструмент для производства анимации, быстро генерировать прототипы анимации или спецэффекты, повышать эффективность производства, применим для анимационных студий, команд спецэффектов кино и телевидения, и так далее.
• Разработчики виртуальных образов: Может быстро генерировать динамические эффекты виртуального изображения, подходит для разработки виртуального якоря, виртуального идола и других проектов, связанных с виртуальным изображением, для удовлетворения индивидуальных потребностей.
• педагог: Он может быть использован для создания обучающей анимации, объясняющей знания с помощью виртуальных образов, повышающей увлекательность и привлекательность обучения, подходящей для учебных заведений и платформ онлайн-образования.
• разработчик игр: Он может быть использован для создания анимации внутриигровых персонажей, чтобы улучшить визуальные эффекты и интерактивные возможности игры для команд разработчиков.
• Сотрудники отдела рекламы и маркетинга: Он может быть использован для создания рекламной анимации, отображения продуктов или услуг с помощью виртуальных изображений, привлечения внимания пользователей и усиления рекламного эффекта, подходит для рекламных агентств и маркетинговых команд.