PersonaLive - La Universidad de Macao y otros de código abierto en tiempo real AI retrato animación generación marco vivo

¿Qué es PersonaLive?

PersonaLive es el marco de código abierto para la retransmisión en directo de intercambio de rostros con IA en tiempo real de la Universidad de Macao,dzine.aiDesarrollado en colaboración con el GVC Lab de la Universidad del Gran Área de la Bahía. Capaz de conducir humanos digitales con baja latencia y alta velocidad de fotogramas en una tarjeta gráfica de consumo medio (12 GB de memoria de vídeo), admite el control en tiempo real de las expresiones y movimientos de los personajes en fotos fijas a través de la cámara. La tecnología central incluye control de movimiento híbrido, destilación de apariencias por pasos y generación de microbloques en streaming, lo que mejora notablemente la velocidad de inferencia (latencia inferior a 100 ms) y resulta idónea para escenarios como el anclaje virtual y la creación de vídeos cortos.

Características de PersonaLive

• Tiempo real y eficaciaCon una sola GPU de 12 GB de memoria gráfica, es posible conseguir animaciones de retratos en tiempo real, de duración ilimitada y que se pueden transmitir en tiempo real, combinando baja latencia y alta calidad, con una latencia tan baja como 40-50 ms por fotograma.
• bajo consumo de recursos: Los requisitos de hardware no son elevados, y funciona sin problemas incluso en dispositivos menos configurados, lo que reduce el umbral de uso.
• Generación de animaciones de alta calidad: La animación generada es de gran calidad, y el aspecto del personaje se mantiene estable sin desmoronarse ni perder su forma durante largos periodos de tiempo.
• Amplia gama de aplicacionesEs adecuado para la retransmisión en directo, la producción de vídeos cortos, la producción de animación, el presentador virtual, la imitación de emoticonos, los juegos de rol, el entretenimiento social, la demostración de productos, la educación y la formación, la publicidad y el marketing, y muchos otros escenarios.
• Arquitectura técnica innovadora: Contiene 6 componentes de red neuronal bien diseñados con técnicas innovadoras como señales de movimiento mixtas, estrategia de destilación de aparición sin escalones y paradigma autorregresivo de generación de flujo de microbloques para mejorar el rendimiento y la eficacia.
• usabilidad: Se proporciona documentación y uso detallados, incluidos los pasos para la configuración del entorno, la descarga de pesos, la inferencia fuera de línea y en línea, etc., lo que facilita a los usuarios la rápida puesta en marcha.
• código abiertoComo proyecto de código abierto, los usuarios son libres de descargar, utilizar y modificar el código para el desarrollo secundario y la personalización.

Puntos fuertes de PersonaLive

• Tiempo real y baja latenciaLa capacidad de generación de animaciones de retratos de longitud ilimitada en tiempo real con una latencia extremadamente baja, de tan sólo 40-50 ms por fotograma, resulta idónea para escenarios con elevados requisitos de tiempo real, como la retransmisión en directo y la interacción en tiempo real.
• Bajos requisitos de hardware: Sólo se necesita una GPU con 12 GB de memoria de vídeo para ejecutarlo, lo que reduce el umbral de hardware y lo pone al alcance de más usuarios en dispositivos comunes.
• Alta calidad y estabilidad: Las animaciones generadas son de gran calidad y los personajes se mantienen estables durante largos recorridos sin desmoronarse ni perder la forma.
• Arquitectura tecnológica innovadoraEl modelo de generación de flujo de microbloques autorregresivo se basa en técnicas innovadoras, como las señales de movimiento mixto, la estrategia de destilación de apariencia "step less" y el paradigma de generación de flujo de microbloques autorregresivo, para mejorar la eficiencia y la eficacia de la generación.

¿Cuál es el sitio web oficial de PersonaLive?

• Repositorio GitHub:: https://github.com/GVCLab/PersonaLive
• Biblioteca de modelos HuggingFace:: https://huggingface.co/huaichang/PersonaLive
• Documento técnico arXiv:: https://arxiv.org/pdf/2512.11253

A quién va dirigido PersonaLive

• creador de contenidos: Adecuado para creadores que necesitan generar rápidamente contenidos animados de alta calidad, como productores de vídeos cortos y presentadores en directo, que pueden controlar la imagen virtual para que actúe en tiempo real y así aumentar la diversión y la interactividad del contenido.
• Profesionales de la animación y el cinePuede utilizarse como herramienta auxiliar para la producción de animación, generar rápidamente prototipos de animación o efectos especiales, mejorar la eficiencia de la producción, aplicable a estudios de animación, equipo de efectos especiales de cine y televisión, etc.
• Desarrolladores de imágenes virtualesPuede generar rápidamente los efectos dinámicos de la imagen virtual, adecuado para el desarrollo de ancla virtual, ídolo virtual y otros proyectos relacionados con la imagen virtual, para satisfacer las necesidades individuales.
• educadorSe puede utilizar para producir animaciones didácticas, explicando conocimientos a través de imágenes virtuales, aumentando la diversión y el atractivo de la enseñanza, adecuado para instituciones educativas y plataformas de educación en línea.
• desarrollador de juegosEl sistema de animación de personajes: puede utilizarse para generar animaciones de personajes en el juego con el fin de mejorar los efectos visuales y la experiencia interactiva de los equipos de desarrollo de juegos.
• Personal de publicidad y marketingAnimación publicitaria : Se puede utilizar para crear animaciones publicitarias, mostrando productos o servicios a través de imágenes virtuales, atrayendo la atención de los usuarios y potenciando los efectos publicitarios, adecuado para agencias de publicidad y equipos de marketing.