InfinityHuman: un modelo de generación humana digital de vídeo largo lanzado por Bytes en colaboración con ZJU.

¿Qué es InfinityHuman?

InfinityHuman es un modelo comercial de generación de vídeos de personajes con series de audio de larga duración lanzado conjuntamente por ByteDance y la Universidad de Zhejiang. El modelo se basa en el audio y puede generar vídeos de personajes de alta resolución, larga duración y coherencia visual. Con movimientos naturales de las manos, coherencia de identidad y sincronización labial, el modelo puede generar vídeos con diversos estilos de personajes. InfinityHuman es adecuado para presentadores virtuales, educación en línea, atención al cliente, producción de cine y televisión, redes sociales virtuales y otros campos, aportando nuevos avances en el campo de la IA humana digital.

InfinityHuman Características

• Generación de vídeos de larga duración: Soporta la generación de vídeos de animación de personajes de alta resolución y larga duración, manteniendo la consistencia y estabilidad visual, adecuado para una gran variedad de escenarios de aplicación.
• Movimientos naturales de la mano: Basado en un mecanismo de recompensa específico para las manos, genera movimientos de manos naturales, precisos y sincronizados con el habla para aumentar el realismo del vídeo.
• coherencia de identidadEl uso de refinadores guiados por la pose y primeros fotogramas como anclajes visuales reduce los errores acumulados y garantiza la coherencia a largo plazo de las identidades de los personajes en vídeos de larga duración.
• sincronización labialEl objetivo es que los movimientos de los labios de los personajes en el vídeo generado estén muy sincronizados con el audio, lo que aumenta la naturalidad general del vídeo.
• Diversos estilos de personajesSoporta diferentes estilos de generación de caracteres para satisfacer las necesidades de una variedad de escenarios de aplicación, tales como ancla virtual, educación en línea, servicio al cliente y así sucesivamente.

Puntos fuertes de InfinityHuman

• estableEl exclusivo método de generación puede reducir eficazmente la acumulación de errores en la generación a largo plazo, de modo que el vídeo permanece estable durante todo el proceso, evitando el "colapso" de la imagen.
• Optimización del movimiento de las manos: Basado en un mecanismo especial para que los movimientos de las manos sean naturales y suaves, y altamente sincronizado con la voz y la expresión para que la comunicación del avatar sea más realista.
• La identidad sigue siendo precisaA continuación se muestra un ejemplo de cómo garantizar que la identidad de un personaje permanezca constante durante largos periodos de tiempo sin "cambio de caras", con la ayuda de anclajes visuales y secuencias gestuales estabilizadoras.
• Sincronización labial y precisión: Mediante el uso de guías de movimiento y refinadores de baja resolución, los movimientos de los labios se adaptan perfectamente al audio, lo que mejora la naturalidad general del vídeo.
• rendimiento líderSupera a las tecnologías existentes en una serie de parámetros clave, demostrando una calidad superior en la generación de vídeo e impulsando el avance del sector.
• amplia gama de adaptaciones: Puede generar múltiples estilos de roles para satisfacer las necesidades de diferentes escenarios, con gran versatilidad y flexibilidad.

¿Cuál es el sitio web oficial de InfinityHuman?

• Página web del proyecto:: https://infinityhuman.github.io/
• Documento técnico arXiv:: https://arxiv.org/pdf/2508.20210

A quién va dirigido InfinityHuman

• creador de contenidos: Genera rápidamente contenido de vídeo de avatar de alta calidad, mejora la eficiencia de la creación, adecuado para producir vídeo de anclaje virtual, cortometrajes animados, etc.
• educador: Se utiliza en el desarrollo de cursos de educación en línea más interactivos y atractivos, lo que permite a los profesores de IA enseñar de una forma más natural y animada para mejorar la eficacia de la enseñanza.
• Equipo de producción de cine y televisiónCapacidad para generar rápidamente animaciones de personajes de alta calidad en la producción de películas de animación, series de TV, etc., reduciendo la carga de trabajo de dibujo manual y restauración en postproducción.
• Profesionales del sector de la atención al clienteProporcionar una imagen más vívida del servicio digital de atención al cliente, para que la comunicación entre los clientes y el servicio de atención al cliente sea más natural y humana, y mejorar la experiencia del cliente.
• Desarrollador de plataformas sociales virtualesLa misión de este proyecto es: Proporcionar a los usuarios una experiencia de interacción con avatares más realista y envolvente en escenarios sociales virtuales de realidad virtual (RV) y realidad aumentada (RA) para mejorar la comunicación entre usuarios.