Producción cinematográfica y televisiva basada en la IA: ¿cómo está cambiando el Big Model "Saiwa" de Poly Dimension el sector de los cortometrajes?

La tecnología de la IA está penetrando en todas las industrias a una velocidad asombrosa, y la producción de cine y televisión no es una excepción. En esta ola de integración de tecnología y arte, el auge de la IA ha traído consigo oportunidades de cambio sin precedentes en la industria del cine y la televisión. Especialmente en el campo de la producción de cortometrajes dramáticos, se ha enfrentado durante mucho tiempo a muchos retos, como los altos costes de producción, el largo ciclo de producción y los cuellos de botella creativos. Joly Dimension, una empresa centrada en la tecnología de IA para cine y televisión, está abriendo un mundo completamente nuevo para la producción de cortometrajes con su modelo "Saiwa" de desarrollo propio. El modelo "Saiwa" de Joly Dimension ha potenciado profundamente todos los aspectos de la producción de cortometrajes, haciéndola más eficiente, refinada y llena de creatividad, desde la ruta de producción de cine y televisión en 3D con IA hasta una serie de tecnologías clave como la generación de actores con IA, la interpretación con IA y la generación de acciones con IA.

Metafísica: De tocar el erhu a las aplicaciones industriales de la IA en el teatro de bocetos

El 14 de febrero, la plataforma de los frutos rojos puso en línea el primer cortometraje de IA de nivel industrial, "Metaphysical Illusion: Starting from Playing Erhu". Este cortometraje fue creado conjuntamente por Poly Dimension, Impossible Technology y el Centro de Innovación de la Industria de Ciencia Ficción de Zhongguancun. Utilizando el código como aguja e hilo, este equipo técnico bordó una obra llena de estética tecnológica en el campo del cine y la televisión digitales, lo que supone un intento audaz e innovador. El estreno de este drama no sólo marca el avance de la tecnología de IA en la producción de cine y televisión, sino que también significa un sólido paso adelante en la aplicación a nivel industrial de la tecnología de IA.

En la actualidad, la tecnología de IA se ha utilizado ampliamente en la fabricación automatizada, el servicio inteligente de atención al cliente, el reconocimiento de voz, la generación de imágenes y muchos otros campos, casi omnipresentes. Sin embargo, en la industria del cine y la televisión, aunque ha habido algunos proyectos experimentales basados en la tecnología de IA, hay muy pocos casos que hayan alcanzado realmente el nivel de aplicación industrial. La mayoría de las aplicaciones de IA siguen estando al nivel de la experiencia de entretenimiento en la página web, como la generación de texto, la belleza selfie, el disfraz virtual, etc. Aunque convenientes e interesantes, todavía hay una gran distancia respecto a las necesidades reales de producción.

Sin embargo, con el lanzamiento de "Saiwa", un modelo de vídeo 3D multimodal, la producción cinematográfica y televisiva con IA ha entrado por fin en una nueva era de aplicaciones de nivel industrial. Saiwa" no sólo tiene una potente capacidad de generación de imágenes, sino que también puede gestionar eficazmente el proceso de creación de contenidos de vídeo, ayudando a los equipos profesionales de cine y televisión a producir contenidos de forma más eficiente y con mayor calidad. En comparación con el modo tradicional de producción de cine y televisión, la aplicación de la tecnología de IA hace que el proceso de creación sea más flexible y rápido, y mejora significativamente la eficiencia del trabajo del equipo. El cortometraje "Metaphysical Fantasy: Starting from Playing Erhu" es una práctica exitosa de la tecnología de IA para romper el cuello de botella de la producción tradicional de cine y televisión.

Adaptación de una popular novela en línea, el drama se basa en el tema de las "artes marciales" y cuenta la historia de un joven ciego que, con sus exquisitas habilidades en el erhu, invierte su destino y se adentra en el misterioso mundo de un misterioso jianghu. La trama es tensa y trepidante, llena de aventuras y fantasía.

La tecnología de IA muestra un gran potencial creativo en el proceso de producción: desde el modelado de personajes y el diseño de escenas hasta la coreografía de acción, todos ellos pueden generarse de forma eficiente en un periodo de tiempo muy corto y presentar un efecto visual asombroso. Especialmente en la presentación de efectos especiales y escenas de acción, la IA hace que estas escenas sean aún más grandiosas e impactantes, aportando al público una experiencia visual refrescante.

"Saiwa" Big Models: romper los límites de la creación de IA

El principal modelo de negocio de PolyVision es potenciar la industria tradicional del cine y la televisión basándose en la tecnología de IA, especialmente en la producción de animación. El núcleo de su sistema tecnológico es el gran modelo "Saiba", que está integrado en "CyberDirector", una plataforma de producción de cine y televisión con IA 3D de proceso completo desarrollada de forma independiente por PolyVision. La plataforma "CyberDirector" es capaz de generar independientemente objetos en el vídeo de forma estructurada en 3D, garantizando su gran coherencia, editabilidad y controlabilidad en diferentes tomas y estados de movimiento. La plataforma también permite actuaciones de cine y televisión con IA de nivel de "actor antiguo" de la vida real, y admite la creación de contenidos de cualquier duración. A través de esta innovadora plataforma, Polyvision espera crear una nueva era de producción cinematográfica y televisiva con IA, dando a todo el mundo la oportunidad de tener su propio equipo de IA y alcanzar el objetivo de producir 10 minutos diarios de contenidos cinematográficos y televisivos de alta calidad.

Imagen de demostración de CyberDirector

"Uno de los aspectos más destacados de la plataforma CyberDirector es que el creador no tiene que participar físicamente en la representación. El gran modelo "CyberDirector" da prioridad a la necesidad fundamental del creador: la generación de un objeto único, es decir, un modelo humano digital en 3D con fijaciones. El modelo admite la entrada multimodal, incluida la generación aleatoria, la descripción de texto, la referencia a imágenes y otros métodos, y admite la edición de grano fino.

Imagen de demostración de CyberDirector

Mediante la tecnología de generación de actores de IA, Poly Dimension crea actores virtuales que pueden interpretar y transmitir emociones. Estos actores de IA no sólo tienen un aspecto muy realista, sino que también pueden mostrar ricos cambios emocionales según los requisitos del guión. Con la mejora iterativa de la tecnología, se espera que en el futuro la capacidad expresiva de los actores de IA sea comparable a la de los actores reales. La introducción de actores de IA resuelve eficazmente los problemas de escasez de actores o de calendarios ajustados, habituales en la producción de obras cortas. Los actores de IA son extremadamente flexibles y pueden estar "en línea" en cualquier momento, interpretando papeles de diferentes estilos y emociones, e incluso manteniendo un nivel estable de habilidades interpretativas en el diseño de tramas complejas. Es más, los actores de IA no están limitados por las condiciones físicas, y son capaces de "rodar" en una variedad de entornos extremos, ya sea subiendo al cielo o buceando en las profundidades marinas, la IA puede manejarlo fácilmente.

La IA no sólo entiende las emociones y la configuración de los personajes en el guión, sino que también genera automáticamente acciones que se ajustan a la personalidad del personaje y optimiza el efecto de la actuación mediante algoritmos. Esto permite lograr una presentación de alta calidad de escenas de lucha, escenas emotivas y diseños de acción complejos en obras cortas sin actores en directo. Imaginemos que, con el apoyo de la tecnología de IA, el sketch puede presentar fácilmente escenas de batalla giratorias de alta velocidad, entre la luz de las espadas y las sombras, los cambios de postura del personaje, los movimientos y los saltos, todas estas difíciles acciones son realizadas por la IA con fluidez. Gracias a la captura precisa del movimiento y al diseño detallado de la acción, la tecnología de IA no sólo hace que la imagen sea más atractiva visualmente, sino que también ahorra significativamente costes de producción y tiempo durante la creación de la representación.

Zhao Tianqi, fundador de Poly Dimension, afirma que el coste de producción actual de los cortometrajes dramáticos oscila entre 500.000 y 1 millón de yuanes, con los que se pueden producir unos 100 minutos de contenido, lo que significa que el coste por minuto es de entre 5.000 y 10.000 yuanes. Entre ellos, el coste de 10.000 yuanes por minuto de drama corto es ya una boutique, mientras que 5.000 yuanes por minuto es el coste de la línea de fondo, por debajo de esta norma, la calidad del contenido será difícil atraer a los espectadores.

Zhao Tianqi señaló que si el límite inferior del coste de los cortometrajes de animación no puede controlarse en 5.000 yuanes por minuto, sino llegar a 50.000 yuanes por minuto, toda la industria correrá el riesgo de reducirse. Incluso si el coste se comprime hasta el límite, el equipo de producción se traslada a la ciudad con un coste laboral muy bajo y se sacrifican por completo los beneficios, el coste de producción de la animación difícilmente podrá ser inferior a 15.000 yuanes por minuto, lo que ya ha superado el límite superior del coste del cortometraje. Además, incluso para una animación que cueste 15.000 dólares por minuto, su calidad de producción no suele ser tan buena como la de un cortometraje de acción real de 5.000 dólares por minuto, y su rendimiento es incluso peor en ciertos aspectos.

Aunque la cabeza de las obras dramáticas cortas puede superar los millones o incluso millones de ingresos, pero los ingresos medios de la industria son sólo de unos 200.000 yuanes, por lo que la industria de las obras dramáticas cortas se enfrenta al reto del alto coste y el alto riesgo. Para mantener el coste bajo, la mayor parte del contenido actual de los cortometrajes es relativamente tosco, con menos efectos especiales, falta de elementos de animación y una única forma de contenido general. Los métodos de producción de cine y televisión existentes son principalmente de dos tipos: rodaje real + pequeña parte de rodaje virtual + postproducción; y producción de animación pura. En el contexto del rápido desarrollo de la tecnología AIGC, la adopción de la IA se ha convertido en una tendencia importante en la industria del cine y la televisión.

PolyVision ha optado por la vía 3D, o más exactamente, por la vía de la generación estructurada en 3D. A diferencia de los modelos de vídeo 2D, PolyVision cree que la ruta 3D se ajusta más a la naturaleza de la producción de cine y televisión. En términos de funcionamiento de la cámara, iluminación, consistencia, etc., la tecnología 3D puede resolverse eficazmente sin IA. En cambio, algunas empresas de grandes modelos de vídeo 2D afirman que sus productos pueden realizar el funcionamiento de la cámara y ofrecen varios métodos de funcionamiento de la cámara para que los usuarios elijan, pero esto requiere una formación específica para conseguirlo. El "3D" en el que hace hincapié Polyvision no se refiere sólo a los efectos visuales tridimensionales, sino sobre todo a la "estructuración". La estructuración es la clave para conseguir contenidos controlables, móviles y editables. La combinación de 3D y estructuración conserva las ventajas de la tecnología 3D, como la facilidad de transporte de espejos, al tiempo que permite controlar, generar y combinar de forma independiente las distintas partes del modelo. Este enfoque descompone los problemas complejos en otros más pequeños, uno a uno, evitando el dilema de un modelo global incontrolable.

Según Zhao Tianqi, cuando se habla del futuro del cine y la televisión de IA, primero hay que aclarar la definición de "cine y televisión" para evaluar las ventajas e inconvenientes de la vía 3D y los costes altos y bajos. En su opinión, las obras cinematográficas y televisivas deben alcanzar el nivel de producción generalmente aceptado y querido por el público en el proceso de producción profesional tradicional. Esta es la definición de "cine y televisión" tanto en lo que se refiere al proceso de producción como al efecto final. Desde un punto de vista técnico, el cine y la televisión es la filmación y presentación de una historia que tiene lugar en un mundo tridimensional. Por lo tanto, es importante tener clara la definición de "cine y televisión" y que el cine y la televisión suelen ser narrativos y no simplemente filmados.

PolyVision eligió la vía 3D por su capacidad de control, más acorde con la naturaleza de la producción cinematográfica. Sin embargo, la desventaja de la ruta 3D es que aún existen algunos retos a la hora de simular el efecto de la acción en vivo, y también es difícil generar rápidamente efectos visuales que cambien con rapidez. Por ello, el modelo de negocio de PolyVision se basa en la tecnología de captura visual de IA para potenciar la industria tradicional del cine y la televisión, especialmente la producción de animación.

Zhao Tianqi también admite que, para las pequeñas empresas emergentes, depender únicamente de la acumulación de datos de la industria ya no es una competencia básica. Hoy en día, cada vez es más fácil obtener cantidades masivas de datos gratuitos de vídeo, imágenes y texto. Cree que la tendencia de desarrollo de los grandes modelos es "el más fuerte es siempre más fuerte", y cada orden de magnitud de mejora en los parámetros del modelo creará una ventaja aplastante sobre el siguiente orden de magnitud. Por ejemplo, un modelo que invierta mil millones de dólares superará a un modelo que invierta 100 millones, y un modelo que invierta 10.000 millones superará a su vez a un modelo que invierta mil millones. Al final, sólo quedarán unos pocos jugadores de cabeza en el mercado mundial. Entrenar un gran modelo potente requiere una enorme inversión que puede costar cientos de miles de millones, y sólo hay un puñado de empresas con capitalizaciones de mercado superiores a cientos de miles de millones. Si el coste de formar un gran modelo es tan elevado y, en última instancia, sólo da cabida a un puñado de ganadores, el panorama competitivo será muy diferente del que ha existido en el pasado. En el pasado, las empresas podían buscar oportunidades en diferentes segmentos, tomar diferentes caminos tecnológicos, centrarse en diferentes direcciones de aplicación, adoptar diferentes modelos de negocio u ofrecer servicios diferenciados. Pero en la era del "gran modelo", esas oportunidades están disminuyendo drásticamente.

Por lo tanto, desde el punto de vista de la acumulación de datos, el gran modelo de vídeo 3D multimodal "Saiwa" puede ser una oportunidad clave para que PolyVision se abra camino en el campo del cine y la televisión de IA. Debido a la relativa escasez de conjuntos de datos a gran escala de alta calidad en el campo del 3D, PolyVision ya cuenta con cierto grado de ventaja en materia de datos tras un largo periodo de acumulación, lo que constituye su importante "foso" y resulta difícil de alcanzar para otros competidores.

En la actualidad, la plataforma "CyberDirector" y la tecnología de gran modelo "Cywa" han ganado varios honores gubernamentales, incluido el proyecto de aceleración del desarrollo de empresas de alto crecimiento en "Varias medidas para apoyar el desarrollo de la innovación y el desarrollo de Internet 3.0 en el distrito de Chaoyang", y el proyecto de apoyo a modelos verticales excelentes en "Varias medidas para promover el desarrollo de la innovación y la aplicación de la inteligencia artificial general en el distrito de Chaoyang", entre otros. Varias medidas para promover el desarrollo de la innovación y la aplicación de la inteligencia artificial general en el distrito de Chaoyang" para apoyar proyectos de modelos verticales excelentes, etc.

PolyVision ha empezado a cooperar en la producción de cortometrajes con varias plataformas principales, y lanzará 20 cortometrajes de IA en la primera tanda, con planes para aumentar la capacidad de producción a 10 o incluso 1.000 cortometrajes al mes en el futuro. La empresa está formando activamente un equipo semilla de élites de producción de cine y televisión de IA, y planea cooperar con el gobierno para construir una base de producción de cortometrajes de IA, formar a estudiantes en el uso de la plataforma CyberDirector para producir cortometrajes de IA, y cultivar una nueva generación de creadores de cine y televisión de IA. Todo el proceso de producción estará estrictamente controlado por PolyVision. En el futuro, Juridic Dimension planea compartir los ingresos con el gobierno, las universidades y los estudiantes a través de un modelo contractual para promover conjuntamente el desarrollo de la industria de los cortometrajes de IA.

AI Short Drama Base: un impulso de dos ruedas para la comercialización y la industrialización

El objetivo de Joly Dimension, pionera en la industria de los cortometrajes de IA, no se limita a la investigación y el desarrollo técnicos, sino que también pretende crear una base profesional de producción de cortometrajes de IA para promover de forma integral la comercialización y la industrialización de la producción de cortometrajes. El auge de los cortometrajes de IA no es fruto de la casualidad, sino de la profunda percepción de PolyVision de la tendencia de desarrollo de la industria y de su visión de futuro. Con la potenciación técnica del modelo "Saiwa", Juridic Dimension ha impulsado con éxito la creación de cortometrajes de IA a un nuevo nivel, y seguirá promoviendo el desarrollo de la industria a gran escala en el futuro. Con el apoyo de la Comisión Municipal de Ciencia y Tecnología de Pekín y el Comité Administrativo de Zhongguancun, Polyvision ha unido fuerzas con el Centro de Innovación de la Industria de Ciencia Ficción de Zhongguancun para crear un centro de demostración para la producción de cortometrajes de IA en Pekín. Como plataforma importante para el desarrollo de la industria de la ciencia ficción en Pekín, el Centro de Innovación de la Industria de la Ciencia Ficción de Zhongguancun se ha comprometido a reunir todos los recursos elementales de la industria de la ciencia ficción. El Centro se centra en incubar y acelerar las tecnologías básicas de la industria de la ciencia ficción, desempeña el papel de puente entre los tres elementos principales de la industria de la ciencia ficción, a saber, las tecnologías clave, los talentos originales y la construcción de escenarios, mejora la capacidad de innovación independiente de la industria de la ciencia ficción y construye una cadena de servicios industriales integral de "Instituto de Investigación + Incubadora + Aceleradora + Clúster Industrial".

En 2023, el Centro de Innovación de la Industria de la Ciencia Ficción de Zhongguancun recibió una serie de honores y calificaciones, como el Nuevo Espacio Audiovisual, el Nuevo Parque Artístico Audiovisual de Pekín y la Base de la Industria Audiovisual de Pekín-Tianjin-Hebei. A principios de 2024, se inauguró oficialmente en Pekín la base de radiodifusión digital en directo construida por el Centro de Innovación en cooperación con Polyvision, sentando unas bases sólidas para que la tecnología de IA potencie el campo audiovisual. La creación del Centro de Demostración de Producción de Cortometrajes de IA no es sólo una profunda fusión de tecnología y creatividad, sino también un hito clave para la maduración de la industria de los cortometrajes de IA. En el futuro, Gathering Dimension planea aunar fuerzas con universidades, el gobierno y empresas de los eslabones anteriores y posteriores de la cadena industrial, y establecer bases de producción de obras breves de IA en todo el país. A través de la investigación en profundidad de temas relevantes, seguiremos mejorando el sistema de producción de series cortas de IA, ampliando la escala de la industria y promoviendo de forma integral el aterrizaje y la popularización de la producción de series cortas de IA en todo el país.

Metaphysical: Starting from Playing Erhu no es sólo un ejemplo de aplicación con éxito de la tecnología de IA, sino también una innovación audaz para toda la industria del cine y la televisión. Demuestra plenamente cómo la tecnología de IA puede desempeñar un papel central en la creación de cortometrajes dramáticos, y hace que la gente espere con impaciencia el futuro desarrollo de los cortometrajes dramáticos con IA. De cara al futuro, con el progreso continuo de la tecnología de IA y la aceleración de la industrialización, surgirán más contenidos de cine y televisión de IA de alta calidad. Todos los creadores podrán hacer realidad sus sueños creativos con la ayuda de la IA como poderosa herramienta.

El auge de los cortometrajes de IA marca una nueva era en la creación cinematográfica y televisiva. En esta nueva era, la IA no es sólo una herramienta para mejorar la eficiencia, sino también una fuente de creatividad, y una poderosa fuerza motriz para promover la continua expansión de los límites de la creación cinematográfica y televisiva. Mirando al futuro, tenemos razones para esperar que la tecnología de IA se utilice más ampliamente en el campo del cine y la televisión, desde obras cortas a películas, desde dramas televisivos a animaciones, la IA nos deparará más sorpresas. La estrecha colaboración entre Joly Dimension y el Centro de Innovación de la Industria de la Ciencia Ficción de Zhongguancun es una señal de que la industria de los cortometrajes de IA está a punto de florecer. Con la madurez de la tecnología y la continua expansión de la escala de la industria, los cortometrajes de IA dejarán de ser el "pabellón en el cielo" de unos pocos para convertirse en una realidad al alcance de todos los creadores. Miremos hacia el futuro próximo, la tecnología de IA nos traerá una nueva experiencia cinematográfica y televisiva sin precedentes.