Production cinématographique et télévisuelle basée sur l'IA : comment le modèle Poly Dimension "Saiwa" Big Model est en train de remodeler l'industrie des courts métrages dramatiques ?

La technologie de l'IA pénètre dans toutes les industries à une vitesse stupéfiante, et la production cinématographique et télévisuelle ne fait pas exception. Dans cette vague de fusion de la technologie et de l'art, l'essor de l'IA a apporté des possibilités de changement sans précédent dans l'industrie du cinéma et de la télévision. La production de courts métrages de fiction, en particulier, a longtemps été confrontée à de nombreux défis, tels que des coûts de production élevés, un long cycle de production et des goulets d'étranglement créatifs. Joly Dimension, une entreprise spécialisée dans la technologie de l'IA pour le cinéma et la télévision, ouvre un tout nouveau monde pour la production de courts métrages grâce au modèle "Saiwa" qu'elle a elle-même mis au point. Qu'il s'agisse de l'itinéraire de production de films et de programmes télévisés en 3D ou d'une série de technologies clés telles que la génération d'acteurs IA, la performance IA et la génération d'actions IA, le modèle "Saiwa" de Juridic Dimension a profondément renforcé tous les aspects de la production de courts métrages dramatiques, la rendant plus efficace, plus raffinée et plus créative.

Métaphysique : De Playing Erhu : un premier regard sur les applications industrielles du théâtre d'esquisses de l'IA

Le 14 février, la plateforme du fruit rouge a mis en ligne le premier court métrage d'IA de qualité industrielle, "Metaphysical Illusion : Starting from Playing Erhu" (Illusion métaphysique : à partir de la pratique du Erhu). Ce court métrage a été créé conjointement par Poly Dimension, Impossible Technology et le Zhongguancun Science Fiction Industry Innovation Centre. Utilisant le code comme fil et aiguille, cette équipe technique a brodé une œuvre pleine d'esthétique technologique dans le domaine du cinéma et de la télévision numériques, ce qui constitue une tentative audacieuse et innovante. La sortie de cette fiction marque non seulement la percée de la technologie de l'IA dans la production cinématographique et télévisuelle, mais aussi une étape importante dans l'application industrielle de la technologie de l'IA.

À l'heure actuelle, la technologie de l'IA a été largement utilisée dans la fabrication automatisée, le service client intelligent, la reconnaissance vocale, la génération d'images et bien d'autres domaines, où elle est presque omniprésente. Cependant, dans l'industrie du cinéma et de la télévision, bien qu'il y ait eu quelques projets expérimentaux basés sur la technologie de l'IA, il y a très peu de cas qui ont réellement atteint le niveau d'application industrielle. La plupart des applications de l'IA restent encore au niveau de l'expérience de divertissement sur la page web, comme la génération de texte, la beauté du selfie, l'habillage virtuel, etc.

Cependant, avec le lancement de "Saiwa", un modèle vidéo multimodal en 3D, la production cinématographique et télévisuelle assistée par ordinateur est enfin entrée dans une nouvelle ère d'applications industrielles. Le "Saiwa" possède non seulement de puissantes capacités de génération d'images, mais il peut également gérer efficacement le processus de création de contenu vidéo, aidant ainsi les équipes professionnelles de cinéma et de télévision à produire du contenu de manière plus efficace et de meilleure qualité. Par rapport au mode de production cinématographique et télévisuelle traditionnel, l'application de la technologie de l'IA rend le processus de création plus souple et plus rapide, et améliore considérablement l'efficacité du travail de l'équipe. Le court métrage "Metaphysical Fantasy : Starting from Playing Erhu" est un exemple réussi de l'utilisation de la technologie de l'IA pour surmonter le goulot d'étranglement de la production cinématographique et télévisuelle traditionnelle.

Adapté d'un roman populaire en ligne, ce drame est basé sur le thème des "arts martiaux" et raconte l'histoire d'un jeune homme aveugle qui, grâce à ses talents exquis au erhu, renverse son destin et entre dans le monde mystérieux d'un mystérieux jianghu. L'intrigue est serrée et rapide, pleine d'aventures et de fantaisie.

Dans l'épisode, l'atmosphère forte des arts martiaux et le monde fantastique sont habilement mélangés, injectant un charme unique à l'histoire. La technologie de l'IA montre un grand potentiel créatif dans le processus de production, de la modélisation des personnages, de la conception des scènes à la chorégraphie d'action, tous peuvent être générés efficacement dans un laps de temps très court, et présenter un effet visuel époustouflant. L'IA rend les effets spéciaux et les scènes d'action encore plus grandioses et choquants, apportant au public une expérience visuelle rafraîchissante.

Les grands modèles "Saiwa" : franchir les limites de la création d'IA

Le modèle commercial de base de PolyVision consiste à renforcer l'industrie traditionnelle du cinéma et de la télévision en s'appuyant sur la technologie de l'IA, en particulier dans le domaine de la production d'animations. Le cœur de son système technologique est le grand modèle "Saiba", qui est intégré dans "CyberDirector", une plateforme de production cinématographique et télévisuelle 3D à processus complet développée indépendamment par PolyVision. La plateforme "CyberDirector" est capable de générer indépendamment des objets dans la vidéo d'une manière structurée en 3D, garantissant leur cohérence, leur éditabilité et leur contrôlabilité dans différents plans et états de mouvement. La plateforme permet également de réaliser des performances de film et de télévision en IA de niveau "vieil acteur" et prend en charge la création de contenu de n'importe quelle longueur. Grâce à cette plateforme innovante, PolyVision espère créer une nouvelle ère de production de films et d'émissions de télévision en IA en donnant à chacun la possibilité d'avoir sa propre équipe d'IA et d'atteindre l'objectif de produire 10 minutes de contenu cinématographique et télévisuel de haute qualité par jour.

CyberDirector demo image

"L'un des points forts de la plateforme CyberDirector est que le créateur n'a pas besoin d'être physiquement impliqué dans la performance. Le grand modèle "CyberDirector" donne la priorité au besoin essentiel du créateur, à savoir la génération d'un objet unique, c'est-à-dire un modèle humain numérique en 3D avec des liens. Le modèle prend en charge l'entrée multimodale, y compris la génération aléatoire, la description de texte, la référence d'image et d'autres méthodes, et prend en charge l'édition à grain fin.

CyberDirector demo image

Grâce à la technologie de génération d'acteurs IA, Poly Dimension crée des acteurs virtuels capables de jouer et de transmettre des émotions. Ces acteurs IA sont non seulement très réalistes en apparence, mais ils peuvent également présenter de riches changements émotionnels en fonction des exigences du scénario. Grâce à l'amélioration itérative de la technologie, le pouvoir d'expression des acteurs IA devrait être comparable à celui des acteurs réels à l'avenir. L'introduction d'acteurs IA résout efficacement les problèmes de pénurie d'acteurs ou de délais serrés qui sont courants dans la production de courts métrages dramatiques. Les acteurs IA sont extrêmement flexibles et peuvent être "en ligne" à tout moment pour interpréter des rôles de styles et d'émotions différents, et peuvent même maintenir un niveau stable de compétences d'acteur dans le cadre d'une intrigue complexe. De plus, les acteurs IA ne sont pas limités par les conditions physiques et sont capables de "tourner" dans une variété d'environnements extrêmes, qu'il s'agisse de monter dans le ciel ou de plonger dans les profondeurs de la mer, l'IA peut facilement y faire face.

L'IA ne se contente pas de comprendre les émotions et les paramètres des personnages dans le scénario, elle génère aussi automatiquement des actions qui correspondent à la personnalité du personnage et optimise l'effet de performance grâce à des algorithmes. Il est ainsi possible d'obtenir une présentation de haute qualité des scènes de combat, des scènes émotionnelles et des conceptions d'action complexes dans les courts métrages sans acteurs en chair et en os. Imaginez qu'avec le soutien de la technologie de l'IA, le sketch puisse facilement présenter des scènes de combat tournant à grande vitesse, entre la lumière des épées et les ombres, les changements de posture du personnage, les mouvements et les sauts, toutes ces actions difficiles étant réalisées en douceur par l'IA. Grâce à la capture précise des mouvements et à la conception détaillée des actions, la technologie de l'IA rend non seulement l'image plus attrayante sur le plan visuel, mais elle permet également de réduire considérablement les coûts de production et de gagner du temps lors de la création de la saynète.

Zhao Tianqi, fondateur de Poly Dimension, a déclaré que le coût de production actuel des courts métrages dramatiques se situe approximativement entre 500 000 et 1 million de yuans, ce qui permet de produire environ 100 minutes de contenu, ce qui signifie que le coût par minute est d'environ 5 000 à 10 000 yuans. Parmi eux, le coût de 10 000 yuans par minute de court métrage est déjà une boutique, tandis que 5 000 yuans par minute est le coût de base, en dessous de cette norme, la qualité du contenu aura du mal à attirer les téléspectateurs.

Zhao Tianqi a souligné que si la limite inférieure du coût des courts métrages d'animation ne peut pas être contrôlée à 5 000 RMB par minute, mais qu'elle peut atteindre 50 000 RMB par minute, l'ensemble de l'industrie sera confrontée au risque de décroissance. Même si le coût est comprimé à l'extrême, que l'équipe de production est transférée dans une ville où le coût de la main-d'œuvre est très bas et que les bénéfices sont complètement sacrifiés, le coût de production de l'animation peut difficilement être inférieur à 15 000 yuans par minute, ce qui a déjà dépassé la limite supérieure du coût du court métrage dramatique. De plus, même pour une animation coûtant 15 000 dollars par minute, la qualité de la production n'est souvent pas aussi bonne que celle d'un court métrage en prise de vue réelle de 5 000 dollars par minute, et ses performances sont même moins bonnes à certains égards.

Bien que la tête de série des courts métrages dramatiques puisse dépasser les millions, voire les millions de revenus, le revenu moyen de l'industrie n'est que d'environ 200 000 yuans, de sorte que l'industrie des courts métrages dramatiques est confrontée au défi d'un coût élevé et d'un risque élevé. Afin de limiter les coûts, la plupart des courts métrages actuels sont relativement rudimentaires, avec moins d'effets spéciaux, un manque d'éléments d'animation et une forme unique de contenu global. Les méthodes actuelles de production cinématographique et télévisuelle sont principalement de deux types : tournage en direct + petite partie de tournage virtuel + post-production ; et production d'animation pure. Dans le contexte du développement rapide de la technologie AIGC, l'adoption de l'IA est devenue une tendance majeure dans l'industrie du cinéma et de la télévision.

PolyVision a choisi la voie de la 3D, ou plus exactement de la génération structurée en 3D. Contrairement aux modèles vidéo 2D, PolyVision estime que la voie 3D est plus conforme à la nature de la production cinématographique et télévisuelle. En termes de fonctionnement de la caméra, d'éclairage, de cohérence, etc., la technologie 3D peut être résolue efficacement sans IA. En revanche, certaines entreprises de grands modèles vidéo 2D affirment que leurs produits peuvent réaliser le défilement des caméras et proposer plusieurs méthodes de défilement aux utilisateurs, mais cela nécessite une formation ciblée pour y parvenir. La "3D" mise en avant par Polyvision ne signifie pas seulement les effets visuels tridimensionnels, mais surtout la "structuration". La structuration est la clé pour obtenir un contenu contrôlable, mobile et modifiable. La combinaison de la 3D et de la structuration conserve les avantages de la technologie 3D, comme la facilité de transport des miroirs, tout en permettant de contrôler, de générer et de combiner de manière indépendante les différentes parties du modèle. Cette approche permet de décomposer les problèmes complexes en problèmes plus petits, un par un, en évitant le dilemme d'un modèle global incontrôlable.

Selon Zhao Tianqi, lorsqu'il est question de l'avenir du cinéma et de la télévision utilisant l'IA, il faut d'abord clarifier la définition de "cinéma et télévision" afin d'évaluer les avantages et les inconvénients de la voie 3D, ainsi que les coûts élevés et faibles. Selon lui, les œuvres cinématographiques et télévisuelles devraient atteindre le niveau de production qui est généralement accepté et aimé par le public dans le cadre du processus de production professionnel traditionnel. C'est la définition du "cinéma et de la télévision" en termes de processus de production et d'effet final. D'un point de vue technique, le cinéma et la télévision consistent à filmer et à présenter une histoire qui se déroule dans un monde en 3D. Il est donc important d'être clair sur la définition de "film et télévision" et sur le fait que le film et la télévision sont souvent narratifs plutôt que simplement filmés.

PolyVision a choisi la voie de la 3D en raison de sa contrôlabilité, qui correspond mieux à la nature de la production cinématographique. Toutefois, l'inconvénient de la voie 3D réside dans le fait qu'il est encore difficile de simuler l'effet de l'action en direct, et qu'il est également difficile de générer rapidement des effets visuels qui changent rapidement. C'est pourquoi le modèle commercial de PolyVision est basé sur la technologie de capture visuelle de l'IA pour renforcer l'industrie traditionnelle du cinéma et de la télévision, en particulier la production d'animations.

Zhao Tianqi admet également que pour les petites entreprises en démarrage, l'accumulation de données industrielles n'est plus une compétence essentielle. De nos jours, il est de plus en plus facile d'obtenir des quantités massives de données vidéo, d'images et de textes gratuits. Il pense que la tendance de développement des grands modèles est que "le plus fort est toujours plus fort", et que chaque amélioration d'un ordre de grandeur des paramètres du modèle créera un avantage écrasant par rapport à l'ordre de grandeur suivant. Par exemple, un modèle qui investit un milliard de dollars en taille surpassera un modèle qui investit 100 millions, et un modèle qui investit 10 milliards surpassera à son tour un modèle qui investit un milliard. Au bout du compte, il ne restera plus que quelques grands acteurs sur le marché mondial. La formation d'un grand modèle puissant nécessite un investissement énorme qui peut coûter des centaines de milliards, et il n'y a qu'une poignée d'entreprises dont la capitalisation boursière dépasse les centaines de milliards. Si le coût de la formation d'un grand modèle est si élevé et ne permet en fin de compte qu'à une poignée de gagnants, le paysage concurrentiel sera très différent de ce qu'il a été dans le passé. Dans le passé, les entreprises pouvaient saisir des opportunités dans différents segments, emprunter des voies technologiques différentes, se concentrer sur des orientations d'application différentes, adopter des modèles commerciaux différents ou offrir des services différenciés. Mais à l'ère du "grand modèle", ces possibilités se réduisent considérablement.

Par conséquent, du point de vue de l'accumulation de données, le grand modèle vidéo 3D multimodal "Saiwa" peut être une opportunité clé pour PolyVision de percer dans le domaine du film et de la télévision d'IA. En raison du manque relatif d'ensembles de données à grande échelle de haute qualité dans le domaine de la 3D, PolyVision a déjà atteint un certain degré d'avantage en matière de données après une longue période d'accumulation, ce qui constitue sa "douve" importante et est difficile à atteindre pour les autres concurrents.

Actuellement, la plateforme "CyberDirector" et la technologie de grand modèle "Cywa" ont remporté un certain nombre de distinctions gouvernementales, notamment le projet d'accélération du développement des entreprises à forte croissance dans le cadre de "plusieurs mesures de soutien au développement de l'innovation et du développement de l'Internet 3.0 dans le district de Chaoyang", et le projet de soutien à d'excellents modèles verticaux dans le cadre de "plusieurs mesures de promotion du développement de l'innovation et de l'application de l'intelligence artificielle générale dans le district de Chaoyang", entre autres. Plusieurs mesures visant à promouvoir le développement de l'innovation et de l'application de l'intelligence artificielle générale dans le district de Chaoyang" pour soutenir d'excellents projets de modèles verticaux, etc.

PolyVision a entamé une coopération pour la production de courts métrages avec un certain nombre de plateformes principales et lancera 20 courts métrages d'IA dans le premier lot, avec des plans pour augmenter la capacité de production à 10 ou même 1 000 courts métrages par mois à l'avenir. L'entreprise s'emploie activement à former une équipe d'élites de la production cinématographique et télévisuelle d'IA et prévoit de coopérer avec le gouvernement pour construire une base de production de courts métrages d'IA, former des étudiants à l'utilisation de la plateforme CyberDirector pour produire des courts métrages d'IA et cultiver une nouvelle génération de créateurs de films et d'émissions télévisées d'IA. L'ensemble du processus de production sera strictement contrôlé par PolyVision. À l'avenir, Juridic Dimension prévoit de partager les revenus avec le gouvernement, les universités et les étudiants par le biais d'un modèle contractuel afin de promouvoir conjointement le développement de l'industrie des courts-métrages d'IA.

AI Short Drama Base : une double impulsion pour la commercialisation et l'industrialisation

En tant que pionnier de l'industrie du court métrage d'IA, l'objectif de Joly Dimension ne se limite pas à la recherche et au développement techniques, mais consiste également à construire une base de production professionnelle de courts métrages d'IA afin de promouvoir la commercialisation et l'industrialisation de la production de courts métrages d'IA. L'essor des courts métrages d'IA n'est pas le fruit du hasard, mais repose sur la connaissance approfondie qu'a PolyVision des tendances de développement de l'industrie et sur une conception tournée vers l'avenir. Avec le soutien technique du modèle "Saiwa", Juridic Dimension a réussi à faire passer la création de courts métrages d'IA à un niveau supérieur et continuera à promouvoir le développement de l'industrie à grande échelle à l'avenir. Avec le soutien de la Commission municipale des sciences et technologies de Pékin et du Comité administratif de Zhongguancun, Polyvision a uni ses forces à celles du Centre d'innovation de l'industrie de la science-fiction de Zhongguancun pour créer un centre de démonstration pour la production de courts métrages d'IA à Pékin. En tant que plateforme importante pour le développement de l'industrie de la science-fiction à Pékin, le Zhongguancun Science Fiction Industry Innovation Centre s'est engagé à rassembler toutes les ressources élémentaires de l'industrie de la science-fiction. Le centre se concentre sur l'incubation et l'accélération des technologies de base de l'industrie de la science-fiction, joue le rôle de pont entre les trois principaux éléments de l'industrie de la science-fiction, à savoir les technologies clés, les talents originaux et la construction de scénarios, renforce la capacité d'innovation indépendante de l'industrie de la science-fiction et construit une chaîne de services industriels complète "Institut de recherche + Incubateur + Accélérateur + Pôle industriel".

En 2023, le Centre d'innovation de l'industrie de la science-fiction de Zhongguancun a reçu un certain nombre d'honneurs et de qualifications, tels que le Nouvel espace audiovisuel, le Nouveau parc d'art audiovisuel de Pékin et la Base de l'industrie audiovisuelle de Pékin-Tianjin-Hebei. Au début de l'année 2024, la base de diffusion numérique en direct construite par le Centre d'innovation en coopération avec Polyvision a été officiellement dévoilée à Pékin, jetant ainsi les bases d'une plateforme solide pour que la technologie de l'IA puisse renforcer le secteur audiovisuel. La création du centre de démonstration de production de courts métrages d'IA n'est pas seulement une fusion profonde de la technologie et de la créativité, mais aussi une étape clé pour la maturation de l'industrie des courts métrages d'IA. À l'avenir, Gathering Dimension prévoit d'unir ses forces à celles des universités, du gouvernement et des entreprises en amont et en aval de la chaîne industrielle, et de créer des bases de production de courts métrages d'IA dans tout le pays. Grâce à des recherches approfondies sur des sujets pertinents, nous continuerons à améliorer le système de production de courts métrages d'IA, à étendre l'échelle de l'industrie et à promouvoir l'atterrissage et la popularisation de la production de courts métrages d'IA à l'échelle nationale.

Metaphysical : Starting from Playing Erhu est non seulement un exemple d'application réussie de la technologie de l'IA, mais aussi une innovation audacieuse pour l'ensemble de l'industrie cinématographique et télévisuelle. Il démontre pleinement comment la technologie de l'IA peut jouer un rôle central dans la création de courts métrages dramatiques, et donne envie de voir le développement futur des courts métrages dramatiques basés sur l'IA. Avec les progrès continus de la technologie de l'IA et l'accélération de l'industrialisation, de plus en plus de contenus cinématographiques et télévisuels de haute qualité issus de l'IA verront le jour. Chaque créateur pourra réaliser ses rêves créatifs avec l'aide de l'IA en tant qu'outil puissant.

L'essor des courts métrages d'IA marque le début d'une nouvelle ère de création cinématographique et télévisuelle. Dans cette nouvelle ère, l'IA n'est pas seulement un outil permettant d'améliorer l'efficacité, mais aussi une source de créativité et une force motrice puissante pour promouvoir l'expansion continue des limites de la création cinématographique et télévisuelle. Si l'on se projette dans l'avenir, on peut s'attendre à ce que la technologie de l'IA soit plus largement utilisée dans le domaine du cinéma et de la télévision, du court métrage au film, de la série télévisée à l'animation, l'IA nous apportera encore plus de surprises. La coopération approfondie entre Joly Dimension et le Zhongguancun Science Fiction Industry Innovation Centre est un signe que l'industrie du court métrage d'IA est sur le point de s'épanouir. Avec la maturité de la technologie et l'expansion continue de l'échelle de l'industrie, les courts métrages d'IA ne seront plus le "pavillon dans le ciel" de quelques personnes, mais deviendront une réalité à la portée de tous les créateurs. Dans un avenir proche, la technologie de l'IA nous apportera une nouvelle expérience cinématographique et télévisuelle sans précédent.