Runway lance Gen-4 : une nouvelle génération de modèles de génération vidéo IA axés sur la cohérence mondiale et la contrôlabilité.

La société de recherche en intelligence artificielle Runway a récemment publié sa nouvelle série de modèles d'IA de génération de médias, Runway Gen-4, qui est conçue pour répondre aux défis de cohérence qui prévalent dans la génération actuelle de vidéos d'IA et pour améliorer la contrôlabilité de la génération de contenu, marquant ainsi une étape importante vers une création d'IA plus stable et plus narrative. des outils pour une création d'IA plus stable et narrative.

Éliminer le goulot d'étranglement de la cohérence

Selon Runway, la principale avancée de Runway Gen-4 est sa capacité à maintenir la "cohérence du monde". Les utilisateurs peuvent désormais générer avec plus de précision des personnages, des lieux et des objets cohérents d'une scène à l'autre. En définissant le style visuel initial, le modèle est capable de maintenir un environnement cohérent dans les générations suivantes, tout en conservant le style unique, l'ambiance et les éléments cinématographiques de chaque image. Plus important encore, le modèle permet de régénérer ces éléments à partir de points de vue et d'emplacements multiples, ce qui est essentiel pour construire des scènes narratives complexes.

Runway Gen-4 est capable de combiner des références visuelles (telles que des images d'un seul personnage) et des instructions textuelles pour créer de nouvelles images et vidéos, en garantissant un degré élevé de cohérence en termes de style, de sujet, de lieu, etc. Cela signifie que les créateurs disposent d'une liberté créative sans précédent pour raconter leurs propres histoires, en permettant aux personnages ou objets virtuels de traverser différents éclairages, environnements et traitements sans avoir besoin d'une mise au point complexe du modèle ou d'une formation supplémentaire.

Améliorer la contrôlabilité et la qualité de la production

En plus de son excellente régularité, la Runway Gen-4 démontre sa puissance dans plusieurs dimensions :

• Couverture. Il suffit de fournir une image de référence du sujet et de décrire la composition de la prise de vue souhaitée pour que Runway Gen-4 génère des prises de vue sous différents angles afin de répondre aux besoins de la scène.

  

• Vidéo prête pour la production. Le modèle excelle dans la production de vidéos très dynamiques, au mouvement naturel, tout en garantissant la cohérence du sujet, de l'objet et du style. Sa capacité à comprendre les mots-clés et à simuler le monde physique a également atteint de nouveaux sommets.

  

• Physique. Runway affirme que Gen-4 a fait des progrès significatifs dans la simulation des lois de la physique du monde réel, ce qui constitue une étape importante vers un modèle génératif universel qui comprend le fonctionnement du monde. Bien que la précision et la portée de la simulation doivent encore être vérifiées, il s'agit certainement d'une direction importante à explorer dans le domaine de la génération de vidéos par l'IA.

  

• Effets visuels génératifs (GVFX). Runway Gen-4 introduit le concept de GVFX, qui ouvre de nouvelles possibilités pour la production d'effets visuels en fournissant un moyen rapide, contrôlé et flexible de générer de la vidéo qui fonctionne de manière transparente avec les actions en direct, l'animation et le contenu VFX traditionnel.

Potentiel narratif et applications industrielles

Pour valider les capacités narratives du modèle, Runway a produit une série de courts métrages et de clips musicaux à l'aide de Gen-4. Ce travail démontre l'efficacité du modèle pour maintenir l'unité du personnage, de l'environnement et du style.

En savoir plus sur le test de compétences narratives

La sortie de Runway Gen-4 intervient à un moment où la technologie de génération de vidéos d'IA évolue rapidement. Bien qu'il existe d'autres modèles sur le marché (par exemple, Sora, Pika, etc.) qui ont démontré des capacités étonnantes dans différents domaines, Runway Gen-4 se concentre explicitement sur la "cohérence" et la "contrôlabilité" en tant qu'arguments de vente essentiels, et souligne que Le fait que cela puisse être réalisé sans qu'il soit nécessaire de procéder à un réglage fin touche directement un point sensible pour de nombreux créateurs aujourd'hui lorsqu'ils utilisent l'IA pour développer du contenu ou des scènes complexes. Si ses capacités revendiquées peuvent être largement vérifiées et reproduites de manière cohérente dans des applications réelles, elles auront sans aucun doute un impact considérable sur les domaines de la production cinématographique, de la créativité publicitaire, du développement de jeux, etc.

En outre, les collaborations récemment annoncées par Runway avec des partenaires industriels tels que Lionsgate, Tribeca Festival et Media.Monks démontrent son engagement à faire passer Gen-4 au niveau professionnel.

• Runway s'associe à Lionsgate Films
• Runway explore l'avenir du cinéma avec le festival du film de Tribeca 2024
• Repousser les limites de la créativité avec Media.Monks

Actuellement, les utilisateurs peuvent essayer Runway Gen-4 via la plateforme de Runway, et comme la technologie continue d'évoluer et que de nouvelles applications émergent, le marché attendra de voir si Runway Gen-4 peut réellement définir la prochaine génération de création de médias par l'IA.

Essayez Runway Gen-4 maintenant !