Runway lanza Gen-4: una nueva generación de modelos de generación de vídeo de IA centrados en la coherencia y la controlabilidad mundial

La empresa de investigación en Inteligencia Artificial Runway acaba de lanzar su serie de modelos de IA de nueva generación para la generación de medios, Runway Gen-4, que está diseñada para abordar los retos de coherencia que prevalecen en la generación de vídeo de IA actual y mejorar la capacidad de control de la generación de contenidos, lo que supone un paso significativo hacia una autoría de IA más estable y con capacidad narrativa herramientas para una autoría de IA más estable y narrativa.

Romper el cuello de botella de la coherencia

Según Runway, el principal avance de Runway Gen-4 es su capacidad para mantener la "coherencia del mundo". Ahora, los usuarios pueden generar con mayor precisión personajes, lugares y objetos coherentes de una escena a otra. Al establecer el estilo y la sensación visuales iniciales, el modelo es capaz de mantener un entorno mundial coherente en la generación posterior, conservando al mismo tiempo el estilo, el ambiente y los elementos cinematográficos únicos de cada fotograma. Y lo que es más importante, el modelo permite la regeneración de estos elementos desde múltiples puntos de vista y ubicaciones, lo que es fundamental para construir escenas narrativas complejas.

Runway Gen-4 es capaz de combinar referencias visuales (como imágenes de un solo personaje) e instrucciones textuales para crear nuevas imágenes y vídeos, garantizando un alto grado de coherencia en cuanto a estilo, tema, ubicación y mucho más. Esto significa que los creadores disponen de una libertad creativa sin precedentes para contar sus propias historias, permitiendo a los personajes u objetos virtuales atravesar diferentes iluminaciones, entornos y tratamientos sin necesidad de complejos ajustes de modelos ni de formación adicional.

Mejorar la controlabilidad y la calidad de la generación

Además de su excelente consistencia, la Runway Gen-4 demuestra su potencia en varias dimensiones:

• Cobertura. Simplemente proporcionando una imagen de referencia del sujeto y describiendo la composición de la toma deseada, la Runway Gen-4 puede generar tomas desde diferentes ángulos para satisfacer las necesidades de la escena.

  

• Vídeo listo para la producción. El modelo destaca en la generación de vídeos de gran dinamismo y movimiento natural, al tiempo que garantiza la coherencia del sujeto, el objeto y el estilo. Su capacidad para comprender palabras clave y simular el mundo físico también ha alcanzado nuevos niveles.

  

• Física. Runway afirma que Gen-4 ha logrado avances significativos en la simulación de las leyes de la física del mundo real, lo que supone un paso importante hacia un modelo generativo universal que comprenda cómo funciona el mundo. Aunque la precisión y el alcance de la simulación deben seguir verificándose, no cabe duda de que se trata de una importante dirección a explorar en el campo de la generación de vídeos de IA.

  

• Efectos visuales generativos (GVFX). Runway Gen-4 introduce el concepto de GVFX, que abre nuevas posibilidades para la producción de efectos visuales al proporcionar una forma rápida, controlada y flexible de generar vídeo que funciona a la perfección con contenidos de acción real, animación y VFX tradicionales.

Potencial narrativo y aplicaciones industriales

Para validar las capacidades narrativas del modelo, Runway produjo una serie de cortometrajes y vídeos musicales con Gen-4. El trabajo demuestra la eficacia del modelo a la hora de mantener la unidad del personaje, el entorno y el estilo. El trabajo demuestra la eficacia del modelo para mantener la unidad del personaje, el entorno y el estilo.

Más información sobre la prueba de aptitudes narrativas

El lanzamiento de Runway Gen-4 llega en un momento en el que la tecnología de generación de vídeo de IA evoluciona rápidamente. Aunque existen otros modelos en el mercado (por ejemplo, Sora, Pika, etc. de OpenAI) que han demostrado capacidades asombrosas en diferentes aspectos, Runway Gen-4 se centra explícitamente en la "consistencia" y la "controlabilidad" como sus principales puntos de venta, y subraya que El hecho de que esto pueda lograrse sin necesidad de un ajuste fino golpea directamente un punto doloroso para muchos creadores hoy en día a la hora de utilizar la IA para hacer crecer contenidos o escenas complejas. Si las capacidades que se le atribuyen pueden verificarse ampliamente y reproducirse de forma coherente en aplicaciones reales, sin duda tendrá un impacto de gran alcance en los campos de la producción cinematográfica, la creatividad publicitaria, el desarrollo de juegos, etc., reduciendo aún más el umbral de creación de contenidos visuales de alta calidad y transformando potencialmente el proceso de producción existente.

Además, las colaboraciones recientemente anunciadas de Runway con socios de la industria como Lionsgate, Tribeca Festival y Media.Monks demuestran su compromiso de llevar Gen-4 al nivel profesional.

• Runway se asocia con Lionsgate Films
• Runway explora el futuro del cine con el Festival de Tribeca 2024
• Ampliar los límites creativos con Media.Monks

Actualmente, los usuarios pueden probar Runway Gen-4 a través de la plataforma de Runway, y a medida que la tecnología siga evolucionando y surjan más escenarios de aplicación, el mercado estará atento para ver si Runway Gen-4 puede realmente definir el estándar para la próxima generación de creación de medios con IA.

¡Prueba Runway Gen-4 ahora!