Runway lança Gen-4: uma nova geração de modelos de geração de vídeo de IA com foco na consistência e controlabilidade mundiais

A Runway, empresa de pesquisa de inteligência artificial, lançou recentemente sua série de modelos de IA de geração de mídia de última geração, a Runway Gen-4, projetada para enfrentar os desafios de consistência predominantes na atual geração de vídeos de IA e melhorar a capacidade de controle da geração de conteúdo, marcando um passo significativo em direção a uma criação de IA mais estável e narrativa. ferramentas para uma criação de IA mais estável e com capacidade narrativa.

Eliminando o gargalo da consistência

De acordo com a Runway, a principal inovação da Runway Gen-4 é sua capacidade de manter a "consistência do mundo". Os usuários agora podem gerar com mais precisão personagens, locais e objetos que são consistentes de cena para cena. Ao definir o estilo visual inicial e a sensação, o modelo é capaz de manter um ambiente mundial coerente na geração subsequente, ao mesmo tempo em que mantém o estilo, o clima e os elementos cinematográficos exclusivos de cada quadro. Mais notavelmente, o modelo suporta a regeneração desses elementos a partir de vários pontos de vista e locais, o que é essencial para a criação de cenas narrativas complexas.

O Runway Gen-4 é capaz de combinar referências visuais (como fotos de um único personagem) e instruções textuais para criar novas imagens e vídeos, garantindo um alto grau de consistência em termos de estilo, tema, local e muito mais. Isso significa que os criadores têm uma liberdade criativa sem precedentes para contar suas próprias histórias, permitindo que os personagens ou objetos virtuais passem por diferentes iluminações, ambientes e tratamentos sem a necessidade de um ajuste fino complexo do modelo ou de treinamento adicional.

Melhorar a capacidade de controle e a qualidade da geração

Além da excelente consistência, o Runway Gen-4 demonstra sua potência em várias dimensões:

• Cobertura. Simplesmente fornecendo uma imagem de referência do objeto e descrevendo a composição da foto desejada, o Runway Gen-4 pode gerar fotos de diferentes ângulos para atender às necessidades da cena.

  

• Vídeo pronto para produção. O modelo é excelente na geração de vídeos altamente dinâmicos e com movimentos naturais, garantindo a consistência do tema, do objeto e do estilo. Sua capacidade de entender palavras-chave e simular o mundo físico também alcançou novos níveis.

  

• Física. A Runway afirma que o Gen-4 fez um progresso significativo na simulação das leis da física do mundo real, o que é um passo importante em direção a um modelo generativo universal que entende como o mundo funciona. Embora a precisão e o escopo da simulação precisem ser verificados com mais detalhes, essa é certamente uma direção importante a ser explorada no campo da geração de vídeos com IA.

  

• Efeitos visuais generativos (GVFX). O Runway Gen-4 apresenta o conceito de GVFX, que abre novas possibilidades para a produção de efeitos visuais, fornecendo uma maneira rápida, controlada e flexível de gerar vídeos que funcionam perfeitamente com ação ao vivo, animação e conteúdo VFX tradicional.

Potencial narrativo e aplicações no setor

Para validar os recursos narrativos do modelo, a Runway usou o Gen-4 para criar uma série de curtas-metragens e vídeos musicais. Esses trabalhos demonstram a eficácia do modelo em manter a unidade do personagem, do ambiente e do estilo.

Saiba mais sobre o Teste de Habilidades Narrativas

O lançamento do Runway Gen-4 ocorre em um momento em que a tecnologia de geração de vídeo de IA está evoluindo rapidamente. Embora existam outros modelos no mercado (por exemplo, Sora, Pika, etc., da OpenAI) que demonstraram recursos incríveis em diferentes aspectos, o Runway Gen-4 se concentra claramente na "consistência" e na "controlabilidade" como seus principais pontos de venda e enfatiza que O fato de que isso pode ser alcançado sem a necessidade de ajuste fino atinge diretamente um ponto problemático para muitos criadores atualmente ao usar a IA para desenvolver conteúdo ou cenas complexas. Se os recursos alegados puderem ser amplamente verificados e reproduzidos de forma consistente em aplicações do mundo real, sem dúvida terão um impacto de longo alcance nas áreas de produção de filmes, criatividade publicitária, desenvolvimento de jogos etc., reduzindo ainda mais o limite da criação de conteúdo visual de alta qualidade e possivelmente transformando o processo de produção existente.

Além disso, as colaborações anunciadas recentemente pela Runway com parceiros do setor, como Lionsgate, Tribeca Festival e Media.Monks, demonstram seu compromisso de levar a Gen-4 ao nível profissional.

• Runway faz parceria com a Lionsgate Films
• Runway explora o futuro da produção cinematográfica com o Tribeca Film Festival 2024
• Expandindo os limites criativos com a Media.Monks

Atualmente, os usuários podem experimentar o Runway Gen-4 por meio da plataforma da Runway e, à medida que a tecnologia continua a evoluir e surgem mais cenários de aplicação, o mercado estará atento para ver se o Runway Gen-4 pode realmente definir o padrão para a próxima geração de criação de mídia de IA.

Experimente o Runway Gen-4 agora!