Runway запускает Gen-4: новое поколение моделей искусственного интеллекта для генерации видео с упором на согласованность и управляемость мира

Компания Runway, занимающаяся исследованиями в области искусственного интеллекта, недавно выпустила серию моделей ИИ нового поколения - Runway Gen-4, которая призвана решить проблемы согласованности, характерные для нынешней генерации видео ИИ, и повысить управляемость процесса создания контента, что знаменует собой значительный шаг на пути к более стабильному и повествовательному авторскому ИИ. инструменты для более стабильного и повествовательного создания ИИ.

Устранение узкого места в согласованности

По словам Runway, основной прорыв Runway Gen-4 заключается в способности поддерживать "согласованность мира". Теперь пользователи могут более точно генерировать персонажей, локации и объекты, согласованные от сцены к сцене. Задав первоначальный визуальный стиль и ощущение, модель способна поддерживать целостность мира в последующих генерациях, сохраняя уникальный стиль, настроение и кинематографические элементы каждого кадра. Более того, модель поддерживает регенерацию этих элементов с нескольких точек зрения и локаций, что очень важно для построения сложных повествовательных сцен.

Runway Gen-4 способен объединять визуальные ссылки (например, изображения отдельных персонажей) и текстовые инструкции для создания новых изображений и видеороликов, обеспечивая высокую степень согласованности стиля, сюжета, места действия и т. д. Это означает, что создатели получают беспрецедентную творческую свободу, позволяя виртуальным персонажам или объектам работать с различным освещением, окружением и обработкой без необходимости сложной настройки модели или дополнительного обучения.

Улучшение управляемости и качества генерации

Помимо превосходного постоянства, Runway Gen-4 демонстрирует свою мощь в нескольких измерениях:

• Охват. Просто предоставив эталонное изображение объекта и описав желаемую композицию снимка, Runway Gen-4 может генерировать снимки с разных ракурсов, чтобы удовлетворить потребности сцены.

  

• Готовое к производству видео. Модель отлично справляется с созданием высокодинамичных, естественных в движении видеороликов, обеспечивая при этом единство сюжета, объекта и стиля. Ее способность понимать слова подсказки и моделировать физический мир также достигла нового уровня.

  

• Физика. Runway утверждает, что Gen-4 добился значительного прогресса в моделировании законов физики реального мира, что является важным шагом на пути к созданию универсальной генеративной модели, понимающей, как устроен мир. Хотя точность и масштабы моделирования нуждаются в дальнейшей проверке, это, безусловно, важное направление для изучения в области генерации видео с помощью ИИ.

  

• Генеративные визуальные эффекты (GVFX). Runway Gen-4 представляет концепцию GVFX, которая открывает новые возможности для производства визуальных эффектов, обеспечивая быстрый, контролируемый и гибкий способ создания видео, которое легко сочетается с живым действием, анимацией и традиционным VFX-контентом.

Потенциал повествования и применение в промышленности

Чтобы подтвердить возможности модели в плане повествования, компания Runway сняла серию короткометражных фильмов и музыкальных клипов с использованием Gen-4. Работа демонстрирует, насколько эффективно модель сохраняет единство персонажей, окружения и стиля.

Узнайте больше о тесте "Навыки повествования".

Выпуск Runway Gen-4 пришелся на время стремительного развития технологии генерации видео с помощью искусственного интеллекта. В то время как на рынке существуют другие модели (например, Sora, Pika и т. д. от OpenAI), которые демонстрируют потрясающие возможности в различных аспектах, Runway Gen-4 четко фокусируется на "последовательности" и "управляемости" как своих основных преимуществах, и подчеркивает, что Тот факт, что этого можно достичь без необходимости тонкой настройки, напрямую бьет по болевой точке многих создателей, использующих ИИ для выращивания контента или сложных сцен. Если заявленные возможности будут широко подтверждены и последовательно воспроизведены в реальных приложениях, это, несомненно, окажет далеко идущее влияние на сферы кинопроизводства, рекламного творчества, разработки игр и т. д., еще больше снизив порог создания высококачественного визуального контента и потенциально трансформировав существующий производственный процесс.

Кроме того, недавно объявленное сотрудничество Runway с такими отраслевыми партнерами, как Lionsgate, Tribeca Festival и Media.Monks, свидетельствует о стремлении компании вывести Gen-4 на профессиональный уровень.

• Подиум сотрудничает с Lionsgate Films
• Runway исследует будущее кинематографа вместе с Tribeca Film Festival 2024
• Расширение творческих границ с Media.Monks

В настоящее время пользователи могут попробовать Runway Gen-4 через платформу Runway, а поскольку технология продолжает развиваться и появляется все больше приложений, рынок будет ждать и смотреть, сможет ли Runway Gen-4 действительно определить следующее поколение искусственного интеллекта для создания медиа.

Попробуйте Runway Gen-4 прямо сейчас!