Технология мультимодального генерирования MiniMax обновляется: референсные сюжеты, референсные портретные изображения для создания стилистически согласованных видеороликов

Каждый человек мечтает о кино - он хочет вжиться в разные роли, чтобы почувствовать жизнь в театре, или стать режиссером, чтобы поставить хореографию каждого кадра, или написать о безграничных возможностях параллельной вселенной в качестве сценариста.

Conch AI - это машина для создания снов, которая позволяет разным людям по-разному подходить к фильму. В начале нового года Conch AI предлагает пользователям по всему миру нового творческого помощника - Subject Reference.

MiniMax Новейшая видеомодель S2V-01 собственной разработкиС помощьюЭталонная архитектура тела с одной фигуройс традиционными программамиВходные и калькуляционные расходы до 1%Просто введитеФотография.Этого можно достичьТочное воспроизведение визуальных деталейТакже в наличииВысокая степень свободы и возможность комбинирования. ПользовательЗначительное сокращение времени ожиданиядля достижения высокой доступности.

Главная справочная функция теперь полностью доступна в режиме онлайн по всему миру, перейдите на сайт Видео с конхом Платформа для создания мгновенно ощущается.

Введите изображение, выведите блокбастер высокой четкости

В области создания видео с искусственным интеллектом сложной проблемой для индустрии является то, как сохранить реалистичность и стабильность лиц персонажей с разных ракурсов в динамичных видео; как сохранить высокую согласованность ролей персонажей при использовании непрерывного склеивания клипов для создания. Мы предлагаем пользователям оптимальное решение с помощью разработанной нами видеомодели S2V-01.

После выбора функции "Ссылка на объект" в Conch AI пользователям нужно только загрузить фотографию, чтобы идентифицировать и зафиксировать роль объекта. Введите слово Prompt в текстовое поле, не нужно ждать долгое время, вы можете генерировать креативное и последовательное высококачественное видео.

Модель S2V-01 может точно идентифицировать черты лица, такие как различные полы, возраст, цвет кожи и структуру черт лица на фотографиях, а генерируемые персонажи стабильны и последовательны, и персонажи могут быть сохранены в каждом кадре. Управление выражением лица главного героя и текстурирование несюжетной сцены по-прежнему являются "специализацией" Conch AI.

Основная ссылка + подсказка: Крупный план мальчика в тускло освещенной комнате, его взгляд прикован к светящемуся экрану игровой консоли. Камера расположена чуть выше уровня глаз, фокусируясь на его сосредоточенном выражении лица, когда его пальцы проворно манипулируют контроллером. Камера расположена чуть выше уровня глаз, фокусируясь на его сосредоточенном выражении лица, когда его пальцы проворно манипулируют контроллером. Игра персонаж Появляется, вырываясь из пут экрана.

Создатель @OlivioSarikas загрузил портрет аниме, выполненный маслом на холсте, в качестве сюжета анимации, которая переносит зрителя в сказочную страну.

В настоящее время Conch AI позволяет ссылаться на одного человека, для чего необходимо загрузить информацию о лице, которое можно распознать, в качестве эталона лица, сгенерированного объектом видеосъемки. В будущем Conch AI продолжит открывать возможность ссылаться на нескольких людей, объекты, сцены и другие более широкие возможности.

Значительно сократите затраты на ввод и вычисления, измените процесс создания видео.

С первых дней своего существования MiniMax непрерывно изучает возможности эталонных изображений, включая роли, стили и так далее. Основываясь на большом количестве технических исследований, мы считаем, что верхний предел эффекта схемы эталонных картинок достаточно высок для проблемы эталонных классов предметов, и даже лучше, чем тонко настроенная схема LoRA (Low-Rank Adaptation), принимая во внимание эффект и масштабируемость.Мы считаем, что хорошая технология должна быть способна обслуживать как можно более широкий круг пользователей и при этом работать достаточно хорошо для решения реальных задач.

Поскольку схема предметной привязки MiniMax требует только одного изображения в качестве входных данных, не требуется дополнительных вычислительных затрат на обучение и времени ожидания, а стоимость генерации близка к стоимости обычных видео, сгенерированных с помощью текста и графа.По сравнению с существующими решениями LoRA, предметные ссылки снижают затраты на ввод данных пользователем и вычисления менее чем на один процент, при этом время ожидания пользователя значительно сокращается, а удобство использования увеличивается в два раза.

Основная ссылка + подсказка: Женщина в изысканном платье и белых перчатках идет по коридору в средневековом замке. Она бежит спиной к камере, затем оглядывается на камеру, выражение ее лица меняется от спокойствия к ужасу. Она бежит спиной к камере, затем оглядывается на камеру, выражение ее лица меняется от спокойствия до ужаса. Конец коридора тускло освещен. Камера следит за женщиной, когда она приближается, и вид меняется со среднего на крупный план, фокусируясь на лице женщины.

Чтобы сохранить в видео только необходимую визуальную информацию о самом объекте (например, черты лица человека) без вмешательства другой информации, такой как поза, выражение лица, освещение и т. д., MiniMax продолжает проводить большую работу по оптимизации построения данных, архитектуры модели и стратегии обучения. В модели S2V-01, которая уже работает в режиме онлайн, мы достигли ключевого эффекта от обоих аспектов одновременно:

• Точное воспроизведение визуальных деталей:Черты лица персонажей в созданных видеороликах имеют высокую степень сходства с эталонными изображениями;
• Высокая свобода + комбинаторика:За исключением черт лица, отражающих личность, все остальные параметры имеют высокую степень свободы. Например, персонаж может управляться текстом и демонстрировать любую позу и выражение лица; персонаж может быть помещен в любую среду с естественным и гармоничным освещением.

Благодаря технологии тематических ссылок пользователи больше не ограничены в решении проблем согласованности с помощью жеребьевки карт и могут больше сосредоточиться на выражении содержания, что значительно повышает эффективность создания длинного видеоконтента.Ваша роль, естественно, последовательна.

Визуальные модальности открывают эру совместных инноваций в области ИИ

Технология искусственного интеллекта принесла удобства в индустрию производства контента, такого как микрофильмы, реклама, разнообразие, анимация, CG-эффекты и т. д. Однако видеосюжет легко разрушается в процессе генерации, что является самой большой проблемой, а представленный контент часто не обладает гибкостью и имеет ощущение фрагментарности.

Запуск функции Master Reference обеспечивает профессиональным создателям высококонсистентную визуальную презентацию и творческую гибкость, а также вносит революционные инновации в несколько отраслей видеопроизводства, включая короткие видеоролики и рекламу, так что последовательность и согласованность больше не являются проблемой.В настоящее время MiniMax размещает функцию предметной ссылки на открытой платформе в виде сервиса API, и будет продолжать исследовать аспект многопредметной ссылки, чтобы предоставить более совершенные решения для предприятий и профессиональных создателей.

С тех пор как MiniMax запустила свою видеомодель, Conch AI продолжает оставаться в центре внимания индустрии.2024 В декабре I2V-01-Live, графическая видеомодель, запущенная MiniMax, получила широкое признание, а количество зарубежных посещений Conch AI превысило 27 миллионов, что позволило преодолеть новый исторический максимум и возглавить глобальный список видеопродукции AI в декабре.

Список продуктов глобального ИИ-видео с декабря 2024 года

То, как люди взаимодействуют с миром, по своей сути является мультимодальным, поэтому мультимодальное понимание и генерирование - это именно то ключевое звено, которое приведет к AGI и откроет эру совместного создания ИИ. Мы ожидаем, что все больше пользователей будут совместно создавать интеллект с MiniMax и получать радость от созидания в Conch AI. Здесь мы подготовили обучающий документ о том, как играть с функцией ссылки на предмет, нажмите на оригинальную статью, чтобы перейти к ней. Спасибо всем, кто поддерживает и любит MiniMax и Conch AI.