Produção de filmes e TV com base em IA: como o Poly Dimension "Saiwa" Big Model está remodelando o setor de dramas curtos?

A tecnologia de IA está penetrando em todos os setores em uma velocidade surpreendente, e a produção de filmes e televisão não é exceção. Nessa onda de integração de tecnologia e arte, o surgimento da IA trouxe oportunidades sem precedentes de mudança no setor de cinema e televisão. Especialmente no campo da produção de dramas curtos, que há muito tempo enfrenta muitos desafios, como altos custos de produção, longos ciclos de produção e gargalos criativos. A Joly Dimension, uma empresa que se concentra na tecnologia de filmes e TV com IA, está abrindo um mundo totalmente novo para a produção de dramas curtos com seu modelo "Saiwa" desenvolvido por ela mesma. Desde a rota de produção de filmes e TV com IA em 3D até uma série de tecnologias importantes, como geração de atores com IA, desempenho com IA e geração de ações com IA, o modelo "Saiwa" da Juridic Dimension fortaleceu profundamente todos os aspectos da produção de dramas curtos, tornando-a mais eficiente, refinada e cheia de criatividade.

Metafísica: De tocar erhu: um primeiro olhar sobre os aplicativos em escala industrial do teatro de esboço de IA

Em 14 de fevereiro, a plataforma de frutas vermelhas ficou on-line com o primeiro curta-metragem de IA de nível industrial, "Metaphysical Illusion: Starting from Playing Erhu". Esse curta-metragem foi criado em conjunto pela Poly Dimension, Impossible Technology e Zhongguancun Science Fiction Industry Innovation Centre. Usando o código como agulha e linha, essa equipe técnica bordou um trabalho repleto de estética tecnológica no campo do cinema e da televisão digital, o que é uma tentativa ousada e inovadora. O lançamento desse drama não apenas marca o progresso revolucionário da tecnologia de IA na produção de filmes e televisão, mas também significa um sólido passo à frente na aplicação da tecnologia de IA em nível industrial.

Atualmente, a tecnologia de IA tem sido amplamente utilizada na fabricação automatizada, no atendimento inteligente ao cliente, no reconhecimento de voz, na geração de imagens e em muitos outros campos, quase onipresentes. Entretanto, no setor de cinema e televisão, embora tenha havido alguns projetos experimentais baseados na tecnologia de IA, há pouquíssimos casos que realmente atingiram o nível industrial de aplicação. A maioria dos aplicativos de IA ainda permanece no nível de experiência de entretenimento na página da Web, como geração de texto, beleza de selfies, roupas virtuais etc. Embora seja conveniente e interessante, ainda há uma grande lacuna em relação às necessidades reais de produção.

No entanto, com o lançamento do "Saiwa", um modelo de vídeo 3D multimodal, a produção de filmes e TV com IA finalmente deu início a uma nova era de aplicativos de nível industrial. O "Saiwa" não só tem recursos avançados de geração de imagens, mas também pode lidar com eficiência com o processo de criação de conteúdo de vídeo, ajudando as equipes profissionais de cinema e TV a produzir conteúdo de forma mais eficiente e com maior qualidade. Em comparação com o modo tradicional de produção de filmes e TV, a aplicação da tecnologia de IA torna o processo de criação mais flexível e mais rápido, além de melhorar significativamente a eficiência do trabalho da equipe. O curta-metragem "Metaphysical Fantasy: Starting from Playing Erhu" é uma prática bem-sucedida da tecnologia de IA para romper o gargalo da produção tradicional de cinema e televisão.

Adaptado de um romance on-line popular, o drama é baseado no tema "artes marciais" e conta a história de um jovem cego que, com suas habilidades requintadas no erhu, reverte seu destino e entra no mundo misterioso de um misterioso jianghu. O enredo é firme e de ritmo acelerado, cheio de aventura e fantasia.

A tecnologia de IA mostra um grande potencial criativo no processo de produção, desde a modelagem de personagens, o design de cenas até a coreografia de ação, todos eles podem ser gerados com eficiência em um período muito curto de tempo e apresentar um efeito visual impressionante. Especialmente na apresentação de efeitos especiais e cenas de ação, a IA torna essas cenas ainda mais grandiosas e chocantes, proporcionando ao público uma experiência de visualização revigorante.

Grandes modelos "Saiwa": rompendo os limites da criação de IA

O principal modelo de negócios da PolyVision é capacitar o setor tradicional de cinema e televisão com base na tecnologia de IA, especialmente na produção de animação. O núcleo de seu sistema de tecnologia é o grande modelo "Saiba", que é integrado ao "CyberDirector", uma plataforma de produção de filmes e TV com IA 3D de processo completo desenvolvida independentemente pela PolyVision. A plataforma "CyberDirector" é capaz de gerar objetos no vídeo de forma independente e estruturada em 3D, garantindo sua alta consistência, capacidade de edição e controle em diferentes tomadas e estados de movimento. A plataforma também permite performances de filmes e TV com IA em nível de "ator antigo" e suporta a criação de conteúdo de qualquer duração. Por meio dessa plataforma inovadora, a Polyvision espera criar uma nova era de produção de filmes e TV com IA, dando a todos a oportunidade de ter sua própria equipe de IA e atingir a meta de produzir 10 minutos de conteúdo de alta qualidade para filmes e TV por dia.

Imagem de demonstração do CyberDirector

"Um dos destaques da plataforma CyberDirector é que o criador não precisa estar fisicamente envolvido no desempenho. O modelo grande do "CyberDirector" prioriza a principal necessidade do criador: a geração de um objeto exclusivo, ou seja, um modelo humano digital em 3D com ligações. O modelo oferece suporte à entrada multimodal, incluindo geração aleatória, descrição de texto, referência de imagem e outros métodos, além de oferecer suporte à edição refinada.

Imagem de demonstração do CyberDirector

Por meio da tecnologia de geração de atores de IA, a Poly Dimension cria atores virtuais que podem atuar e transmitir emoções. Esses atores de IA não são apenas altamente realistas na aparência, mas também podem mostrar mudanças emocionais ricas de acordo com os requisitos do roteiro. Com a atualização iterativa da tecnologia, espera-se que o poder expressivo dos atores de IA seja comparável ao dos atores reais no futuro. A introdução de atores de IA resolve com eficácia os problemas de falta de atores ou cronogramas apertados que são comuns na produção de dramas curtos. Os atores de IA são extremamente flexíveis e podem estar "on line" a qualquer momento para desempenhar papéis de diferentes estilos e emoções, e podem até mesmo manter um nível estável de habilidades de atuação em projetos complexos de enredo. Além disso, os atores de IA não são limitados por condições físicas e são capazes de "filmar" em uma variedade de ambientes extremos, seja subindo ao céu ou mergulhando no fundo do mar, a IA pode lidar facilmente com isso.

A IA não apenas entende as emoções e as configurações dos personagens no roteiro, mas também gera automaticamente ações que correspondem à personalidade do personagem e otimiza o efeito do desempenho por meio de algoritmos. Isso possibilita a apresentação de alta qualidade de cenas de luta, cenas emocionais e projetos de ação complexos em dramas curtos sem atores ao vivo. Imagine que, com o apoio da tecnologia de IA, o esquete possa apresentar facilmente a rotação em alta velocidade da cena de batalha, entre a sombra da espada, as mudanças de postura do personagem, o movimento e o salto, todas essas ações difíceis realizadas pela IA de uma só vez. Por meio da captura precisa de movimentos e do design detalhado da ação, a tecnologia de IA não apenas torna a imagem mais atraente visualmente, mas também economiza significativamente os custos de produção e o tempo durante a criação do esquete.

Zhao Tianqi, fundador da Poly Dimension, disse que o custo atual de produção de dramas curtos é de aproximadamente 500.000 a 1 milhão de yuans, o que pode produzir cerca de 100 minutos de conteúdo, o que significa que o custo por minuto é de cerca de 5.000 a 10.000 yuans. Entre eles, o custo de 10.000 yuans por minuto de um curta-metragem já é uma boutique, enquanto 5.000 yuans por minuto é o custo do resultado final; abaixo desse padrão, a qualidade do conteúdo será difícil de atrair espectadores.

Zhao Tianqi destacou que, se o limite inferior do custo de peças curtas de animação não puder ser controlado em RMB 5.000 por minuto, mas chegar a RMB 50.000 por minuto, todo o setor correrá o risco de encolher. Mesmo que o custo seja reduzido ao limite, a equipe de produção seja transferida para uma cidade com custo de mão de obra muito baixo e os lucros sejam completamente sacrificados, o custo de produção da animação dificilmente poderá ser inferior a 15.000 yuans por minuto, o que já ultrapassou o limite superior do custo do curta-metragem. Além disso, mesmo para uma animação que custa US$ 15.000 por minuto, a qualidade de sua produção geralmente não é tão boa quanto a de um curta-metragem de ação ao vivo de US$ 5.000 por minuto, e seu desempenho é ainda pior em certos aspectos.

Embora o chefe das obras de curta-metragem possa ultrapassar milhões ou até milhões de renda, a renda média do setor é de apenas 200.000 yuans, portanto, o setor de curta-metragem está enfrentando o desafio do alto custo e do alto risco. Para manter o custo baixo, a maior parte do conteúdo atual dos dramas curtos é relativamente rudimentar, com menos efeitos especiais, falta de elementos de animação e uma única forma de conteúdo geral. Os métodos de produção de filmes e televisão existentes são basicamente de dois tipos: filmagem real + pequena parte de filmagem virtual + pós-produção; e produção de animação pura. Sob o pano de fundo do rápido desenvolvimento da tecnologia AIGC, a adoção da IA tornou-se uma tendência importante no setor de cinema e televisão.

A PolyVision escolheu a rota 3D ou, mais precisamente, a rota de geração estruturada em 3D. Ao contrário dos modelos de vídeo 2D, a PolyVision acredita que a rota 3D está mais de acordo com a natureza da produção de filmes e televisão. Em termos de operação de câmera, iluminação, consistência, etc., a tecnologia 3D pode ser resolvida com eficácia sem IA. Por outro lado, algumas grandes empresas de modelos de vídeo 2D afirmam que seus produtos podem realizar a operação de câmera e fornecer vários métodos de operação de câmera para os usuários escolherem, mas isso requer treinamento direcionado para ser alcançado. O "3D" enfatizado pela Polyvision não se refere apenas a efeitos visuais tridimensionais, mas, mais importante, à "estruturação". A estruturação é a chave para obter conteúdo controlável, móvel e editável. A combinação de 3D e estruturação mantém as vantagens da tecnologia 3D, como a facilidade de transporte do espelho, ao mesmo tempo em que permite o controle, a geração e a combinação independentes das várias partes do modelo. Essa abordagem divide problemas complexos em problemas menores, um a um, evitando o dilema de um modelo geral incontrolável.

De acordo com Zhao Tianqi, ao discutir o futuro do cinema e da TV com IA, a definição de "cinema e TV" deve ser esclarecida primeiro para avaliar as vantagens e desvantagens da rota 3D e os custos altos e baixos. Em sua opinião, os trabalhos de cinema e televisão devem atingir o nível de produção que é geralmente aceito e amado pelo público no processo de produção profissional tradicional. Essa é a definição de "filme e televisão" em termos do processo de produção e do efeito final. Do ponto de vista técnico, cinema e televisão são a filmagem e a apresentação de uma história que ocorre em um mundo 3D. Portanto, é importante deixar clara a definição de "filme e televisão" e o fato de que o filme e a televisão geralmente são narrativos, e não simplesmente filmados.

A PolyVision escolheu a rota 3D devido à sua capacidade de controle, que está mais de acordo com a natureza da produção de filmes. No entanto, a desvantagem da rota 3D é que ainda existem alguns desafios para simular o efeito da ação ao vivo, e também é difícil gerar rapidamente efeitos visuais que mudam rapidamente. Portanto, o modelo de negócios da PolyVision é baseado na tecnologia de captura visual de IA para capacitar o setor tradicional de cinema e televisão, especialmente a produção de animação.

Zhao Tianqi também admite que, para as pequenas empresas iniciantes, depender exclusivamente do acúmulo de dados do setor não é mais uma competência essencial. Hoje em dia, está cada vez mais fácil obter grandes quantidades de dados gratuitos de vídeo, imagem e texto. Ele acredita que a tendência de desenvolvimento de modelos grandes é "o mais forte é sempre mais forte", e cada ordem de magnitude de melhoria nos parâmetros do modelo criará uma vantagem esmagadora em relação à ordem de magnitude seguinte. Por exemplo, um modelo que investe um bilhão de dólares em tamanho superará um modelo que investe 100 milhões, e um modelo que investe 10 bilhões, por sua vez, superará um modelo que investe um bilhão. Eventualmente, apenas alguns poucos participantes importantes poderão permanecer no mercado global. O treinamento de um grande modelo poderoso requer um grande investimento que pode custar centenas de bilhões, e há apenas algumas empresas com capitalização de mercado superior a centenas de bilhões. Se o custo de treinamento de um grande modelo for tão alto e, no final, acomodar apenas alguns vencedores, o cenário competitivo será muito diferente do que foi no passado. No passado, as empresas podiam buscar oportunidades em diferentes segmentos, seguir diferentes caminhos tecnológicos, concentrar-se em diferentes direções de aplicativos, adotar diferentes modelos de negócios ou oferecer serviços diferenciados. Mas na era dos "grandes modelos", essas oportunidades estão diminuindo drasticamente.

Portanto, do ponto de vista do acúmulo de dados, o modelo multimodal de vídeo 3D de grande porte "Saiwa" pode ser uma oportunidade fundamental para a PolyVision se destacar no campo de filmes e TV com IA. Como há uma relativa falta de conjuntos de dados de alta qualidade em grande escala no campo 3D, a PolyVision já obteve um certo grau de vantagem de dados após um longo período de acumulação, o que constitui seu importante "fosso" e é difícil de ser alcançado por outros concorrentes.

Atualmente, a plataforma "CyberDirector" e a tecnologia de modelo grande "Cywa" ganharam vários prêmios do governo, incluindo o projeto de aceleração do desenvolvimento de empresas de alto crescimento em "Várias medidas para apoiar o desenvolvimento da inovação e desenvolvimento da Internet 3.0 no distrito de Chaoyang" e o projeto de apoio a modelos verticais excelentes em "Várias medidas para promover o desenvolvimento da inovação e aplicação de inteligência artificial geral no distrito de Chaoyang", entre outros. Várias medidas para promover o desenvolvimento de inovações e aplicações gerais de inteligência artificial no distrito de Chaoyang" para apoiar excelentes projetos de modelos verticais, entre outros.

A Polyvision iniciou uma cooperação de produção de dramas curtos com várias plataformas principais e lançará 20 dramas curtos de IA no primeiro lote, com planos de aumentar a capacidade de produção para 10 ou até 1.000 dramas por mês no futuro. A empresa está formando ativamente uma equipe inicial de elites de produção de filmes e TV com IA e planeja cooperar com o governo para criar uma base de produção de dramas curtos com IA, treinar estudantes para usar a plataforma CyberDirector para produzir dramas curtos com IA e cultivar uma nova geração de criadores de filmes e TV com IA. Todo o processo de produção será estritamente controlado pela PolyVision. No futuro, a Juridic Dimension planeja compartilhar a receita com o governo, as universidades e os estudantes por meio de um modelo contratual, de modo a promover conjuntamente o desenvolvimento do setor de curtas-metragens de IA.

Base de dramas curtos de IA: um impulso de duas rodas para comercialização e industrialização

Como pioneira no setor de dramas curtos com IA, o objetivo da Joly Dimension não se limita apenas à pesquisa e ao desenvolvimento técnico, mas também à criação de uma base profissional de produção de dramas curtos com IA para promover de forma abrangente a comercialização e a industrialização da produção de dramas curtos. O surgimento de dramas curtos com IA não é por acaso, mas com base na visão profunda da PolyVision sobre a tendência de desenvolvimento do setor e no layout voltado para o futuro. Com o suporte técnico do modelo "Saiwa", a Juridic Dimension conseguiu levar a criação de dramas curtos com IA a um novo patamar e promoverá ainda mais o desenvolvimento do setor em grande escala no futuro. Com o apoio da Comissão Municipal de Ciência e Tecnologia de Pequim e do Comitê Administrativo de Zhongguancun, a Polyvision uniu forças com o Centro de Inovação do Setor de Ficção Científica de Zhongguancun para criar um centro de demonstração para a produção de dramas curtos de IA em Pequim. Como uma importante plataforma para o desenvolvimento do setor de ficção científica em Pequim, o Zhongguancun Science Fiction Industry Innovation Centre tem o compromisso de reunir todos os recursos elementares do setor de ficção científica. O Centro se concentra na incubação e aceleração das principais tecnologias do setor de ficção científica, desempenha o papel de ponte entre os três principais elementos do setor de ficção científica, ou seja, tecnologias-chave, talentos originais e construção de cenários, aprimora a capacidade de inovação independente do setor de ficção científica e constrói uma cadeia de serviços industriais completa de "Instituto de Pesquisa + Incubadora + Aceleradora + Cluster Industrial".

Em 2023, o Zhongguancun Science Fiction Industry Innovation Centre recebeu várias honras e qualificações, como o New Audiovisual Space, o Beijing New Audiovisual Art Park e a Beijing-Tianjin-Hebei Audiovisual Industry Base. No início de 2024, a base de transmissão digital ao vivo construída pelo Innovation Centre em cooperação com a Polyvision foi oficialmente revelada em Pequim, estabelecendo uma plataforma sólida para que a tecnologia de IA capacite o campo audiovisual. O estabelecimento do AI Short Drama Production Demonstration Centre não é apenas uma fusão profunda de tecnologia e criatividade, mas também um marco importante para o amadurecimento do setor de dramas curtos com IA. No futuro, a Gathering Dimension planeja unir forças com universidades, com o governo e com empresas a montante e a jusante da cadeia industrial e estabelecer extensivamente bases de produção de curta-metragem de IA em todo o país. Por meio de uma pesquisa aprofundada sobre tópicos relevantes, continuaremos a aprimorar o sistema de produção de dramas curtos de IA, a expandir a escala do setor e a promover de forma abrangente a aterrissagem e a popularização da produção de dramas curtos de IA em todo o país.

Metaphysical: Starting from Playing Erhu não é apenas um exemplo da aplicação bem-sucedida da tecnologia de IA, mas também uma inovação ousada para todo o setor de cinema e televisão. Ele demonstra plenamente como a tecnologia de IA pode desempenhar um papel central na criação de dramas curtos e faz com que as pessoas esperem ansiosamente pelo desenvolvimento futuro dos dramas curtos com IA. Olhando para o futuro, com o progresso contínuo da tecnologia de IA e a aceleração da industrialização, surgirão mais filmes e conteúdos de TV com IA de alta qualidade. Todo criador poderá realizar seus sonhos criativos com a ajuda da IA como uma ferramenta poderosa.

O surgimento de dramas curtos com IA marca uma nova era de criação de filmes e televisão. Nessa nova era, a IA não é apenas uma ferramenta para melhorar a eficiência, mas também uma fonte de criatividade e uma poderosa força motriz para promover a expansão contínua dos limites da criação de filmes e programas de televisão. Olhando para o futuro, temos motivos para esperar que a tecnologia de IA seja mais amplamente aplicada no campo do cinema e da televisão, e a IA nos trará mais surpresas, de peças curtas a filmes e de dramas de TV a animações. A cooperação aprofundada entre a Joly Dimension e o Zhongguancun Science Fiction Industry Innovation Centre é um sinal de que o setor de dramas curtos com IA está prestes a florescer. Com a maturidade da tecnologia e a expansão contínua da escala do setor, os curtas-metragens de IA não serão mais o "pavilhão no céu" de algumas pessoas, mas se tornarão uma realidade ao alcance de todos os criadores. Vamos aguardar o futuro próximo, a tecnologia de IA nos trará uma nova experiência de cinema e televisão sem precedentes.