Vídeo composto de ficção, trabalhando em quatro partes:
- As novelas geram imagens
- Áudio da nova geração
- Vídeo sobre a nova síntese
- Vídeo secundário refinado
Aprendemos com nosso ensino anteriorDesmistificando a IA do vídeo de narração de histórias em quadrinhos do princípio à prática (Making Novel Scripts)Início, criação de um script de romance No final, obtemos um EXCEL costurado, faça o download ou gere-o você mesmo de acordo com o tutorial.
Vamos dar uma olhada no produto final primeiro
Seguirei o procedimento do software que uso para demonstrar o processo. (As ferramentas não são importantes e, novamente, nenhum software pago é recomendado)
As novelas geram imagens
1. comece a criar
2 Antes de criar um romance, teste e depure o ambiente de mapeamento primeiro
Certifique-se de que a depuração a seguir esteja OK e, em seguida, clique em "Create Project".
3. crie a primeira etapa do projeto, escolha importar o arquivo de script
4. selecione o EXCEL salvo anteriormente (não é possível encontrar o artigo anterior)
5) Verifique o arquivo de importação, pois como todo o texto foi processado no EXCEL, não é necessário ajustar nada nesta etapa!
6) Preocupado com a "função definida" no canto superior direito, ainda podemos ser alterados duas vezes, anexados a outro estilo de LoRA!
Como já depurei o estilo localmente no SD antes de importar o arquivo, não o modificarei aqui.
Depois de salvar, vá para a próxima etapa e vamos passar para a geração de imagens.
7. entre na interface de geração de imagens, não clique em "start generating pictures" (começar a gerar imagens), vamos verificar a configuração novamente!
8. algumas de minhas configurações
Não entrei em detalhes sobre minha configuração na etapa 2, portanto, vou simplesmente listar os principais itens aqui:
- Modelo: Ouka - Estilo nacional
- vae: vae-ft-mse-840000-ema-pruned
- Predefinição frontal: (melhor qualidade, 4k, 8k, alta resolução, obra-prima:1.2), (ultra-detalhado), obra-prima, (obra-prima, qualidade superior, melhor qualidade),
- Negativo: não aparece, palavras facilmente violadas, copiadas aleatoriamente
- Algoritmo de amplificação: R-ESRGAN 4x+
- Tamanho da imagem: longo (Um mapa longo terá todos os tipos de problemas, muitos modelos sugerem a geração de um mapa quadrado, 512 * 512 pode ser)
Na figura acima, qualquer lente, a lista do lado direito do botão "Adjust Parameters" (Ajustar parâmetros), clique na lente atual para acessar os parâmetros detalhados da página de configuração.
Teste a geração de imagens para uma ou duas lentes, se estiver tudo certo, e comece a gerar imagens em massa.
9. gerar imagens em lote
Até a posição atual, 37 gráficos, 3060 cartões, levou cerca de 3 minutos.
Desenhando os destaques: a instalação da extensão Tensorrt e a geração do modelo ONNX podem, teoricamente, ser reduzidas a 2 minutos para serem concluídas
10. zoom sem perdas com um clique
Como a geração padrão é uma imagem de tamanho pequeno (a velocidade de geração é rápida e conveniente para ajustá-la), se essas imagens estiverem basicamente de acordo com os requisitos, não será necessário repará-las (aqui eu não reparo), clique na ampliação não destrutiva.
Neste ponto, temos um conjunto de imagens, você pode começar a sintetizar automaticamente o vídeo. Demonstrei as ferramentas para acompanhar a síntese de voz e o processo de vídeo no software, mas demonstrei o uso de ferramentas de geração de áudio de três vias aqui, leia melhor em voz alta.
Essas imagens vão para cá primeiro... Primeiro, vamos corrigir a leitura do romance.
Áudio da nova geração
Aqui eu não uso as soluções comuns da Microsoft, nem o Tease. Considerando tudo isso, é melhor usar os vocais gratuitos, porém mais realistas corte de som .
Salvamos o romance a seguir e fomos para o recorte de som para iniciar o processo...
Estou vestida como uma fada.
Não a fada da lenda mortal, mas a verdadeira que voa pelo céu. O Imperador do Céu é meu pai, e a Rainha do Céu é minha mãe, por isso nasci uma fada, com pele branca e pernas longas, e cheia de espírito de fada.
Os dias de uma fada são simplesmente muito confortáveis. Ficar chapado, ler livros e brincar com as fadinhas o dia inteiro em seu próprio palácio de fadas é fantástico.
Infelizmente, os bons tempos não duraram muito tempo e algo aconteceu.
Naquela tarde, a pequena fada serva do meu palácio, Li Li, veio correndo com muita pressa: "Lótus Branca, Imortal Supremo! Lótus Branca!"
"Ouça, ouça, ouça, pare de gritar." Embora já tenham se passado meses desde que viajei, ainda não me acostumei com o nome.
"O Imortal Lingfeng retornou de sua descida ao mundo mortal para atravessar a tribulação, vamos visitá-lo."
"Quem é o Supremo Imortal Lingfeng?
"Imortal Supremo, você está com sono, esse é o seu noivo!"
"Hã??"
Foi então que me lembrei de que parece que tenho um noivo. Por que o nome Ling Feng me parece tão familiar, pois é exatamente o mesmo do herói do romance que li antes de fazer a travessia?
Depois de algumas perguntas, finalmente descobri a situação: eu, White Lotus, sou a contraparte feminina nesse texto abusivo.
O personagem principal, Ling Feng, é um imortal superior no mundo imortal, alcançando a posição de imortal superior em 20.000 anos, um talento raro no mundo imortal. Embora eu também seja um Imortal Superior, ao contrário dele, que confiava em suas próprias habilidades para cultivar, sou um Imortal de segunda geração, nascido como um Imortal Superior.
Meu pai, o Imperador Celestial, viu o talento de Ling Feng e, a meu pedido, ele se deu bem com o mestre de Ling Feng, o Antepassado Bodhi, e organizou um casamento entre nós dois.
Mas Lingfeng não estava nada satisfeito com o casamento e até teve uma grande briga com o Grão-Mestre Bodhi, e finalmente se separou em termos ruins e voltou para o mundo mortal.
Eu contei o tempo, desta vez, o roubo, Ling Feng reencarnou em uma seita de cultivo, e a líder feminina é sua discípula pessoal. Ele não voltou ao mundo imortal imediatamente após a calamidade, mas ficou na Terra por mais algumas décadas e esperou até que a líder feminina, Qian Yue, conseguisse ascender antes de voltarem juntos.
A proprietária original também tinha um bom sentimento por Ling Feng como discípulo, mas quando ela descobriu que os sentimentos de Ling Feng por Qian Yue eram mais do que apenas mestre e discípulo, ela começou a enlouquecer com seu desejo de morte, tentando encontrar maneiras de separar os dois.
No final, ela não pôde deixar de ficar com ciúmes e empurrou Qian Yue para fora do Estágio de Exorcismo Imortal, quase fazendo as almas das pessoas voarem. Depois que a verdade veio à tona, ela foi expulsa do Reino Imortal e também foi morta pelo próprio Ling Feng, e sua alma se dispersou.
Só de pensar nisso, fiquei com uma dor de cabeça terrível. Não quero conhecer alguém que vai me dar uma surra depois.
Mas, para não destruir minha personalidade, ainda fui arrastado por Lili até o Palácio Lingfeng para o banquete.
O Palácio Lingfeng foi construído próximo ao Peach Blossom Valley, e era uma boa época para apreciar as flores. Passei meu rosto para entrar nos portões do palácio e saí do banquete em um piscar de olhos. Ao passar pelo local de venda de bebidas alcoólicas, alisei um altar de Peach Blossom Brew e corri para o Peach Blossom Valley para beber e apreciar as flores.
O Peach Blossom Brew realmente vale o nome, é bom de beber, mas tem um gosto forte. Fiquei com sono em pouco tempo e encontrei uma árvore para me deitar e ficar de olhos fechados por um tempo.
Atordoado, ouvi um movimento, pensei que fosse Ri Ri procurando por mim, então tirei a cabeça da árvore e me preparei para me mimar. Mas não foi Ri Ri que apareceu, foi a heroína Chiyuki.
Obviamente, Qian Yue não esperava essa pessoa e congelou, olhando para mim com manchas de lágrimas no rosto. Foi então que me lembrei do enredo escrito no romance em que a heroína foi ridicularizada por sua aparência quando chegou ao mundo imortal e saiu correndo em lágrimas.
Lol, é infantil tirar sarro da aparência quando você tem milhares e milhares de anos de idade e é imortal.
Como uma Lótus Branca qualificada, ah não, Lótus Branca Imortal Superior, como eu poderia não me importar ao ver uma garota bonita sofrendo bullying e chorando? Estalei os dedos e convoquei os demônios das flores, fazendo-os dançar ao redor de Chiyuki. Como Chiyue já viu essa batalha, seu rosto ficou instantaneamente vermelho.
Ela olhou para mim com cautela e eu sorri para ela, ouvindo RiRi me chamando ao longe, então acenei para uma nuvem para ir para casa com RiRi.
Em poucos dias, minha madrasta veio me visitar.
"Filho, você viu Ling Feng?" A Imperatriz Celestial sorriu de forma extraordinariamente gentil.
"Ah... Não." Eu me afastei mais cedo e não vi ninguém.
"Desta vez, ele voltou da calamidade, seu cultivo fez um grande progresso novamente, seu pai disse que ele tem um futuro brilhante, você e ele..."
É preciso ter pressa para se casar.
1. faça o upload de seu trabalho
2. leitores editoriais
Ele segmenta e reconhece automaticamente o leitor quando importado, mas é muito difícil editar dessa forma. E isso faz com que o navegador fique lento.
Aqui está um truque, porque queremos produzir em lote rapidamente, o romance só precisa de uma pessoa para ler em voz alta o narrador, e o software reconhece automaticamente como um leitor múltiplo, a edição é muito complicada, podemos simplesmente colar na área do romance, inserir uma frase "111" e, em seguida, entrar na interface de edição, para que você possa substituir a área de narração no 111 para o completo! O conteúdo do romance.
A desvantagem é que ele não reconhece muito bem as palavras polissilábicas. Observe que a imagem acima reconhece automaticamente as palavras polissilábicas para você.
Na verdade, há outra solução de importação de modelos que funciona perfeitamente; explore-a por conta própria, a ferramenta já foi fornecida a você...
2. selecione o alto-falante e obtenha o áudio sintetizado; o processo não é mostrado.
De acordo com o estilo de romances com protagonismo feminino, inversão e cruzamento, escolhemos a voz imperial calma de meia-idade, a velocidade da fala não deve ser muito rápida, 1,3 é mais apropriado e o tom de voz é elevado.
3. use o silhouette para obter o arquivo SRT de áudio
O procedimento não é demonstrado, as legendas são reconhecidas depois que o áudio é carregado, a única coisa a observar aqui é: selecione "Text Match".
Aqui temos o áudio e o arquivo SRT correspondente.
De volta ao processo de vídeo composto...
Vídeo sobre a nova síntese
O vídeo composto ainda depende do software, que combina o tempo de leitura do texto da legenda do romance com o tempo de troca de imagem e, em seguida, compõe tudo junto.
E quanto ao som? Não se preocupe, com legendas e tempos de troca de imagem correspondentes, o som é sintetizado na imagem a qualquer momento. Siga o fluxo da ferramenta enquanto eu demonstro...
1. selecione o corte de rascunho a ser gerado
2. escolha carregar legendas SRT
3. selecione efeitos (efeitos de troca de tela) e clique no rascunho de composição
4. abra o recorte, você verá o rascunho, abra-o...
5. importar áudio
A essa altura, já temos o vídeo completo, o efeito ainda está quase pronto; a última parte nos permitirá embelezar o vídeo a seguir. Não estou familiarizado com a edição de vídeo, basta ver o efeito.
Vídeo secundário refinado
1. definir a proporção da tela
Em geral, 4:3 é bom, mas aqui eu propositalmente faço closes verticais de pessoas reais, então uso 9:16
2. escolha um preenchimento de plano de fundo para dar corpo à imagem
3. insira alguns quadros-chave ou efeitos especiais para tornar as imagens estáticas mais dinâmicas
4. insira a tampa de marketing
Geralmente não é adequado para esses tipos de histórias em quadrinhos com IA, sendo mais adequado para um looping com um vídeo pop-up de lavagem cerebral e, em seguida, reproduzir os romances
6. adicionar algum BGM... É mais uma lavagem cerebral.
Coloque a música de fundo em loop e mantenha-a baixa.
7. não é suficiente... Para o tráfego, precisamos adicionar uma cobertura simples.
Esse método é muito adequado para peças curtas, artigos curtos e romances em série. Você também pode tentar esse método para absorver o volume e diminuir o peso.
Por fim: Empacote alguns dos recursos que serão usados em todo o processo.
Desmistificando a série de artigos de IA em quadrinhos Índice
- Desmistificando os vídeos explicativos em quadrinhos de IA do princípio à prática (Princípios)
- Desmistificando os vídeos explicativos em quadrinhos de IA do princípio à prática (capítulo Canais da subcomissão)
- Desmistificando a IA do vídeo de narração de histórias em quadrinhos do princípio à prática (Acquiring and Rewriting Fiction)
- Desmistificando a IA do vídeo de narração de histórias em quadrinhos do princípio à prática (Making Novel Scripts)
- Desmistificando a IA Vídeo de narração de mangá do princípio à prática (vídeo composto)