원리부터 실전까지 알기 쉬운 AI 만화 내레이션 영상(합성 영상)

AI 실습 튜토리얼11개월 전 업데이트 AI 공유 서클
1.9K 00

小说合成视频,分为四部分工作:

  1. 小说生成图片
  2. 小说生成音频
  3. 小说合成视频
  4. 二次精编视频

我们从上一篇教学 《解密AI漫画解说视频从原理到实践(制作小说脚本)》开始,制作小说脚本最后,我们得到一个拼接好的EXCEL,请下载下来,或根据教程自己生成。

先看成品

[bilibili]https://www.bilibili.com/video/BV1NgeceREgQ/[/bilibili]

 

我将按照我使用的软件操作流程进行演示。(工具不重要,再次声明不推荐任何付费软件)

 

 

小说生成图片

 

1.开始创作

解密AI漫画解说视频从原理到实践(合成视频)

 

2.创建小说前,先检测并调试出图环境

解密AI漫画解说视频从原理到实践(合成视频)

 

确认以下调试没问题,再点击“创建项目”

解密AI漫画解说视频从原理到实践(合成视频)

 

3.创建项目第一步,选择导入脚本文件

解密AI漫画解说视频从原理到实践(合成视频)

 

4.选择之前保存的EXCEL(找不到翻一下上一篇文章)

解密AI漫画解说视频从原理到实践(合成视频)

 

5.检查导入文件,因为已经在EXCEL中处理好了所有文本,这步就不需要调整什么

解密AI漫画解说视频从原理到实践(合成视频)

 

6.关注右上角的“设置角色”,我们依然可以二次修正,附加其他LoRA风格

因为在导入文件前,我已经在本地SD调试好风格了,这里就不修改了。

解密AI漫画解说视频从原理到实践(合成视频)

 

保存后,进入下一步,让我们进入生成图片环节。

 

7.进入图片生成界面,先不要点击“开始生图”,让我们再次检查一下配置

解密AI漫画解说视频从原理到实践(合成视频)

 

8.我的一些配置

在第2步中我没有详细介绍我的配置,在这里简单列举主要项:

  • 模型:欧卡-国风
  • VAE:vae-ft-mse-840000-ema-pruned
  • 正面预设:(best quality, 4k, 8k, highres, masterpiece:1.2),(ultra-detailed),masterpiece,(masterpiece, top quality, best quality),
  • 负面:不展示了,词容易违规,随便复制的
  • 放大算法:R-ESRGAN 4x+
  • 图片尺寸:长图(长图会有各类一场问题,很多模型建议生成方图,512*512即可)

 

在上图任意镜头,列表右侧的“调整参数”按钮,点击后可以进入当前镜头的详细参数配置页面。

解密AI漫画解说视频从原理到实践(合成视频)

 

针对一两个镜头测试生成图片,感觉没问题,就开始批量生成图片吧。

 

9.批量生成图片

解密AI漫画解说视频从原理到实践(合成视频)

 

到目前位置,37张图,3060卡,大概耗时3分钟。

画重点:安装Tensorrt拓展,生成ONNX模型,理论上可以压缩到2分钟完成

 

10.一键无损放大

因为默认生成的是小尺寸图片(生成速度快方便调整嘛),如果这些图片基本符合要求,不需要修复(这里我就不修复了),点击无损放大。

解密AI漫画解说视频从原理到实践(合成视频)

 

此时我们已经得到了一组图片,可以开始自动合成视频了,我演示的工具后续合成语音、视频流程在软件里都有,但我这里演示使用三方音频生成工具,朗读效果较好。

这些图片先放在这里...先解决朗读小说问题

 

 

小说生成音频

这里我不使用常见的微软方案、或者逗哥。综合考虑还是选择免费但人声更真实的 音剪 .

我们将以下小说保存后,进入音剪开始操作...

我穿成了一个仙女。

不是凡间传说里的仙女,是真真正正在天上飞来飞去的那种。天帝是我爸,天后是我妈,所以我天生就是个仙女,肤白貌美大长腿,仙气十足。

仙女的日子简直不要太舒坦。整天在自己的仙宫里嗑瓜子、看话本,跟小仙娥们玩耍,爽得不行。

可惜好日子没过多久,就出事了。

这天下午,我宫里的小仙侍黎黎风风火火地跑进来,"白莲上仙!白莲上仙!"

"听到了听到了,别叫了。"虽然穿越几个月了,我还是不太习惯这个名字。

"凌风上仙下凡渡劫回来了,咱们快去探望吧。"

"凌风上仙是谁啊?"

"上仙您是不是睡糊涂了,那可是您的未婚夫啊!"

"啊???"

我这才想起来,我好像还有个未婚夫。凌风这名字怎么这么耳熟,跟我穿越前看的小说男主一模一样?

经过一番打听,我终于搞清楚了情况:我,白莲,是本虐文里的女配。

男主凌风是仙界上仙,两万岁就达到上仙之位,是仙界少有的奇才。虽然我也是上仙,但跟他靠自己本事修来的不同,我是个仙二代,生下来就是上仙。

我天帝老爸看中了凌风的天赋,在我的怂恿下跟凌风的师父菩提祖师一拍即合,定下了我俩的婚事。

但凌风对这门婚事一点都不满意,还跟菩提祖师大吵了一架,最后不欢而散,转身下凡历劫去了。

我算了算时间,这次历劫,凌风投胎到了一个修仙门派,而女主就是他的亲传弟子。历完劫后他没有马上回仙界,而是在人间多待了几十年,等到女主千月成功飞升才一起回来。

原主本来对凌风这个徒弟也有好感,但当她发现凌风对千月的感情不只是师徒之情后,就开始疯狂作死,想方设法要拆散他俩。

最后她忍不住嫉妒,把千月推下了诛仙台,差点让人家魂飞魄散。真相大白后她被仙界驱逐,还被凌风亲手杀死,魂飞魄散。

想到这,我头疼得厉害。我可不想去见一个以后会把我打得魂都不剩的人。

但为了不崩人设,我还是被黎黎拉着去了凌风宫赴宴。

凌风宫建在桃花谷旁边,正是赏花的好时候。我刷脸进了宫门,转眼就从宴会溜了出来。路过酒水处顺了坛桃花酿,跑到桃花谷里喝酒赏花去了。

桃花酿果然名不虚传,好喝得很,就是后劲大。没一会儿我就犯困了,随便找了棵树躺下眯了会儿。

迷迷糊糊间听到有动静,我以为是黎黎找来了,就从树上探出脑袋准备撒个娇。可来的不是黎黎,是女主角千月。

千月显然没想到这有人,愣愣地看着我,脸上还挂着泪痕。我这才想起小说里写过,女主刚来仙界时被人嘲笑长相,哭着跑出来的剧情。

唉,都几千几万岁的仙了,还拿长相开涮,真够幼稚的。

作为一个合格的白莲,啊不,白莲上仙,看到可爱的妹子被欺负哭了,怎么能不管呢?我打个响指召来了花妖,让她们围着千月跳舞。千月哪见过这阵仗,脸一下子就红透了。

她小心翼翼地看我,我冲她笑笑,听到远处黎黎在喊我,就招了朵云跟黎黎回家了。

没过几天,我天后妈来看我。

"儿啊,你见到凌风了吗?"天后笑得格外慈祥。

"啊...没有。"我溜得早,根本没见着人。

"这次他历劫回来,修为又有大进步,你父王说他前途无量啊,你和他..."

得,这是要催婚的节奏啊。

 

1.上传作品

解密AI漫画解说视频从原理到实践(合成视频)

 

2.编辑朗读者

导入后会自动分段并识别朗读者,但这样编辑起来真的很麻烦。而且会让浏览器卡顿。

解密AI漫画解说视频从原理到实践(合成视频)

 

这里有个技巧,因为我们要快速批量制作,小说只需要一人朗读旁白,而软件自动识别为多朗读人,编辑起来很麻烦,我们可以只需要在小说粘贴区域输入一句话“111”,然后进入编辑界面后,这样可以替换旁白区域里的111为完整小说内容。

缺点就是无法很好识别多音字,请注意上图是自动给你识别多音字的。

其实还有另外一种模板导入方案,可以完美解决,自行探索吧,工具已经给你了...

解密AI漫画解说视频从原理到实践(合成视频)

 

2.选择发音人后得到合成的音频,过程就不展示了。解密AI漫画解说视频从原理到实践(合成视频)

根据女主、逆袭、穿越的小说风格,我们选择中年沉稳御姐声音,语速不宜太快,1.3较为合适,声调提高。

 

3.使用剪影获取音频SRT文件

操作过程不演示,上传音频后识别字幕,这里唯一要注意的是:选择“文稿匹配”

解密AI漫画解说视频从原理到实践(合成视频)

 

到这里已经得到音频和对应的SRT文件

解密AI漫画解说视频从原理到实践(合成视频)

回到合成视频流程...

 

 

小说合成视频

合成视频依然依赖软件,软件作用就是把小说字幕文字朗读时间点匹配上图片切换的时间点,然后合成到一起。

那声音呢?别急,有了字幕和对应的图片切换时间,声音随时合成到画面中。跟着我演示的工具流程来...

 

1.选择剪映草稿生成

解密AI漫画解说视频从原理到实践(合成视频)

 

2.选择上传SRT字幕

解密AI漫画解说视频从原理到实践(合成视频)

 

3.选择特效(画面切换特效),然后点击合成草稿

解密AI漫画解说视频从原理到实践(合成视频)

 

4.打开剪映,会看到草稿,打开它...

解密AI漫画解说视频从原理到实践(合成视频)

 

5.导入音频

解密AI漫画解说视频从原理到实践(合成视频)

 

到这里已经得到完整的视频了,效果还差点,最后一部分让我们美化以下视频。对编辑视频本人并不熟,看一下效果就好。

 

 

二次精编视频

 

1.设置画面比例

一般4:3就好,这里我特意做竖屏真人特写,所以使用9:16

解密AI漫画解说视频从原理到实践(合成视频)

2.选择背景填充,让画面充实

解密AI漫画解说视频从原理到实践(合成视频)

 

3.插入一些关键帧或特效,让静态图片看起来更动感

解密AI漫画解说视频从原理到实践(合成视频)

 

4.插入营销封面

一般不适合这类AI漫画,比较适合用爆款洗脑视频做循环,然后播放小说

解密AI漫画解说视频从原理到实践(合成视频)

 

6.加点BGM...更洗脑

背景音乐循环播放,声音小点

解密AI漫画解说视频从原理到实践(合成视频)

 

7.还不够...为了流量,我们需要增加一个无脑封面。

此方法很适合短剧、短文类,做小说连载也可以尝试此方法,可以吸量,降重。

解密AI漫画解说视频从原理到实践(合成视频)

 

 

 

最后:打包一些全流程用到的资源

AI绘画模型
链接:https://pan.baidu.com/s/1HRf_JPtLPcwRBRZnLMs2lg?pwd=40hj

 

漫画解说背景音乐1000首
链接:https://pan.baidu.com/s/1RfW-PAkAe3Y6-vgkz8fT8A?pwd=4n3u

 

SD教程

初级:https://pan.baidu.com/s/1uId2ZdWD4qLRgLdjdUTnpQ?pwd=qri1

高级:https://pan.baidu.com/s/1Xnsi_NCexPph1-75gG-QfQ?pwd=3qbu

0基础绘画实战:https://pan.baidu.com/s/1KUHkB9gcfI18KjD6wLkwrg?pwd=r6z2

2000+提示词表:https://pan.baidu.com/s/1VP_tgBwiJ1LkPeynBy3FvQ?pwd=1cia

演示中使用的软件(无利益相关,谨慎使用):https://tiger.easyartx.com/landing

 

资源有些多...还需要什么?

 

이해하기 쉬운 AI 만화 기사 시리즈 목차

  1. 원리부터 실습까지 알기 쉬운 AI 만화 설명 동영상(원리)
  2. 원리부터 실무까지 알기 쉬운 AI 만화 설명 동영상(하위 커미션 채널 챕터)
  3. 원리부터 실습까지 이해하기 쉬운 AI 만화책 내레이션 비디오(소설 습득 및 재작성)
  4. 원리부터 실습까지 이해하기 쉬운 AI 만화책 내레이션 동영상(소설 대본 만들기)
  5. 원리부터 실전까지 알기 쉬운 AI 만화 내레이션 영상(합성 영상)
© 저작권 정책
AiPPT

관련 문서

댓글 없음

댓글에 참여하려면 로그인해야 합니다!
지금 로그인
없음
댓글 없음...