AI个人学习
和实操指南

解密AI漫画解说视频从原理到实践(合成视频)

小说合成视频,分为四部分工作:

  1. 小说生成图片
  2. 小说生成音频
  3. 小说合成视频
  4. 二次精编视频

我们从上一篇教学 《解密AI漫画解说视频从原理到实践(制作小说脚本)》开始,制作小说脚本最后,我们得到一个拼接好的EXCEL,请下载下来,或根据教程自己生成。

先看成品


 

我将按照我使用的软件操作流程进行演示。(工具不重要,再次声明不推荐任何付费软件)

 

 

小说生成图片

 

1.开始创作

解密AI漫画解说视频从原理到实践(合成视频)-1

 

2.创建小说前,先检测并调试出图环境

解密AI漫画解说视频从原理到实践(合成视频)-1

 

确认以下调试没问题,再点击“创建项目”

解密AI漫画解说视频从原理到实践(合成视频)-1

 

3.创建项目第一步,选择导入脚本文件

解密AI漫画解说视频从原理到实践(合成视频)-1

 

4.选择之前保存的EXCEL(找不到翻一下上一篇文章)

解密AI漫画解说视频从原理到实践(合成视频)-1

 

5.检查导入文件,因为已经在EXCEL中处理好了所有文本,这步就不需要调整什么

解密AI漫画解说视频从原理到实践(合成视频)-1

 

6.关注右上角的“设置角色”,我们依然可以二次修正,附加其他LoRA风格

因为在导入文件前,我已经在本地SD调试好风格了,这里就不修改了。

解密AI漫画解说视频从原理到实践(合成视频)-1

 

保存后,进入下一步,让我们进入生成图片环节。

 

7.进入图片生成界面,先不要点击“开始生图”,让我们再次检查一下配置

解密AI漫画解说视频从原理到实践(合成视频)-1

 

8.我的一些配置

在第2步中我没有详细介绍我的配置,在这里简单列举主要项:

  • 模型:欧卡-国风
  • VAE:vae-ft-mse-840000-ema-pruned
  • 正面预设:(best quality, 4k, 8k, highres, masterpiece:1.2),(ultra-detailed),masterpiece,(masterpiece, top quality, best quality),
  • 负面:不展示了,词容易违规,随便复制的
  • 放大算法:R-ESRGAN 4x+
  • 图片尺寸:长图(长图会有各类一场问题,很多模型建议生成方图,512*512即可

 

在上图任意镜头,列表右侧的“调整参数”按钮,点击后可以进入当前镜头的详细参数配置页面。

解密AI漫画解说视频从原理到实践(合成视频)-1

 

针对一两个镜头测试生成图片,感觉没问题,就开始批量生成图片吧。

 

9.批量生成图片

解密AI漫画解说视频从原理到实践(合成视频)-1

 

到目前位置,37张图,3060卡,大概耗时3分钟。

画重点:安装Tensorrt拓展,生成ONNX模型,理论上可以压缩到2分钟完成

 

10.一键无损放大

因为默认生成的是小尺寸图片(生成速度快方便调整嘛),如果这些图片基本符合要求,不需要修复(这里我就不修复了),点击无损放大。

解密AI漫画解说视频从原理到实践(合成视频)-1

 

此时我们已经得到了一组图片,可以开始自动合成视频了,我演示的工具后续合成语音、视频流程在软件里都有,但我这里演示使用三方音频生成工具,朗读效果较好。

这些图片先放在这里...先解决朗读小说问题

 

 

小说生成音频

这里我不使用常见的微软方案、或者逗哥。综合考虑还是选择免费但人声更真实的 音剪 。

我们将以下小说保存后,进入音剪开始操作...

我穿成了一个仙女。

不是凡间传说里的仙女,是真真正正在天上飞来飞去的那种。天帝是我爸,天后是我妈,所以我天生就是个仙女,肤白貌美大长腿,仙气十足。

仙女的日子简直不要太舒坦。整天在自己的仙宫里嗑瓜子、看话本,跟小仙娥们玩耍,爽得不行。

可惜好日子没过多久,就出事了。

这天下午,我宫里的小仙侍黎黎风风火火地跑进来,"白莲上仙!白莲上仙!"

"听到了听到了,别叫了。"虽然穿越几个月了,我还是不太习惯这个名字。

"凌风上仙下凡渡劫回来了,咱们快去探望吧。"

"凌风上仙是谁啊?"

"上仙您是不是睡糊涂了,那可是您的未婚夫啊!"

"啊???"

我这才想起来,我好像还有个未婚夫。凌风这名字怎么这么耳熟,跟我穿越前看的小说男主一模一样?

经过一番打听,我终于搞清楚了情况:我,白莲,是本虐文里的女配。

男主凌风是仙界上仙,两万岁就达到上仙之位,是仙界少有的奇才。虽然我也是上仙,但跟他靠自己本事修来的不同,我是个仙二代,生下来就是上仙。

我天帝老爸看中了凌风的天赋,在我的怂恿下跟凌风的师父菩提祖师一拍即合,定下了我俩的婚事。

但凌风对这门婚事一点都不满意,还跟菩提祖师大吵了一架,最后不欢而散,转身下凡历劫去了。

我算了算时间,这次历劫,凌风投胎到了一个修仙门派,而女主就是他的亲传弟子。历完劫后他没有马上回仙界,而是在人间多待了几十年,等到女主千月成功飞升才一起回来。

原主本来对凌风这个徒弟也有好感,但当她发现凌风对千月的感情不只是师徒之情后,就开始疯狂作死,想方设法要拆散他俩。

最后她忍不住嫉妒,把千月推下了诛仙台,差点让人家魂飞魄散。真相大白后她被仙界驱逐,还被凌风亲手杀死,魂飞魄散。

想到这,我头疼得厉害。我可不想去见一个以后会把我打得魂都不剩的人。

但为了不崩人设,我还是被黎黎拉着去了凌风宫赴宴。

凌风宫建在桃花谷旁边,正是赏花的好时候。我刷脸进了宫门,转眼就从宴会溜了出来。路过酒水处顺了坛桃花酿,跑到桃花谷里喝酒赏花去了。

桃花酿果然名不虚传,好喝得很,就是后劲大。没一会儿我就犯困了,随便找了棵树躺下眯了会儿。

迷迷糊糊间听到有动静,我以为是黎黎找来了,就从树上探出脑袋准备撒个娇。可来的不是黎黎,是女主角千月。

千月显然没想到这有人,愣愣地看着我,脸上还挂着泪痕。我这才想起小说里写过,女主刚来仙界时被人嘲笑长相,哭着跑出来的剧情。

唉,都几千几万岁的仙了,还拿长相开涮,真够幼稚的。

作为一个合格的白莲,啊不,白莲上仙,看到可爱的妹子被欺负哭了,怎么能不管呢?我打个响指召来了花妖,让她们围着千月跳舞。千月哪见过这阵仗,脸一下子就红透了。

她小心翼翼地看我,我冲她笑笑,听到远处黎黎在喊我,就招了朵云跟黎黎回家了。

没过几天,我天后妈来看我。

"儿啊,你见到凌风了吗?"天后笑得格外慈祥。

"啊...没有。"我溜得早,根本没见着人。

"这次他历劫回来,修为又有大进步,你父王说他前途无量啊,你和他..."

得,这是要催婚的节奏啊。

 

1.上传作品

解密AI漫画解说视频从原理到实践(合成视频)-1

 

2.编辑朗读者

导入后会自动分段并识别朗读者,但这样编辑起来真的很麻烦。而且会让浏览器卡顿。

解密AI漫画解说视频从原理到实践(合成视频)-1

 

这里有个技巧,因为我们要快速批量制作,小说只需要一人朗读旁白,而软件自动识别为多朗读人,编辑起来很麻烦,我们可以只需要在小说粘贴区域输入一句话“111”,然后进入编辑界面后,这样可以替换旁白区域里的111为完整小说内容。

缺点就是无法很好识别多音字,请注意上图是自动给你识别多音字的。

其实还有另外一种模板导入方案,可以完美解决,自行探索吧,工具已经给你了...

解密AI漫画解说视频从原理到实践(合成视频)-1

 

2.选择发音人后得到合成的音频,过程就不展示了。解密AI漫画解说视频从原理到实践(合成视频)-1

根据女主、逆袭、穿越的小说风格,我们选择中年沉稳御姐声音,语速不宜太快,1.3较为合适,声调提高。

 

3.使用剪影获取音频SRT文件

操作过程不演示,上传音频后识别字幕,这里唯一要注意的是:选择“文稿匹配”

解密AI漫画解说视频从原理到实践(合成视频)-1

 

到这里已经得到音频和对应的SRT文件

解密AI漫画解说视频从原理到实践(合成视频)-1

回到合成视频流程...

 

 

小说合成视频

合成视频依然依赖软件,软件作用就是把小说字幕文字朗读时间点匹配上图片切换的时间点,然后合成到一起。

那声音呢?别急,有了字幕和对应的图片切换时间,声音随时合成到画面中。跟着我演示的工具流程来...

 

1.选择剪映草稿生成

解密AI漫画解说视频从原理到实践(合成视频)-1

 

2.选择上传SRT字幕

解密AI漫画解说视频从原理到实践(合成视频)-1

 

3.选择特效(画面切换特效),然后点击合成草稿

解密AI漫画解说视频从原理到实践(合成视频)-1

 

4.打开剪映,会看到草稿,打开它...

解密AI漫画解说视频从原理到实践(合成视频)-1

 

5.导入音频

解密AI漫画解说视频从原理到实践(合成视频)-1

 

到这里已经得到完整的视频了,效果还差点,最后一部分让我们美化以下视频。对编辑视频本人并不熟,看一下效果就好。

 

 

二次精编视频

 

1.设置画面比例

一般4:3就好,这里我特意做竖屏真人特写,所以使用9:16

解密AI漫画解说视频从原理到实践(合成视频)-1

2.选择背景填充,让画面充实

解密AI漫画解说视频从原理到实践(合成视频)-1

 

3.插入一些关键帧或特效,让静态图片看起来更动感

解密AI漫画解说视频从原理到实践(合成视频)-1

 

4.插入营销封面

一般不适合这类AI漫画,比较适合用爆款洗脑视频做循环,然后播放小说

解密AI漫画解说视频从原理到实践(合成视频)-1

 

6.加点BGM...更洗脑

背景音乐循环播放,声音小点

解密AI漫画解说视频从原理到实践(合成视频)-1

 

7.还不够...为了流量,我们需要增加一个无脑封面。

此方法很适合短剧、短文类,做小说连载也可以尝试此方法,可以吸量,降重。

解密AI漫画解说视频从原理到实践(合成视频)-1

 

 

 

最后:打包一些全流程用到的资源

首席AI分享圈此处内容已经被作者隐藏,请输入验证码查看内容
验证码:
请关注本站微信公众号,回复“验证码”,获取验证码。在微信里搜索“首席AI分享圈”或者“Looks-AI”或者微信扫描右侧二维码都可以关注本站微信公众号。

 

解密AI漫画系列文章目录

  1. 解密AI漫画解说视频从原理到实践(原理篇)
  2. 解密AI漫画解说视频从原理到实践(分佣渠道篇)
  3. 解密AI漫画解说视频从原理到实践(获取并改写小说)
  4. 解密AI漫画解说视频从原理到实践(制作小说脚本)
  5. 解密AI漫画解说视频从原理到实践(合成视频)
AI轻松学

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样,是每个人的必备技能。 掌握AI会让你在求职中占据优势,在未来的工作和学习中事半功倍。

查看详情>
未经允许不得转载:首席AI分享圈 » 解密AI漫画解说视频从原理到实践(合成视频)

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们
zh_CN简体中文