小说合成视频,分为四部分工作:
- 小说生成图片
- 小说生成音频
- 小说合成视频
- 二次精编视频
我们从上一篇教学 《解密AI漫画解说视频从原理到实践(制作小说脚本)》开始,制作小说脚本最后,我们得到一个拼接好的EXCEL,请下载下来,或根据教程自己生成。
先看成品
我将按照我使用的软件操作流程进行演示。(工具不重要,再次声明不推荐任何付费软件)
小说生成图片
1.开始创作
2.创建小说前,先检测并调试出图环境
确认以下调试没问题,再点击“创建项目”
3.创建项目第一步,选择导入脚本文件
4.选择之前保存的EXCEL(找不到翻一下上一篇文章)
5.检查导入文件,因为已经在EXCEL中处理好了所有文本,这步就不需要调整什么
6.关注右上角的“设置角色”,我们依然可以二次修正,附加其他LoRA风格
因为在导入文件前,我已经在本地SD调试好风格了,这里就不修改了。
保存后,进入下一步,让我们进入生成图片环节。
7.进入图片生成界面,先不要点击“开始生图”,让我们再次检查一下配置
8.我的一些配置
在第2步中我没有详细介绍我的配置,在这里简单列举主要项:
- 模型:欧卡-国风
- VAE:vae-ft-mse-840000-ema-pruned
- 正面预设:(best quality, 4k, 8k, highres, masterpiece:1.2),(ultra-detailed),masterpiece,(masterpiece, top quality, best quality),
- 负面:不展示了,词容易违规,随便复制的
- 放大算法:R-ESRGAN 4x+
- 图片尺寸:长图(长图会有各类一场问题,很多模型建议生成方图,512*512即可)
在上图任意镜头,列表右侧的“调整参数”按钮,点击后可以进入当前镜头的详细参数配置页面。
针对一两个镜头测试生成图片,感觉没问题,就开始批量生成图片吧。
9.批量生成图片
到目前位置,37张图,3060卡,大概耗时3分钟。
画重点:安装Tensorrt拓展,生成ONNX模型,理论上可以压缩到2分钟完成
10.一键无损放大
因为默认生成的是小尺寸图片(生成速度快方便调整嘛),如果这些图片基本符合要求,不需要修复(这里我就不修复了),点击无损放大。
此时我们已经得到了一组图片,可以开始自动合成视频了,我演示的工具后续合成语音、视频流程在软件里都有,但我这里演示使用三方音频生成工具,朗读效果较好。
这些图片先放在这里...先解决朗读小说问题
小说生成音频
这里我不使用常见的微软方案、或者逗哥。综合考虑还是选择免费但人声更真实的 音剪 。
我们将以下小说保存后,进入音剪开始操作...
我穿成了一个仙女。
不是凡间传说里的仙女,是真真正正在天上飞来飞去的那种。天帝是我爸,天后是我妈,所以我天生就是个仙女,肤白貌美大长腿,仙气十足。
仙女的日子简直不要太舒坦。整天在自己的仙宫里嗑瓜子、看话本,跟小仙娥们玩耍,爽得不行。
可惜好日子没过多久,就出事了。
这天下午,我宫里的小仙侍黎黎风风火火地跑进来,"白莲上仙!白莲上仙!"
"听到了听到了,别叫了。"虽然穿越几个月了,我还是不太习惯这个名字。
"凌风上仙下凡渡劫回来了,咱们快去探望吧。"
"凌风上仙是谁啊?"
"上仙您是不是睡糊涂了,那可是您的未婚夫啊!"
"啊???"
我这才想起来,我好像还有个未婚夫。凌风这名字怎么这么耳熟,跟我穿越前看的小说男主一模一样?
经过一番打听,我终于搞清楚了情况:我,白莲,是本虐文里的女配。
男主凌风是仙界上仙,两万岁就达到上仙之位,是仙界少有的奇才。虽然我也是上仙,但跟他靠自己本事修来的不同,我是个仙二代,生下来就是上仙。
我天帝老爸看中了凌风的天赋,在我的怂恿下跟凌风的师父菩提祖师一拍即合,定下了我俩的婚事。
但凌风对这门婚事一点都不满意,还跟菩提祖师大吵了一架,最后不欢而散,转身下凡历劫去了。
我算了算时间,这次历劫,凌风投胎到了一个修仙门派,而女主就是他的亲传弟子。历完劫后他没有马上回仙界,而是在人间多待了几十年,等到女主千月成功飞升才一起回来。
原主本来对凌风这个徒弟也有好感,但当她发现凌风对千月的感情不只是师徒之情后,就开始疯狂作死,想方设法要拆散他俩。
最后她忍不住嫉妒,把千月推下了诛仙台,差点让人家魂飞魄散。真相大白后她被仙界驱逐,还被凌风亲手杀死,魂飞魄散。
想到这,我头疼得厉害。我可不想去见一个以后会把我打得魂都不剩的人。
但为了不崩人设,我还是被黎黎拉着去了凌风宫赴宴。
凌风宫建在桃花谷旁边,正是赏花的好时候。我刷脸进了宫门,转眼就从宴会溜了出来。路过酒水处顺了坛桃花酿,跑到桃花谷里喝酒赏花去了。
桃花酿果然名不虚传,好喝得很,就是后劲大。没一会儿我就犯困了,随便找了棵树躺下眯了会儿。
迷迷糊糊间听到有动静,我以为是黎黎找来了,就从树上探出脑袋准备撒个娇。可来的不是黎黎,是女主角千月。
千月显然没想到这有人,愣愣地看着我,脸上还挂着泪痕。我这才想起小说里写过,女主刚来仙界时被人嘲笑长相,哭着跑出来的剧情。
唉,都几千几万岁的仙了,还拿长相开涮,真够幼稚的。
作为一个合格的白莲,啊不,白莲上仙,看到可爱的妹子被欺负哭了,怎么能不管呢?我打个响指召来了花妖,让她们围着千月跳舞。千月哪见过这阵仗,脸一下子就红透了。
她小心翼翼地看我,我冲她笑笑,听到远处黎黎在喊我,就招了朵云跟黎黎回家了。
没过几天,我天后妈来看我。
"儿啊,你见到凌风了吗?"天后笑得格外慈祥。
"啊...没有。"我溜得早,根本没见着人。
"这次他历劫回来,修为又有大进步,你父王说他前途无量啊,你和他..."
得,这是要催婚的节奏啊。
1.上传作品
2.编辑朗读者
导入后会自动分段并识别朗读者,但这样编辑起来真的很麻烦。而且会让浏览器卡顿。
这里有个技巧,因为我们要快速批量制作,小说只需要一人朗读旁白,而软件自动识别为多朗读人,编辑起来很麻烦,我们可以只需要在小说粘贴区域输入一句话“111”,然后进入编辑界面后,这样可以替换旁白区域里的111为完整小说内容。
缺点就是无法很好识别多音字,请注意上图是自动给你识别多音字的。
其实还有另外一种模板导入方案,可以完美解决,自行探索吧,工具已经给你了...
2.选择发音人后得到合成的音频,过程就不展示了。
根据女主、逆袭、穿越的小说风格,我们选择中年沉稳御姐声音,语速不宜太快,1.3较为合适,声调提高。
3.使用剪影获取音频SRT文件
操作过程不演示,上传音频后识别字幕,这里唯一要注意的是:选择“文稿匹配”
到这里已经得到音频和对应的SRT文件
回到合成视频流程...
小说合成视频
合成视频依然依赖软件,软件作用就是把小说字幕文字朗读时间点匹配上图片切换的时间点,然后合成到一起。
那声音呢?别急,有了字幕和对应的图片切换时间,声音随时合成到画面中。跟着我演示的工具流程来...
1.选择剪映草稿生成
2.选择上传SRT字幕
3.选择特效(画面切换特效),然后点击合成草稿
4.打开剪映,会看到草稿,打开它...
5.导入音频
到这里已经得到完整的视频了,效果还差点,最后一部分让我们美化以下视频。对编辑视频本人并不熟,看一下效果就好。
二次精编视频
1.设置画面比例
一般4:3就好,这里我特意做竖屏真人特写,所以使用9:16
2.选择背景填充,让画面充实
3.插入一些关键帧或特效,让静态图片看起来更动感
4.插入营销封面
一般不适合这类AI漫画,比较适合用爆款洗脑视频做循环,然后播放小说
6.加点BGM...更洗脑
背景音乐循环播放,声音小点
7.还不够...为了流量,我们需要增加一个无脑封面。
此方法很适合短剧、短文类,做小说连载也可以尝试此方法,可以吸量,降重。
最后:打包一些全流程用到的资源
解密AI漫画系列文章目录