我最近发现一个超棒的AI工具,居然可以生成如《天龙八部》一样带有分镜头并结合时间线的故事情节视频。一改往日AI视频工具只能生成几秒钟,然后需要通过视频剪辑工具后期拼接的繁琐方式。这款工具呢,居然直接把分镜头视频生成,故事人物设定并保持一致性,对口型,视频拼接,音频添加全部打包在一起了,一站式解决并导出成片。到底是什么工具这么好用呢?这就是字节推出的即梦Dreamina的新功能——故事创作。我给你看个我小试牛刀的作品:
风景的生成无可挑剔,比剑动作还不够自然,还有改进空间。当设定了主人公之后,基本上多次生成视频都能够保持一致,比如我在视频中设定了帅气的段誉形象,一袭青衫,几次生成都明显看出来是同一个人,没错!当然了,要完全做出以上这个视频,还需要结合下其他几个AI工具做些辅助,比如开头的“天龙八部”四个字我就用了通义万相的艺术字生成,分镜头脚本文案的生成我借助了Kimi,而音频和对话配音则用到了天工音乐。再通过即梦整合到一起,非常棒有木有(*^▽^*)。 虽然我目前感觉即梦生成的视频效果还不算最牛的,但是这种产品整合的思路实在是太赞了,之前我也介绍过即梦的“智能画布”功能,也是创新地通过多图层的操作革新了图像生成的方式。具体可见文章:推荐一款AI赋能的生图类PS工具,助力画师拥抱未来新机遇。不得不说,字节的产品团队非常牛,真是太在乎图片、视频剪辑玩家们的痛点了。
好了,废话不多说,接下来我就来把这个视频的具体制作方式跟大家一步步拆解一遍。请搬好小板凳,开始认真听讲~~
故事创作步骤拆解
1.首先登录即梦平台,在“AI视频”块下找到最新出的“故事创作”按钮。如果你还没有注册的话,访问网址之后,直接右上角注册即可,立即生效不用等待审核,而且每天有88积分赠送。刚好够我生成这个视频。
2.进入“故事创作”后呢,看到出现一个画布,还有下方的两个按钮,其中:(1)批量导入分镜,前提你已经做好了分镜图片,可以本地上传,或从即梦平台你个人的资产库中选择,适合你之前已经做好了图片,导入到这里来进行图生视频创作。(2)创建空白分镜,适合你啥构思还没有的情况,进入直接之后通过文本或参考图片来生成。这里我选择了这种方式。
3.进入“空白分镜”后,下方出现分镜文字输入框。意思就是让我们输入文字。
一
文生视频
4.怎么写分镜语言呢?我也不太会呀,这里我可以借用下其他牛批的AI对话工具。这里我选取了KimiChat。所以我问它如下问题:
你是优秀的电影剧本编剧,请帮我把《天龙八部》中的第一章:青衫磊落险峰行,改编成一个分镜头脚本,要求生动,符合原著。
为了确保情节能够符合,我还上传了本《天龙八部》的原著:
5.之所以选取第一章,是因为现在Kimi还是输入长度不够啊,像天龙八部一共有150万字,但是它只成功读取了12%。所以后面的情节它也没get到,罢了,先不管这些。不过kimi的回答还行,可以作为脚本输入:
6.然后我把第一个镜头:无量山的脚本输入到即梦中,如下所示,然后选择“做视频”,并可选配运镜控制、运动速度、模式选择:标准模式(注意:如果你想体现速度快的场景,比如武打、汽车行驶,可以选择流畅模型)、生成时长选择6s,点击生成视频,消耗6个积分。等待片刻就生成好了6s的镜头1。7.接下来我可以选择“创建空白分镜”继续把剩下的镜头脚本也加进来。
8.生成好的短视频,你可以点击右边的“分镜素材”图标进行预览,要是不满意还可以重新编辑,生成一个新的:
9.多提一嘴,这个运镜控制,可以控制移动方向、摇镜头方向、旋转方向、变焦和镜头运动幅度,可以做出大师运镜的效果来,比如镜头3我就小试牛刀了一下这个功能。
二
图生视频
10.接下来我们尝试下先做图片,再做视频,这个功能有个好处,你可以先生成一个出演角色,后面可以选这个角色来生成不同分镜下的视频内容,我们先点击“图片生成”,在“出演角色”那里选择“点击设置”。
11.比如我先设定“段誉”的形象,可以导入一张生成好的图片,也可以在这里输入文字生成,这里我选择了后者。然后看到“白色背景”和“正视图”是平台固定加上的,不可删除。后面接上你对人物的描述就可以了,这里我直接把原著中对段誉刚出场的描写粘贴了过来。
只消耗1分,得到4个待选图片,我选择了如下这种作为定妆照。
12.然后可以设定图片生成的提示词,选定好出演角色,可选导入参考图,将会以图中的参考作为背景。其他如脸部参考强度、主体参考强度默认即可,精细度调高点OK的。生图模型目前固定不可改。然后消耗2分可生成4个图片。
13.选择一张你觉得好的图片,可以继续“图转视频”。
14.后面还生成其他分镜的时候,可以继续选之前段誉这个角色,这样就可以保证人物一致性了。
15.还可以再创建一个人物,目前看2个,3个都是OK的,这里我创建下《天龙八部》里第一话里出场的女角-钟灵。
然后生成她刚出场时玩着毒蛇的场景。不过我发现,一次只能选择一个角色,也就是说,不能让多个角色同框,算是小小遗憾吧,希望下一个版本可以升级。
16.我已经注意到了下方有个“添加音频”的按钮,不过只能添加本地音频。所以我现在还缺个音频。怎么办呢?继续生成呀。之前我介绍过一个好用的AI音乐生成工具-天工音乐,具体使用教程见文章:AI音乐新突破:天工音乐国产神器,免费无限制使用!那么我们进入天工的AI音乐生成:
17.然后输入歌名,歌词,注意歌词就是唱的内容,再选个参考音频,这里我之所以选择了电视剧《笑傲江湖》的主题曲沧海一声笑,主要是因为它既是金庸系的歌,也好听,后面还有rap说话的部分(改编版),我希望ai可以理解,把我打引号的部分理解为对话,直接说,不用唱腔。然后就得到了这段音频,导出后是个MP4。
18.MP4是视频,不能直接导入到即梦中,否则会盖住生成的视频,这里我用了下软件-格式工厂,将视频转成了音频。
19. 然后添加进即梦就可以了。
20. 我可以在右下角的“时间线”和“非时间线”进行切换,更方便进行音频的移动,分割操作。
21. 比如我在时间线模式下,发现有一段对话太长,而视频不够,那我就在视频下右键选“复制”。
就正好把对话补齐了:
22. 接下来还差一个片头,那么我想生成“天龙八部”4个字,于是我想到了之前用过的通义万相,具体见文章:涂鸦变精品:再推荐两款好玩的AI图片工具。那么就来试试吧。
23. 文字风格选择“场景融合”,自定义描述场景,选择图片背景是带背景的“生成背景”,再点击“生成创意艺术字”。
得到4张图片,都不错,我选择了第三张,把这张图片下载下来:
24. 然后我再回到即梦,点击最下面一排的“选择素材”上传。
25. 上传之后,并没有增加新的视频轨道,看来只支持单轨,目前看来够用,添加到了片头。然后可以把这张图片“图转视频”,得到了开头的效果。
三
会员功能
26. 即梦AI会员有几个独有功能,包括:视频延长、对口型、视频补帧、视频超清。
这里我发现对口型功能可限免使用3次。27. 那么我选中一个分镜,然后选择“对口型”,再输入文本朗读文字,设定朗读速度,选一个音色,再点击“对口型”进行视频重新生成。
对口型之前是这个效果,嘴是不咋动的:
对完口型之后,就是开头视频第43秒的效果,提升得非常明显。
四
导出成片
28. 完成了这些之后,“大片”差不多可以杀青了哈。我们点击右上角的“导出”。可以直接导出成片,要是你还要二次加工,可以导出到字节的视频剪辑工具“剪映”中去。还可以选择批量导出素材,做其他本地视频剪辑软件,如Adobe Premiere的二次加工等。
29. 我没有那么多必要,所以选择了导出成片。取个片名,格式可选MP4或MOV。等待片刻就下载下来了。
以上就是即梦AI最新推出的故事创作的全部体验操作流程,怎么样,是不是颠覆了你以前编辑视频的想象了,短视频制作还能这么玩,很激动有木有,那就赶紧跟着我一起玩一把,有啥不太懂的,欢迎后台留言咱们多交流哈。
暂无评论内容