网站开发财务,毕业设计网站开发的中期报告,企业做不做网站的坏处,做网站需要学会什么话不多说#xff0c;直接开干。
基本方法
首先通过 Temporal-Kit 这个插件提取视频中的关键帧图片#xff0c;然后使用 Stable Diffusion WebUI 重绘关键帧图片#xff0c;然后再使用 Temporal-Kit 处理转换后的关键帧图片#xff0c;它会自动补充关键帧之间的图片#…话不多说直接开干。
基本方法
首先通过 Temporal-Kit 这个插件提取视频中的关键帧图片然后使用 Stable Diffusion WebUI 重绘关键帧图片然后再使用 Temporal-Kit 处理转换后的关键帧图片它会自动补充关键帧之间的图片最后拼合这些图片形成视频。
这种方法建议尽量找些背景简单的、主体在画面中占比较大且动作变化较慢的这样重绘时生成的图片元素会比较稳定、主体动作衔接到位效果会好一些。
安装TemporalKit
方法一
在Stable Diffusion WebUI中通过网址安装依次打开“扩展插件”-“从网址安装”页签输入Github仓库地址 github.com/CiaraStrawb… 然后点击“安装”安装成功后会看到一个重启的提示然后在“已安装”页签中重启就可以了。如下图所示 重启SD后会在一级菜单中看到 Temporal-Kit 页签。 如果没有看到请查看控制台是否有错误日志。我这里出现了找不到模块的错误
ModuleNotFoundError: No module named ‘moviepy’
ModuleNotFoundError: No module named ‘scenedetect’
这是因为Temporal-Kit依赖的某些Python包不存在使用pip安装它们就行了。
source /root/stable-diffusion-webui/venv/bin/activate
pip install moviepy
pip install scenedetect
注意我这里使用了 source xxx/activate这是因为我的Stable Diffusion WebUI运行在一个Python虚拟环境中如果你的也是需要先激活这个虚拟环境注意修改成你自己的文件路径然后把包安装到这个虚拟环境中才可以找到它们。
安装完这些依赖包后重启SD正常情况下应该就能出来了。如果还不行请留言说明问题。
方法二
不能直接访问Github比如访问不了外网可以把这个插件下载后再放到SD WebUI的扩展插件目录中。
这个插件的下载地址github.com/CiaraStrawb… 如果你访问Github不方便也可以关注我的公/众/号萤火遛AIyinghuo6ai,发消息视频风格转换即可获取下载地址。
把插件解压后放到你的SD WebUI的extensions目录中就像下面图片中这样 提取关键帧
为什么要提取关键帧提取关键帧就是把视频中动作变化比较大的画面转成图片下一步就是对这些图片进行重绘。如果不提取关键帧而是把视频的每一帧都重绘一是工作量大二是重绘的每张图片可能都有点不一样画面可能闪烁比较严重。
在SD WebUI的主页签中找到 Temporal-Kit点击打开。然后接着点击“Pre-Processing”在视频区域这里上传待处理的视频这是我从抖音上截取的一段文章最后会提供这个视频的下载地址。不要马上点击“运行”还有一些设置请继续看下文。 在视频下方可以看到这些设置这些都是针对提取图片的设置
Sides生成的1张图片的边包含几张视频帧。如果是2就代表4个视频帧也就是 2_2如果是3就代表9个视频帧也就是 3_3最小设置为1也就是1张图包含1个视频帧。这个要结合后边的 Height Resolution一起设置。
Height Resolution生成图片的高度的像素值建议是视频的高度 * Sides 比如我这个视频是 1080_720单个视频帧的高度就是720但是前边Sides设置的2所以就是720_21440。但是这个公式不是绝对的你也可以写个720或者写个2048。这个值需要考虑显卡的性能如果显卡不太行不要设置的太高。
frames per keyframe多少视频帧抽取一个关键帧。
fps视频每秒包含几帧在电脑上查看视频详情一般可以获取到。
Target Folder关键帧图片的输出位置实际会输出到这个目录下创建的一个input文件夹后续各种处理的中间文件都在这个文件夹下相当于一个项目目录所以建议为每个视频的不同处理创建不同的文件夹。注意如果是云端这里需要是服务器上的目录。
Batch Settings因为我们这里需要处理整个视频所以需要把这个Batch Run勾选上。 参数设置完毕之后点击页面右侧的“运行”。 关键帧图片都被提取后图像这个区域会显示提取的首张图片我们也可以在文件目录中看到提取的图片。这里以AutoDL的JupyterLab为例。 然后我们就可以点击“图生图”进入下一步了。
转换风格
在上一步点击“图生图”之后页面就跳转到“图生图”了并且自动带过来了首张图片。 我们需要选择一个模型填写一些提示词。我这里选择了一个动漫模型toonyou。你可以根据自己的需求决定用什么模型。
这里的贴出来我的提示词方便复制。
提示词a man, epic scene, a poster, flat color,
反向提示词 easy_negative,beard 然后是一些参数设置大家根据实际情况来吧效果不好就调整下。
注意两点
图片的宽高这是从提取关键帧的页面带过来的如果数字太大建议先调小一点然后再用超分高清化放大。重绘强度不要太大以免重绘的图片相互之间变化太大不好衔接出来的视频会比较闪烁。 这里一般还需要ControlNet来控一下图避免重绘的变化太大也是为了稳定画面。我这里选择的是Tile模型大家也可以试下SoftEdge、Canny、Lineart等绘线的模型。 然后就是抽卡了不断的生成图片直到你满意。
注意记录下满意图片的生成种子马上就要用到批量生成中。 将图生图切换到“批量处理”填写两个目录
输入目录提取关键帧步骤中输出图片的目录。输出目录重绘图片的保存目录固定值output填上就行了。 把满意图片的生成种子填写到这里网上很多教程提到这个但是不要期望重绘后的每张图片中的元素都能保持一致因为视频帧的每张图片都是不一样的一个种子很难稳定输出图片中的各种元素大家可以自己体会下。 最后就是点击“生成”按钮等待批处理完成。 在图片输出区域的下方看到这句话基本就处理完成了。WebUI的进度有时候更新不及时大家注意看控制台或者shell的输出。 合成视频
现在进入激动人心的视频合成环节了这一步需要回到 Temporal-Kit 页面。
批量变换
点击“Batch-Warp”进入批量变换页面。
在Input Folder中填写完整的项目目录注意不是 output 目录也不是 input 目录是它们的上级目录。
然后点击“read_last_settings”它会加载源视频和相关参数。注意这里的“output resolution”是需要手动设置的默认1024建议改成源视频的分辨率以保持一致。其它参数使用自动加载的就行了。
最后点击“run”开启视频合成。 这个视频合成的原理是根据关键帧生成中间的序列帧然后又拼合起来生成视频可以在result这个目录中看到中间生成的这些图片。
5秒的视频AutoDL上的A5000显卡大概需要10分钟左右合成成功后会在 Batch-Warp 页面的右侧展示视频可以直接播放也可以下载。 生成的视频中人物活动的时候有些影子感觉是补帧的效果不太好。
这里合成的视频默认是没有声音的我们可以在剪映APP中把原视频的声音合成进来看我这个效果
www.aliyundrive.com/s/SPzP5crKJ…
单张变换
Temporal-Kit还提供了一个“Temporal-Warp”的工具实测它可以实现单张重绘图片转视频一个很短的小视频。我测试的时候这个方法需要重新提取关键帧并且Sides选择1也就是1张图片一个关键帧有兴趣的可以试试。
结合EBSynth合成视频
这个生成视频的质量比本文的方法要好一些不过步骤比较繁杂下一篇专门介绍。 以上就是本文的主要内容感谢阅读。
写在最后
感兴趣的小伙伴赠送全套AIGC学习资料包含AI绘画、AI人工智能等前沿科技教程和软件工具具体看这里。
AIGC技术的未来发展前景广阔随着人工智能技术的不断发展AIGC技术也将不断提高。未来AIGC技术将在游戏和计算领域得到更广泛的应用使游戏和计算系统具有更高效、更智能、更灵活的特性。同时AIGC技术也将与人工智能技术紧密结合在更多的领域得到广泛应用对程序员来说影响至关重要。未来AIGC技术将继续得到提高同时也将与人工智能技术紧密结合在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理形成各个领域的知识点汇总它的用处就在于你可以按照下面的知识点去找对应的学习资源保证自己学得较为全面。 二、AIGC必备工具
工具都帮大家整理好了安装就可直接上手
三、最新AIGC学习笔记
当我学到一定基础有自己的理解能力的时候会去阅读一些前辈整理的书籍或者手写的笔记资料这些笔记详细记载了他们对一些技术点的理解这些理解是比较独到可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频看视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。 五、实战案例
纸上得来终觉浅要学会跟着视频一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。
