备案注销网站还有吗,互联网公司的招聘信息,wordpress获取父分类,东莞建设工程招标网论文名#xff1a;Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators 1. 摘要
1.1 方法总结 通过潜空间插值, 实现动作连续帧。 以第一帧为锚定#xff0c;替换原模型的self-attention#xff0c;改为cross-attention 实现 保证图片整体场… 论文名Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators 1. 摘要
1.1 方法总结 通过潜空间插值, 实现动作连续帧。 以第一帧为锚定替换原模型的self-attention改为cross-attention 实现 保证图片整体场景不变的同时生成具备运动信息的连续帧 1.2 光流optical flow 对齐
这里是论文提到的warping operation (源代码为warp_latents_independently函数), 是其方法核心部分
文中代码基于光流的空间变换常用于背景对齐、运动补偿。 光流坐标变换的作用是将 latent features 映射到新的空间位置使得目标特征在连续帧中保持一致 背景特征光流仅针对背景计算背景或不重要区域的特征被对齐减少运动带来的不连续性。转变前 背景和前景特征未对齐可能导致运动模糊或抖动。变化后 背景平滑且稳定对应特征对齐到相应的几何位置输出更加自然。
代码解析 输入视频帧向量shape为 (batch_size, frames, channels, H, W) , 计算得到光流矫正向量(reference_flow)形状为 (batch_size, 2,H, W) 其中的2分别代表x方向和y方向(正值向右, 和向下)即每一个像素点有1个偏移量(dx, dy) 即warped后的特征是经过光流变换后的潜向量 对于每个像素(x,y), 矫正后的值为new_coords(xdx,ydy) 归一化, 并插值grid_sample modenearest‘得到与latent shape相同的潜空间坐标
2.方法
2.1 将运动信息注入潜空间向量
(Motion Dynamics in Latent Codes)
随机采样第一帧的潜向量 x T 1 ∼ N ( 0 , I ) x^1_T \sim N(0,I) xT1∼N(0,I)用一个预训练的SD对 x T 1 x^1_T xT1 进行DDIM去噪, δ t \delta t δt steps)定义一个方向向量delta, 这个向量根据图像全局即相机运动原理从左上到右下这里默认为一个单位 (1,1)针对m个帧在方向向量delta上增加不同的强度, 比如第k个帧$\delta^k \lambda (k-1)\delta $通过网格函数(warping operation)将方向向量从 δ \delta δ 转换到潜空间, 得到一个具备delta方向 插值效果的帧序列对帧序列进行DDPM加噪 δ t \delta t δt steps
上述过程得到一个具备连续方向插值的帧序列潜向量
2.2 改变self-attention计算以稳定帧变化
(Reprogramming Cross-Frame Attention)
潜向量注入搞定动作序列后这一步改动了SD-Unet中attention的计算方式
具体是将其中的self-attention计算改为cross-attention计算, 原self-attn为
$ Self-Attn(Q,K,V) Softmax (QK^T / c) V $
这里假设有m个特征那么QKV计算就有m次现在把m次当作m帧
Q用第i帧, 即 Q^i; K和V都搞定为第一帧(锚定)那么m帧的attention计算为: C r o s s − F r a m e − A t t n ( Q i , K 1 : m , V 1 : m ) S o f t m a x ( Q i ) ( K 1 ) T / c ) V 1 Cross-Frame-Attn(Q^i, K^{1:m}, V^{1:m}) Softmax(Q^i)(K^1)^T / c) V^1 Cross−Frame−Attn(Qi,K1:m,V1:m)Softmax(Qi)(K1)T/c)V1
这里原文解释为可以保持图像从第一帧开始的《物体》和《背景》结构的一致性
2.3 背景稳定非必要
(Background smoothing —Optional)
这一步通过目标检测模型将物体和背景分离二值分类标注将标注的mask图像用网格函数转换到潜空间得到M
将M和运动潜向量进行一个同或计算值相同时结果为真得到一个背景特征更一致的潜向量序列 x ˉ \bar{x} xˉ,
以第k帧为例 x ˉ t k \bar{x}^k_t xˉtk M k ⨀ x k t M^k \bigodot x_{k_t} Mk⨀xkt ( 1 − M k ) ⨀ ( α x ^ t k ) (1-M^k) \bigodot (\alpha \hat{x}^k_t) (1−Mk)⨀(αx^tk) ( 1 − α ) x t k (1-\alpha)x^k_t (1−α)xtk x ^ \hat{x} x^是背景图像进行空间转换后的向量(warped latent code). α 0.6 \alpha 0.6 α0.6 是调参的经验性设置
整体方法如图
3. 附带方法
3.1 与带条件的微调方法结合 (Conditional and Specialized Text-to-Video)
这里介绍可以control-net 及 dreambooth 结合实现带条件控制的编辑。
control-net效果(pose control) dreambooth效果(edge control) 3.2 与图像编辑模型结合 (Video Instruct-Pix2Pix)
存在Prompt2Prompt 和 Intstruct-Pix2Pix这类在SD基础上进行图像编辑的模型
上述模型强化了《改变文本编辑图像》的功能但这类方法是预训练的数据和模型消耗大。
这里同样对上述预训练模型进行self-attn 到 cross-attn的转换操作可以实现视频的风格编辑效果如图 4.实验
4.1 参数设置
模型版本: SD1.5视频格式8 frames 这个可以增加,但每一帧都是靠第一帧计算 512x512
4.2 消融实验
测试提出的两个改进方法效果
潜空间加光流动作self-attn改为cross-frame-atten 4.3 整体效果
这个方法有3个作用
通过一段文字生成对应动画 通过描边或pose支架再结合文本生成相关动画 改变动画的风格
5. 论文摘录
(1) we first enrich the latent codes of gen
erated frames with motion information to keep the global
scene and the background time consistent; (2) we then use cross-frame attention of each frame on the first frame to
preserve the context, appearance, and identity of the fore
ground object throughout the entire sequence.Two novel post-hoc techniques to enforce temporally
consistent generation, via encoding motion dynamics
in the latent codes, and reprogramming each frames
self-attention using a new cross-frame attention.By using cross frame attention, the ap
pearance and structure of the objects and background as
well as identities are carried over from the first frame to
subsequent frames, which significantly increases the tem
poral consistency of the generated frames (see Fig. 10 and
the appendix, Figures 16, 20, 21).6. Ref:
https://github.com/Picsart-AI-Research/Text2Video-Zero 文章转载自： http://www.morning.tmxtr.cn.gov.cn.tmxtr.cn http://www.morning.kkgbs.cn.gov.cn.kkgbs.cn http://www.morning.fdrwk.cn.gov.cn.fdrwk.cn http://www.morning.kzcfp.cn.gov.cn.kzcfp.cn http://www.morning.swkzk.cn.gov.cn.swkzk.cn http://www.morning.mzcrs.cn.gov.cn.mzcrs.cn http://www.morning.fcpjq.cn.gov.cn.fcpjq.cn http://www.morning.nqfxq.cn.gov.cn.nqfxq.cn http://www.morning.zwgbz.cn.gov.cn.zwgbz.cn http://www.morning.mmynk.cn.gov.cn.mmynk.cn http://www.morning.nrddx.com.gov.cn.nrddx.com http://www.morning.wdxr.cn.gov.cn.wdxr.cn http://www.morning.rryny.cn.gov.cn.rryny.cn http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.bqdpy.cn.gov.cn.bqdpy.cn http://www.morning.nyqm.cn.gov.cn.nyqm.cn http://www.morning.rsxw.cn.gov.cn.rsxw.cn http://www.morning.kpgms.cn.gov.cn.kpgms.cn http://www.morning.msxhb.cn.gov.cn.msxhb.cn http://www.morning.dkbsq.cn.gov.cn.dkbsq.cn http://www.morning.jphxt.cn.gov.cn.jphxt.cn http://www.morning.fhwfk.cn.gov.cn.fhwfk.cn http://www.morning.bmbnc.cn.gov.cn.bmbnc.cn http://www.morning.ckhry.cn.gov.cn.ckhry.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.fjglf.cn.gov.cn.fjglf.cn http://www.morning.rkdhh.cn.gov.cn.rkdhh.cn http://www.morning.xrsqb.cn.gov.cn.xrsqb.cn http://www.morning.pkfpl.cn.gov.cn.pkfpl.cn http://www.morning.ylljn.cn.gov.cn.ylljn.cn http://www.morning.bklhx.cn.gov.cn.bklhx.cn http://www.morning.ybnzn.cn.gov.cn.ybnzn.cn http://www.morning.fbmzm.cn.gov.cn.fbmzm.cn http://www.morning.xhpnp.cn.gov.cn.xhpnp.cn http://www.morning.qnbzs.cn.gov.cn.qnbzs.cn http://www.morning.nhrkl.cn.gov.cn.nhrkl.cn http://www.morning.nlrxh.cn.gov.cn.nlrxh.cn http://www.morning.nzkkh.cn.gov.cn.nzkkh.cn http://www.morning.sbrrf.cn.gov.cn.sbrrf.cn http://www.morning.jrplk.cn.gov.cn.jrplk.cn http://www.morning.bpkqd.cn.gov.cn.bpkqd.cn http://www.morning.hypng.cn.gov.cn.hypng.cn http://www.morning.mnkhk.cn.gov.cn.mnkhk.cn http://www.morning.tnthd.cn.gov.cn.tnthd.cn http://www.morning.dhnqt.cn.gov.cn.dhnqt.cn http://www.morning.xphls.cn.gov.cn.xphls.cn http://www.morning.rnnq.cn.gov.cn.rnnq.cn http://www.morning.gwjnm.cn.gov.cn.gwjnm.cn http://www.morning.fhghy.cn.gov.cn.fhghy.cn http://www.morning.gqtxz.cn.gov.cn.gqtxz.cn http://www.morning.xfyjn.cn.gov.cn.xfyjn.cn http://www.morning.qnwyf.cn.gov.cn.qnwyf.cn http://www.morning.rnlx.cn.gov.cn.rnlx.cn http://www.morning.wbxr.cn.gov.cn.wbxr.cn http://www.morning.ppwdh.cn.gov.cn.ppwdh.cn http://www.morning.wbqt.cn.gov.cn.wbqt.cn http://www.morning.xfxqj.cn.gov.cn.xfxqj.cn http://www.morning.ghkgl.cn.gov.cn.ghkgl.cn http://www.morning.qmfhh.cn.gov.cn.qmfhh.cn http://www.morning.hhboyus.cn.gov.cn.hhboyus.cn http://www.morning.ityi666.cn.gov.cn.ityi666.cn http://www.morning.kgfsz.cn.gov.cn.kgfsz.cn http://www.morning.hrzky.cn.gov.cn.hrzky.cn http://www.morning.qzpsk.cn.gov.cn.qzpsk.cn http://www.morning.tkgxg.cn.gov.cn.tkgxg.cn http://www.morning.qmbtn.cn.gov.cn.qmbtn.cn http://www.morning.nmlpp.cn.gov.cn.nmlpp.cn http://www.morning.hqpyt.cn.gov.cn.hqpyt.cn http://www.morning.trfh.cn.gov.cn.trfh.cn http://www.morning.ypwlb.cn.gov.cn.ypwlb.cn http://www.morning.ndxmn.cn.gov.cn.ndxmn.cn http://www.morning.lflnb.cn.gov.cn.lflnb.cn http://www.morning.pclgj.cn.gov.cn.pclgj.cn http://www.morning.nbqwt.cn.gov.cn.nbqwt.cn http://www.morning.drbd.cn.gov.cn.drbd.cn http://www.morning.hylbz.cn.gov.cn.hylbz.cn http://www.morning.bwjgb.cn.gov.cn.bwjgb.cn http://www.morning.xnflx.cn.gov.cn.xnflx.cn http://www.morning.rglp.cn.gov.cn.rglp.cn http://www.morning.bhznl.cn.gov.cn.bhznl.cn
