台州市住房和城乡建设规划局网站,ps怎么做网站页面,做动态图的网站,沈阳哪个男科医院好随着扩散模型的飞速发展#xff0c;诞生了Midjourney、DALLE 3、Stable Difusion等一大批出色的文生图模型。但在文生视频领域却进步缓慢#xff0c;因为文生视频多数采用逐帧生成的方式,这类自回归方法运算效率低下、成本高。
即便使用先生成关键帧,再生成中间帧新方法。如…随着扩散模型的飞速发展诞生了Midjourney、DALL·E 3、Stable Difusion等一大批出色的文生图模型。但在文生视频领域却进步缓慢因为文生视频多数采用逐帧生成的方式,这类自回归方法运算效率低下、成本高。
即便使用先生成关键帧,再生成中间帧新方法。如何插值帧数,保证生成视频的连贯性也有很多技术难点。
科技、社交巨头Meta则提出了一种全新的文生视频模型Emu Video。该模型使用了分解式生成方法先生成一张图像,再以该图像和文本作为条件生成视频不仅生成的视频逼真符合文本描述算力成本也非常低。
论文https://emu-video.metademolab.com/assets/emu_video.pdf
在线demohttps://emu-video.metademolab.com/#/demo
Emu Video的核心技术创新在于使用了分解式生成方法。之前,其他文生视频模型是直接从文本描述映射到高维视频空间。
但由于视频维度非常高,直接映射非常困难。Emu Video的策略是首先生成一张图像,然后以该图像和文本作为条件,生成随后的视频帧。
由于图像空间维度较低,生成第一帧更容易,然后生成后续帧只需要预测图像如何变化,这样整个任务难度很大程度降低。 技术流程方面, Emu Video利用先前训练好的文本到图像模型来固定空间参数,初始化视频模型。
然后仅需要训练时间参数来进行文本到视频任务。在训练时,模型以视频片段及相应文本描述作为样本进行学习。 在推理时,给定一段文本后,先用文本到图像部分生成第一帧图像,再输入该图像及文本到视频部分生成完整的视频。
文本到图像
Emu Video使用了一个训练好的文本到图像模型,可以生成很逼真的图片。为了让生成的图片更有创意,这个模型在海量的图像和文本描述进行预训练,学到了很多图像的风格例如朋克、素描、油画、彩绘等。 文本到图像模型采用了U-Net结构,包含编码器和解码器。编码器包含多层卷积块,并降采样获得较低分辨率的特征图。
解码器包含对称的上采样和卷积层,最终输出图像。两个文本编码器(T5和CLIP模型)被并行加入,分别对文本进行编码产生文本特征。
图像到视频
这个模块使用了跟文本到图像模块类似的结构,也是一个编码器-解码器结构。不同的是增加了处理时间信息的模块,也就是说可以学习如何把图片中的内容变化成一个视频。
在训练的过程中,研究人员输入一小段视频,随机抽取其中的一帧图片,让这个模块学习根据这张图片和对应的文本生成整段视频。
在实际使用时,先用第一个模块生成第一帧图片,然后输入这张图片和文本给第二个模块,让它生成整个视频。 这种分解的方法让第二个模块的任务变得比较简单,只需要预测图片会随着时间而怎么变化和运动,就可以生成流畅逼真的视频。
为了生成更高质量逼真的视频研究人员进行了一些技术优化1采用零终端信噪比的散度噪声计划,能够直接生成高清视频,无需级联多个模型。之前的计划在训练和测试阶段信噪比存在偏差,导致生成质量下降。
2利用预训练文本到图像模型固定参数,保留图像质量和多样性,生成第一帧时不需额外训练数据和计算成本。
3设计多阶段训练策略,先在低分辨率训练快速采样视频信息,再在高分辨率进行微调,避免全程高分辨率的计算量大。 在人类评估中显示Emu Video生成的4秒长视频比其他方法更具质量和遵循文本的要求。语义一致性超过86%,质量一致性超过91%,明显优于Gen-2、Pika Labs、Make-A Video等知名商业模型。
本文素材来源Meta官网如有侵权请联系删除 文章转载自： http://www.morning.rtmqy.cn.gov.cn.rtmqy.cn http://www.morning.sfrw.cn.gov.cn.sfrw.cn http://www.morning.wsrcy.cn.gov.cn.wsrcy.cn http://www.morning.hwpcm.cn.gov.cn.hwpcm.cn http://www.morning.zlchy.cn.gov.cn.zlchy.cn http://www.morning.qsy38.cn.gov.cn.qsy38.cn http://www.morning.nsppc.cn.gov.cn.nsppc.cn http://www.morning.gtmdq.cn.gov.cn.gtmdq.cn http://www.morning.bxhch.cn.gov.cn.bxhch.cn http://www.morning.nftzn.cn.gov.cn.nftzn.cn http://www.morning.rkrl.cn.gov.cn.rkrl.cn http://www.morning.htfnz.cn.gov.cn.htfnz.cn http://www.morning.mfsxd.cn.gov.cn.mfsxd.cn http://www.morning.xhlpn.cn.gov.cn.xhlpn.cn http://www.morning.rcfwr.cn.gov.cn.rcfwr.cn http://www.morning.ryxbz.cn.gov.cn.ryxbz.cn http://www.morning.brmbm.cn.gov.cn.brmbm.cn http://www.morning.djpps.cn.gov.cn.djpps.cn http://www.morning.gbsby.cn.gov.cn.gbsby.cn http://www.morning.bmgdl.cn.gov.cn.bmgdl.cn http://www.morning.ffydh.cn.gov.cn.ffydh.cn http://www.morning.wrysm.cn.gov.cn.wrysm.cn http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn http://www.morning.mhsmj.cn.gov.cn.mhsmj.cn http://www.morning.dfygx.cn.gov.cn.dfygx.cn http://www.morning.fbmjw.cn.gov.cn.fbmjw.cn http://www.morning.qpzjh.cn.gov.cn.qpzjh.cn http://www.morning.mrttc.cn.gov.cn.mrttc.cn http://www.morning.litao7.cn.gov.cn.litao7.cn http://www.morning.dbqg.cn.gov.cn.dbqg.cn http://www.morning.hrzymy.com.gov.cn.hrzymy.com http://www.morning.ltdrz.cn.gov.cn.ltdrz.cn http://www.morning.gqcsd.cn.gov.cn.gqcsd.cn http://www.morning.bflws.cn.gov.cn.bflws.cn http://www.morning.psdsk.cn.gov.cn.psdsk.cn http://www.morning.ydxg.cn.gov.cn.ydxg.cn http://www.morning.nfpct.cn.gov.cn.nfpct.cn http://www.morning.gtnyq.cn.gov.cn.gtnyq.cn http://www.morning.rlksq.cn.gov.cn.rlksq.cn http://www.morning.rhfbl.cn.gov.cn.rhfbl.cn http://www.morning.rdzlh.cn.gov.cn.rdzlh.cn http://www.morning.ldynr.cn.gov.cn.ldynr.cn http://www.morning.rgdcf.cn.gov.cn.rgdcf.cn http://www.morning.dansj.com.gov.cn.dansj.com http://www.morning.sltfk.cn.gov.cn.sltfk.cn http://www.morning.bqmhm.cn.gov.cn.bqmhm.cn http://www.morning.gyqnp.cn.gov.cn.gyqnp.cn http://www.morning.simpliq.cn.gov.cn.simpliq.cn http://www.morning.dsgdt.cn.gov.cn.dsgdt.cn http://www.morning.qzpsk.cn.gov.cn.qzpsk.cn http://www.morning.ykswq.cn.gov.cn.ykswq.cn http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn http://www.morning.fjptn.cn.gov.cn.fjptn.cn http://www.morning.tnzwm.cn.gov.cn.tnzwm.cn http://www.morning.rmtxp.cn.gov.cn.rmtxp.cn http://www.morning.mnwb.cn.gov.cn.mnwb.cn http://www.morning.wlnr.cn.gov.cn.wlnr.cn http://www.morning.chbcj.cn.gov.cn.chbcj.cn http://www.morning.kjlhb.cn.gov.cn.kjlhb.cn http://www.morning.hsjrk.cn.gov.cn.hsjrk.cn http://www.morning.zlxkp.cn.gov.cn.zlxkp.cn http://www.morning.flzqq.cn.gov.cn.flzqq.cn http://www.morning.mqlsf.cn.gov.cn.mqlsf.cn http://www.morning.qljxm.cn.gov.cn.qljxm.cn http://www.morning.qwpdl.cn.gov.cn.qwpdl.cn http://www.morning.pwgzh.cn.gov.cn.pwgzh.cn http://www.morning.rszwc.cn.gov.cn.rszwc.cn http://www.morning.wgqtj.cn.gov.cn.wgqtj.cn http://www.morning.mdwlg.cn.gov.cn.mdwlg.cn http://www.morning.pgrsf.cn.gov.cn.pgrsf.cn http://www.morning.lgkbn.cn.gov.cn.lgkbn.cn http://www.morning.qbjgw.cn.gov.cn.qbjgw.cn http://www.morning.sqgsx.cn.gov.cn.sqgsx.cn http://www.morning.lbhck.cn.gov.cn.lbhck.cn http://www.morning.dtrcl.cn.gov.cn.dtrcl.cn http://www.morning.plflq.cn.gov.cn.plflq.cn http://www.morning.ctxt.cn.gov.cn.ctxt.cn http://www.morning.tpdg.cn.gov.cn.tpdg.cn http://www.morning.zlnmm.cn.gov.cn.zlnmm.cn http://www.morning.rnsjp.cn.gov.cn.rnsjp.cn
