佛山市做网站,国外建站数据,装饰网站建设,如何制作一个手机网站源码快手视频生成大模型“可灵”#xff08;Kling#xff09;#xff0c;是全球首个真正用户可用的视频生成大模型#xff0c;自面世以来#xff0c;凭借其无与伦比的视频生成效果#xff0c;在全球范围内赢得了用户的热烈追捧与高度评价。截至目前#xff0c;申请体验其内测… 快手视频生成大模型“可灵”Kling是全球首个真正用户可用的视频生成大模型自面世以来凭借其无与伦比的视频生成效果在全球范围内赢得了用户的热烈追捧与高度评价。截至目前申请体验其内测版的用户数量已突破70万大关累计生成的视频作品更是高达700万。 可灵在持续创新的道路上也从未停下脚步在七月份举办的世界人工智能大会WAIC期间可灵再次迎来重大升级。新功能包括上线web端、基础模型效果升级、图生视频支持首尾帧、增添相机镜头控制功能、单次生成时长增至10s等。 大模型落地的实际效果如何离不开用户的体验与感知来自中科院计算所数字内容合成与伪造检测实验室的唐帆副研究员及黄子尧、徐子艺等同学对可灵AI视频生成大模型进行了测评。该团队致力于生成式AI的正向应用与反向监管工作近年来在人工智能和图形学顶级会议和期刊ACM TOG/CVPR等上发表了多个图像视频生成成果。团队本次对可灵AI的评测是为了评估现有视频生成模型能力探索视频生成技术在学术和现实场景里的新方向和应用潜力。本文转自 数字内容合成与伪造检测 帐号已获得作者授权转载本文发表在新功能上线之前目前可灵最新功能已更新欢迎爱好者朋友至https://klingai.kuaishou.com 体验 六个角度 团队主要从画面质量、内容可控与运动生成三方面进行评测并与当下最火热的Stable Video Diffusion、Sora和Dream Machine进行比较。画面质量考量视频画面的真实感包括细节刻画的逼真度与物理世界的一致性两个角度内容可控从多主体生成、特定内容风格与模型创造力三个角度测试最后从运动生成的角度测试了生成结果中动态场景的流畅性和时空关系的合理性。 测评情况 1、细节刻画超乎想象 细节决定着一个视频是否会被一眼“打假”一年前网上还在大呼“图像生成的场景虽然宏大但仔细一看完全是东拼西凑”。而可灵对细节的刻画超出我们的想象。 精美自然界 晶莹剔透的水珠微微摆动的湿润绿叶虚化的背景这个画面真的太美了。不过这里也体现出了后续会说的一个问题——运动不符合提示词。 “一滴雨水滑落叶片的边缘特写水珠的表面张力和反射的光芒。” 对动物的刻画也十分细致透明的小翅膀在花蕊上采蜜的动作不细看像是真的一样。 “一只蜜蜂在花瓣上采蜜特写其细腻的翅膀和花粉粘附在腿上的情景。” 精准手和脸 我们知道脸部崩坏手指抽象是生成模型的老问题了而可灵的结果看起来不错。看起来画面中的演员真的很痛苦完全符合我们的提示词。 “一位演员在舞台上表演悲剧角色特写脸上的悲伤表情和流下的泪水。” 纸张纹理、手部青筋、握笔方式都刻画得十分到位甚至在纸面上留下了持续新增的笔触。 “一位画家的手在画布上细致地勾勒出人物的轮廓特写手指的灵活运动。” 总之可灵对细节的把控比较到位不管是自然界的花花草草还是人的面部情绪、手部动作在视频生成领域有很大的进步。 2、物理世界表象or内核 人工智能是否能够真正地理解物理世界我们认为可灵仍然停留在视频的表象。我们发现它对自然界有着细致入微的观察并且面对镜子、光影可以生成一些令人惊叹的视频不过在视频中偶尔会发生不合理的事情。 绽放的花朵 两朵花缓慢绽放花蕊的细节清晰可见像真是用延时摄影拍摄的一样。“两朵黄色的花在黑色背景下缓慢绽放展示出细腻的花瓣和花蕊。” 令人惊叹的镜子 这个视频仿佛是在真实场景中发生的特别是耳部动作的刻画。虽然最后几秒镜子里的动作有问题但瑕不掩瑜整体质量十分好。 “一只狗在照镜子背景是房间内的物品。” 越来越满的咖啡 这是一个特别常见的画面然而模型完全没有理解我们的意思蒸汽不减少咖啡却越来越多。 “一杯满是热咖啡的透明玻璃杯慢慢地冷却蒸汽逐渐消失。” 3、想象力生成不可能 到了可灵主打的想象力环节我们来看看它能不能生成天马行空的内容。 海底探险 海底、发光宝藏、潜水员和海洋生物该有的元素都有了镜头不断推进仿佛我们也深陷海底。 科幻都市 这里的光影令人惊喜倒影、反光都随着小猫的前进不断变化。整个场景也充满科技风以后设计画面都可以来这找灵感了。 活灵活现的画面 这里动静之间的处理得特别好跃出纸面的动物、画板和画家之间的空间关系完全正确。 更具想象力 可灵没有成功生成这个充满想象力的画面丢失了很多元素。 “一只猫坐在一本打开的书上书页上的文字围绕着猫身形成漩涡。” 总之可灵在想象力上中规中矩能生成让人眼前一亮充满想象力的大场景但偶尔面对过于超脱的提示词时不知道如何创意地组合各个概念。不过以现在生成的总体质量来看再改进一下提示词应该就可以实现想要的内容。 4、多主体更丰富的内容 谁是狮子 可灵成功生成了两只老虎、两只狮子但让它生成一只老虎和一只狮子时却生成了两只老虎。 猫狗合体 小猫小狗作为最常见的动物可灵却分不清第一个视频猫变身狗第二个视频猫狗直接合体。另外可以看到可灵不会数数但对颜色的把控到位。 “一只白猫一只黑狗两只黄色鸭子在一起玩。”“一只白猫一只黑狗两只绿色鸭子在一起玩。” 对模型来说模拟多个角色之间的复杂交互具有挑战性在多主体上可灵稍显逊色可能会生成错误的内容。 5、角色和风格个性化生成 指定角色 可灵在软件上禁止生成现实中存在的名人因此我们简单地尝试了几个常见角色。 在角色、动作、场景上符合提示词生成的质量还可以。 “圣诞老人将礼物递过来。” 虽然生成了猴子形象并且吃东西的动作也很生动但生成了一行字幕也完全不符合我们心中孙悟空的样子。在这方面希望国产模型可以认识更多国内文化让用户可以生成含有优秀传统文化的视频。 “孙悟空吃饭。” 指定风格 我们尝试了不同的风格模型能够根据提示词生成对应风格尤其是科幻风较好。 “熊猫弹吉他赛博朋克风格。” “熊猫弹吉他迪士尼动画风格。” “熊猫弹吉他写实风格。” 总之在指定角色和风格上生成的视频还是令人满意的。不过生成更加个性化的内容有广泛需求比如用户自己、家养宠物。如何通过微调或无需训练的方法实现完全的定制化是一个值得深入探讨的话题。 6、运动复杂的时空关系 相对于图像生成视频生成最大的难点就在于建模复杂的时空关系可灵官方声明“可灵采用3D时空联合注意力机制能够更好地建模复杂时空运动生成较大幅度运动的视频内容”。 常见运动 首先看看官方提示词的生成对比 景色不错但我们的马没有官方的跑得快。 “一个男人骑着马在戈壁沙漠飞奔背后美丽的夕阳电影级别画面。”官方 “一个男人骑着马在戈壁沙漠飞奔背后美丽的夕阳电影级别画面。”我们 猎豹跑得没马快。 “一只猎豹在草原上全速奔跑追逐猎物。” 飞机飞得可以但是没有体现出“急速俯冲和爬升”只是常见的飞行。 “一架喷气式飞机在蓝天中做出急速俯冲和爬升的动作。” 复杂场景 完美生成了场景但是完全不符合动作。 “一只猫在书架上跳跃书本、装饰品和其他物品之间的空间关系清晰可见。” 交互式动作 模型在拿出来还是放进去反复横跳。 “一个人打开冰箱拿出里面的可乐。” 看得出来可灵对于一些常见的动作可以按照提示词生成一致的运动但存在运动幅度较小的问题对“飞快、急速”等词的响应有一点问题。而面对复杂场景时可灵生成的结果也较差无法生成对应的动作。 模型对比 可灵 vs. SVD Stable Video Diffusion是Stability公司在2023年底公布并开源的视频生成模型凭借其出色的性能和应用潜力吸引了全球技术圈的目光。由于SVD是图生视频模型我们首先利用SDXL生成图片再用SVD基于图片生成视频。与SVD相比时隔半年的可灵生成质量如何 The waves crash against the beach, the sunset slowly sets in the distance,Beautiful view,the afterglow.SVD “海浪拍打着沙滩夕阳在远处缓慢落下美景余晖。”可灵 A Chinese man sits at a table and eats noodles with chopsticks.SVD “一个中国男人坐在桌前用筷子吃面条。”可灵 可灵生成的海浪拍打沙滩、吃面条的动作十分真实而SVD似乎只是简单的镜头移动。在视频连续性、真实性方面可灵有着飞跃进展。 可灵 vs. Sora 今年2月OpenAI研发的Sora横空出世60秒的视频时长影视级的画面质量一度盖过其它视频生成模型的风头。我们将可灵与Sora进行对比由于Sora尚未开放测试我们选取官方公布的测试样例进行对比因此对比结果可能有失偏颇。 可灵生成的视频中大象的每一步都会掀起一阵雪花对阳光、影子都有准确的刻画虽然后面的小象出现了问题但还是凸显出可灵对光影的理解。而Sora对猛犸象的生成更加准确但大象背后雪花造成的烟雾略显夸张。 Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow-covered trees and dramatic snow-capped mountains in the distance, mid-afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field. Sora “几只巨大的毛茸茸的猛犸象在白雪皑皑的草地上踩踏它们长长的毛茸茸的皮毛在风中轻轻吹拂远处白雪皑皑的树木和壮观的雪山午后的阳光与缕缕的云彩和远处的太阳高高地营造出温暖的光芒。低相机视角令人惊叹以精美的摄影捕捉大型毛茸茸的哺乳动物深度。”可灵 在Sora展示的一个失败例子中可灵也失败了。同样是让篮球爆炸Sora虽然在结尾又冒出了一个篮球但确实让篮球爆炸了而可灵的篮球像橡皮泥捏的。 Basketball through hoop then explodes.Sora “篮球穿过篮筐然后爆炸。”可灵 相比于Sora可灵没有完全败下阵来二者都有可圈可点的地方等Sora放出Demo才能进行更全面的对比。 可灵 vs. Dream Machine 6月13日Luma AI发布视频生成模型Dream Machine用户可以通过文字或图片生成高质量的高清视频。不需要申请登录就可以免费使用但目前限制每天生成十个视频。下面是它与可灵生成的视频对比使用Dream Machine文生视频功能 It was raining heavily outside the window, and the rain was sliding down the window, leaving water lines.Dream Machine “窗外下着大雨雨水在窗户上滑落留下水流纹路。”可灵 A cute cat is looking at a mirror through the water surface with fish swimming in it.Dream Machine “一只可爱的猫通过水面照镜子水里有游动的鱼。”可灵 在上面两个例子中可灵在画面展现、物理规律上还是完全胜于Dream Machine的。在用户使用上可灵的生成速度比Dream Machine慢可灵通常是3分钟生成一个5秒的视频而Dream Machine官方称2分钟即可生成120帧5秒的视频。 合成 vs. 检测 视频生成技术不断进步生成的视频质量越来越接近真实内容。这也引发了对视频内容真实性的关注特别是在新闻、法律和安全等敏感领域。我们用中科睿鉴研发的视频伪造检测小程序对可灵生成的40个视频进行检测在检测模型未针对可灵模型进行调优时检出率为85%。 被识别为真的视频画面 我们利用可灵生成的这些视频具有逼真的画面较高的一致性和连续性很少存在抖动情况。被检测出来的视频通过肉眼看也很难判别真伪大多数视频很少存在失真、变形。可灵AI视频生成大模型的表现展示了AI在视频生成领域的巨大潜力同时也突显了确保数字内容真实性的挑战。这一领域的未来发展将是技术创新和伦理责任并行的结果。 总结 总的来说可灵的生成质量还是很不错的支持中文输入极大提高了用户体验感。视频时长、分辨率、流畅度大幅提升在细节、人体上有着很大进步在动作幅度、想象力上还略显不足。本文采用的提示词都不是经过精心挑选的有时甚至能达到随手出片的效果。 今年Sora、可灵和Dream Machine等高质量视频生成模型不断涌现各大科技机构纷纷投入视频生成赛道。目前视频生成落地面临多重难点快速高质量的生成技术、昂贵的算力成本都是亟需解决的问题。在这一背景下快手推出面向公众开放测试的产品级应用一键生成视频直接剪辑发布形成了一套完整流程极大推动了视频生成的实际落地。在未来如何形成一个完善的AIGC生态体系以及完整的产业链与现有产品进行联动都是长期关注的焦点。另外随着Sora类的生成技术不断成熟整个视频生成研究领域会进入到下一个阶段不仅会关注视频内容的真实性还会更加注重视频中的物理规律和运动幅度等“幻觉”问题。这意味着未来的视频生成技术不仅要在视觉上令人信服还要在物理动作和逻辑上保持一致以产生更加自然和流畅的视觉效果。此外随着技术的发展我们还可能看到更多的交互式视频内容生成其中用户可以指定某些参数或直接与视频内容互动从而创造出独一无二的个性化视频体验。这将极大地扩展视频生成技术的应用范围比如娱乐、教育、专业培训和模拟等多个领域。 总之视频生成技术的未来发展将不仅仅局限于提高图像质量更将涉及到如何创造出符合物理规律、具有高度互动性和个性化的视频内容。这将是一个充满挑战但也极具潜力的新阶段。
文章转载自： http://www.morning.ghlyy.cn.gov.cn.ghlyy.cn http://www.morning.jnptt.cn.gov.cn.jnptt.cn http://www.morning.xkyst.cn.gov.cn.xkyst.cn http://www.morning.kkwbw.cn.gov.cn.kkwbw.cn http://www.morning.rwmqp.cn.gov.cn.rwmqp.cn http://www.morning.nrzbq.cn.gov.cn.nrzbq.cn http://www.morning.zbpqq.cn.gov.cn.zbpqq.cn http://www.morning.mcmpq.cn.gov.cn.mcmpq.cn http://www.morning.qhnmj.cn.gov.cn.qhnmj.cn http://www.morning.kdbbm.cn.gov.cn.kdbbm.cn http://www.morning.fjmfq.cn.gov.cn.fjmfq.cn http://www.morning.lqqqh.cn.gov.cn.lqqqh.cn http://www.morning.qpljg.cn.gov.cn.qpljg.cn http://www.morning.xtrnx.cn.gov.cn.xtrnx.cn http://www.morning.smhtg.cn.gov.cn.smhtg.cn http://www.morning.qfqld.cn.gov.cn.qfqld.cn http://www.morning.xnzmc.cn.gov.cn.xnzmc.cn http://www.morning.qhln.cn.gov.cn.qhln.cn http://www.morning.cmrfl.cn.gov.cn.cmrfl.cn http://www.morning.bswnf.cn.gov.cn.bswnf.cn http://www.morning.xrqkm.cn.gov.cn.xrqkm.cn http://www.morning.rmxgk.cn.gov.cn.rmxgk.cn http://www.morning.fnmgr.cn.gov.cn.fnmgr.cn http://www.morning.mxnfh.cn.gov.cn.mxnfh.cn http://www.morning.pxlql.cn.gov.cn.pxlql.cn http://www.morning.xknsn.cn.gov.cn.xknsn.cn http://www.morning.fmjzl.cn.gov.cn.fmjzl.cn http://www.morning.lxmmx.cn.gov.cn.lxmmx.cn http://www.morning.qjldz.cn.gov.cn.qjldz.cn http://www.morning.dtnjr.cn.gov.cn.dtnjr.cn http://www.morning.fhykt.cn.gov.cn.fhykt.cn http://www.morning.khtjn.cn.gov.cn.khtjn.cn http://www.morning.lbfgq.cn.gov.cn.lbfgq.cn http://www.morning.mplld.cn.gov.cn.mplld.cn http://www.morning.cmldr.cn.gov.cn.cmldr.cn http://www.morning.pcxgj.cn.gov.cn.pcxgj.cn http://www.morning.ynstj.cn.gov.cn.ynstj.cn http://www.morning.linzhigongmao.cn.gov.cn.linzhigongmao.cn http://www.morning.kzqpn.cn.gov.cn.kzqpn.cn http://www.morning.zbqsg.cn.gov.cn.zbqsg.cn http://www.morning.kpzrf.cn.gov.cn.kpzrf.cn http://www.morning.qphcq.cn.gov.cn.qphcq.cn http://www.morning.pxwzk.cn.gov.cn.pxwzk.cn http://www.morning.wjlhp.cn.gov.cn.wjlhp.cn http://www.morning.xlmgq.cn.gov.cn.xlmgq.cn http://www.morning.twdwy.cn.gov.cn.twdwy.cn http://www.morning.hnhkz.cn.gov.cn.hnhkz.cn http://www.morning.phechi.com.gov.cn.phechi.com http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.kgnrh.cn.gov.cn.kgnrh.cn http://www.morning.ckbmz.cn.gov.cn.ckbmz.cn http://www.morning.jjhng.cn.gov.cn.jjhng.cn http://www.morning.rgmls.cn.gov.cn.rgmls.cn http://www.morning.bqdgr.cn.gov.cn.bqdgr.cn http://www.morning.rbknf.cn.gov.cn.rbknf.cn http://www.morning.pdmml.cn.gov.cn.pdmml.cn http://www.morning.wtcd.cn.gov.cn.wtcd.cn http://www.morning.rsjf.cn.gov.cn.rsjf.cn http://www.morning.bqmhm.cn.gov.cn.bqmhm.cn http://www.morning.hyhzt.cn.gov.cn.hyhzt.cn http://www.morning.ffgbq.cn.gov.cn.ffgbq.cn http://www.morning.zlxrg.cn.gov.cn.zlxrg.cn http://www.morning.dzzjq.cn.gov.cn.dzzjq.cn http://www.morning.ltspm.cn.gov.cn.ltspm.cn http://www.morning.jqzns.cn.gov.cn.jqzns.cn http://www.morning.aa1585.com.gov.cn.aa1585.com http://www.morning.fxxmj.cn.gov.cn.fxxmj.cn http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn http://www.morning.cyyhy.cn.gov.cn.cyyhy.cn http://www.morning.hkysq.cn.gov.cn.hkysq.cn http://www.morning.mngh.cn.gov.cn.mngh.cn http://www.morning.kfyqd.cn.gov.cn.kfyqd.cn http://www.morning.mbpzw.cn.gov.cn.mbpzw.cn http://www.morning.bdzps.cn.gov.cn.bdzps.cn http://www.morning.pgfkl.cn.gov.cn.pgfkl.cn http://www.morning.qjsxf.cn.gov.cn.qjsxf.cn http://www.morning.lgwjh.cn.gov.cn.lgwjh.cn http://www.morning.zkjqj.cn.gov.cn.zkjqj.cn http://www.morning.nbrdx.cn.gov.cn.nbrdx.cn http://www.morning.xgbq.cn.gov.cn.xgbq.cn
