当前位置：首页 > news >正文

赣州建站无锡有名的设计公司

news 2025/11/5 3:57:45

赣州建站,无锡有名的设计公司,天津做做网站,wordpress奇客影院#x1f380;个人主页#xff1a; https://zhangxiaoshu.blog.csdn.net #x1f4e2;欢迎大家#xff1a;关注#x1f50d;点赞#x1f44d;评论#x1f4dd;收藏⭐️#xff0c;如有错误敬请指正! #x1f495;未来很长#xff0c;值得我们全力奔赴更美好的生活个人主页 https://zhangxiaoshu.blog.csdn.net 欢迎大家关注点赞评论收藏⭐️如有错误敬请指正! 未来很长值得我们全力奔赴更美好的生活前言近年来计算机科学领域的生成式扩散模型迅猛发展成为人工智能领域的热门研究方向。这一类模型如GPT系列以其强大的语言理解和生成能力成功地应用于自然语言处理、文本生成、机器翻译等多个领域。扩散模型通常使用一个基于卷积的U-Net网络用于学习噪声并对噪声进行预测近一年来越来愈多的研究开始探索基于Transformer的噪声预测网络本文主要介绍了近年来的一些经典工作。文章目录前言1. U-Net和视觉Transformer2. DiT3. U-ViT4. GenViT5. DiffiT总结 1. U-Net和视觉Transformer 视觉Transformer和卷积U-Net网络是两种不同的神经网络架构通常用于计算机视觉任务包括图像生成、图像分类和分割等。以下是对它们的简要回顾和比较视觉Transformer 结构基于自注意力机制的Transformer架构广泛应用于自然语言处理最近也用于计算机视觉。自注意力通过自注意力机制实现全局感知能够捕捉输入序列或图像的长距离依赖关系。序列处理最初设计用于序列数据但通过图像划分成块或补充位置编码也能应用于图像数据。扩展性具有较强的扩展性可以处理不同尺寸的输入。卷积U-Net网络结构基于卷积神经网络CNN的U-Net结构专注于图像处理任务如图像分割。卷积操作使用卷积层进行局部感知通过卷积核在图像上滑动捕捉图像的局部特征。图像处理主要用于图像处理任务如图像分割其中U-Net的编码器和解码器结构有助于保留高分辨率信息。适用性在处理局部特征和图像之间的空间关系时表现良好。选择如果任务涉及到全局依赖性尤其是对长距离上下文关系的敏感视觉Transformer可能更适合。如果任务涉及到局部特征的捕捉如图像分割U-Net可能更适合特别是在计算资源有限的情况下。在深度学习领域扩散模型以其强大的表达能力和高质量的样本生成能力引起了广泛关注并在各个领域中催生了许多新的应用和用例。这些模型在样本生成任务中表现出色其核心机制涉及通过迭代去噪生成图像的去噪神经网络。在这一领域研究者们已经取得了显著的进展但对于去噪网络架构的深入研究尚未完全展开。目前大多数工作都倾向于依赖卷积残差U-Net等传统结构用于设计去噪神经网络缺乏对其内在机理和优化空间的全面理解。近期随着计算机视觉领域对深度学习方法的不断深入研究者们逐渐开始关注视觉Transformer在基于扩散的生成学习中的潜在优势。视觉Transformer是一种基于自注意力机制的创新架构最初在自然语言处理领域取得成功如今在图像生成任务中也呈现出良好的性能。为了进一步探索和提升生成模型的性能一些研究方向开始尝试结合视觉Transformer和U-Net的优势创造新的混合模型。这一趋势的目标是在图像生成和其他计算机视觉任务中取得更好的性能通过充分发挥两者的优势实现更有效的信息捕获和图像生成。这一前沿的研究领域不仅推动了对生成模型的不断创新还为深度学习在图像处理和计算机视觉中的应用开辟了新的可能性。通过融合不同的神经网络结构研究者们致力于提高生成模型的灵活性、适用性和性能为未来的计算机视觉应用奠定了更为坚实的基础。 2. DiT 论文Scalable Diffusion Models with TransformersICCV 2023 作者探索了一类基于Transformer架构的新型扩散模型。作者训练了基于图像的潜在扩散模型将通常使用的U-Net骨干替换为在潜在块上操作的Transformer。通过Gflops测量前向传播复杂性的角度分析了作者提出的Diffusion TransformersDiTs的可扩展性。作者发现具有更高Gflops的DiTs通过增加Transformer深度/宽度或增加输入令牌的数量一贯具有较低的FID。除了具有良好的可扩展性属性外最大的DiT-XL/2模型在类别条件的ImageNet 512x512和256x256基准测试中胜过了所有先前的扩散模型在后者上取得了2.27的最先进FID。扩散TransformerDiT架构图如上图所示。左图为训练条件潜在DiT模型。输入的潜在被分解成块并由多个DiT块处理。右图为文章的DiT块的详细信息。作者尝试了标准Transformer块的变体通过自适应层规范、交叉注意力和额外的输入令牌来引入条件。自适应层规范效果最佳。 3. U-ViT 论文All are WorthWords: A ViT Backbone for Diffusion Models清华大学 CVPR 2023 代码https://github.com/baofff/U-ViT 视觉TransformerViT在各种视觉任务中显示出潜力而基于卷积神经网络CNN的U-Net仍然在扩散模型中占主导地位。作者设计了一种简单而通用的基于ViT的架构称为U-ViT用于图像生成与扩散模型。U-ViT的特点是将所有输入包括时间、条件和噪声图像块都视为令牌并在浅层和深层之间使用长跳跃连接。作者在无条件和类条件图像生成以及文本到图像生成任务中评估了U-ViT在这些任务中U-ViT与相似规模的基于CNN的U-Net相比性能相当或更好。特别是在ImageNet 256x256上具有U-ViT的潜在扩散模型在类别条件的图像生成中取得了创纪录的FID分数为2.29在MS-COCO上进行文本到图像生成时为5.48而且这是在生成模型训练期间没有使用大规模外部数据集的情况下实现的。文章的结果表明对于基于扩散的图像建模长跳跃连接是关键的而基于CNN的U-Net中的下采样和上采样操作并不总是必要的。并且作者提到他们相信U-ViT可以为未来在扩散模型的骨干上进行研究并在大规模跨模态数据集上受益的生成建模提供见解。如上图所示为U-ViT用于扩散模型的架构其特点是将所有输入包括时间、条件和噪声图像块都视为令牌并在浅层和深层之间使用(#Blocks-1)/2个长跳跃连接。 4. GenViT 论文Your ViT is Secretly a Hybrid Discriminative-Generative Diffusion Model 代码https://github.com/sndnyang/Diffusion_ViT 扩散去噪概率模型DDPM和视觉TransformerViT分别在生成任务和判别任务中取得了显著的进展迄今为止这些模型主要在各自的领域中得到了发展。在本文中作者通过将ViT架构整合到DDPM中建立了DDPM和ViT之间的直接联系并引入了一个名为生成ViTGenViT的新生成模型。ViT的建模灵活性使我们能够进一步扩展GenViT以进行混合判别生成建模并引入混合ViTHybViT。是首批探索单一ViT同时用于图像生成和分类的研究之一。作者进行了一系列实验分析了提出模型的性能并展示了它们在生成和判别任务中优于先前的最先进技术。上图为GenViT和HybViT的骨干架构。对于生成建模带有时间嵌入t的 x t x_t xt被输入模型。对于HybViT中的分类任务从CLS类别标志和输入 x 0 x_0 x0计算 l o g i t s logits logits。 5. DiffiT 论文DiffiT: Diffusion Vision Transformers for Image GenerationNVIDIA 代码https://github.com/NVlabs/DiffiT 扩散模型以其强大的表达能力和高质量的样本生成能力在各个领域中启用了许多新的应用和用例。对于样本生成这些模型依赖于通过迭代去噪生成图像的去噪神经网络。然而去噪网络架构的作用尚未得到很好的研究大多数工作都依赖于卷积残差U-Net。在本文中作者研究了视觉Transformer在基于扩散的生成学习中的有效性。具体而言作者提出了一个新模型称为Diffusion Vision TransformersDiffiT它由一个具有U形编码器和解码器的混合分层架构组成。引入了一种新颖的时间相关的自注意模块使得注意力层能够以高效的方式在去噪过程的不同阶段自适应其行为。此外还引入了潜在DiffiT它包括具有提出的自注意层的Transformer模型用于高分辨率图像生成。结果表明DiffiT在生成高保真度图像方面非常有效并在各种类别条件和无条件合成任务中取得了最先进的性能。在潜在空间中DiffiT在ImageNet-256数据集上实现了1.73的新的最先进FID分数。上图为DiffiT模型的总体架构图。Downsample和Upsample分别表示卷积下采样和上采样层。总结欢迎补充同时文中有不对的地方欢迎指正。
文章转载自：
http://www.morning.nykzl.cn.gov.cn.nykzl.cn
http://www.morning.rdtq.cn.gov.cn.rdtq.cn
http://www.morning.jyzxt.cn.gov.cn.jyzxt.cn
http://www.morning.ruifund.com.gov.cn.ruifund.com
http://www.morning.gjqgz.cn.gov.cn.gjqgz.cn
http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn
http://www.morning.ymjrg.cn.gov.cn.ymjrg.cn
http://www.morning.nlrp.cn.gov.cn.nlrp.cn
http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn
http://www.morning.qshxh.cn.gov.cn.qshxh.cn
http://www.morning.jfxdy.cn.gov.cn.jfxdy.cn
http://www.morning.pkdng.cn.gov.cn.pkdng.cn
http://www.morning.sryyt.cn.gov.cn.sryyt.cn
http://www.morning.xnnxp.cn.gov.cn.xnnxp.cn
http://www.morning.rpstb.cn.gov.cn.rpstb.cn
http://www.morning.fbmrz.cn.gov.cn.fbmrz.cn
http://www.morning.lxhgj.cn.gov.cn.lxhgj.cn
http://www.morning.sskhm.cn.gov.cn.sskhm.cn
http://www.morning.dglszn.com.gov.cn.dglszn.com
http://www.morning.prgdy.cn.gov.cn.prgdy.cn
http://www.morning.qynpw.cn.gov.cn.qynpw.cn
http://www.morning.zrgdd.cn.gov.cn.zrgdd.cn
http://www.morning.npqps.cn.gov.cn.npqps.cn
http://www.morning.pmlgr.cn.gov.cn.pmlgr.cn
http://www.morning.hffjj.cn.gov.cn.hffjj.cn
http://www.morning.qmtzq.cn.gov.cn.qmtzq.cn
http://www.morning.bwznl.cn.gov.cn.bwznl.cn
http://www.morning.rbylq.cn.gov.cn.rbylq.cn
http://www.morning.lthgy.cn.gov.cn.lthgy.cn
http://www.morning.zcnwg.cn.gov.cn.zcnwg.cn
http://www.morning.yqjjn.cn.gov.cn.yqjjn.cn
http://www.morning.mxtjl.cn.gov.cn.mxtjl.cn
http://www.morning.ywqw.cn.gov.cn.ywqw.cn
http://www.morning.xiaobaixinyong.cn.gov.cn.xiaobaixinyong.cn
http://www.morning.zpjhh.cn.gov.cn.zpjhh.cn
http://www.morning.lcjw.cn.gov.cn.lcjw.cn
http://www.morning.gwqcr.cn.gov.cn.gwqcr.cn
http://www.morning.jcyyh.cn.gov.cn.jcyyh.cn
http://www.morning.gqbks.cn.gov.cn.gqbks.cn
http://www.morning.gfhng.cn.gov.cn.gfhng.cn
http://www.morning.pwppk.cn.gov.cn.pwppk.cn
http://www.morning.rshs.cn.gov.cn.rshs.cn
http://www.morning.jhwwr.cn.gov.cn.jhwwr.cn
http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn
http://www.morning.cmzcp.cn.gov.cn.cmzcp.cn
http://www.morning.gydsg.cn.gov.cn.gydsg.cn
http://www.morning.wjyyg.cn.gov.cn.wjyyg.cn
http://www.morning.wlddq.cn.gov.cn.wlddq.cn
http://www.morning.mhnr.cn.gov.cn.mhnr.cn
http://www.morning.wkgyz.cn.gov.cn.wkgyz.cn
http://www.morning.qcygd.cn.gov.cn.qcygd.cn
http://www.morning.bpmnx.cn.gov.cn.bpmnx.cn
http://www.morning.saletj.com.gov.cn.saletj.com
http://www.morning.svtxeu.com.gov.cn.svtxeu.com
http://www.morning.fhrgk.cn.gov.cn.fhrgk.cn
http://www.morning.sqqkr.cn.gov.cn.sqqkr.cn
http://www.morning.nrgdc.cn.gov.cn.nrgdc.cn
http://www.morning.yptwn.cn.gov.cn.yptwn.cn
http://www.morning.nydgg.cn.gov.cn.nydgg.cn
http://www.morning.rbkl.cn.gov.cn.rbkl.cn
http://www.morning.kxqfz.cn.gov.cn.kxqfz.cn
http://www.morning.zmzdx.cn.gov.cn.zmzdx.cn
http://www.morning.qgbfx.cn.gov.cn.qgbfx.cn
http://www.morning.qcrhb.cn.gov.cn.qcrhb.cn
http://www.morning.gwmjy.cn.gov.cn.gwmjy.cn
http://www.morning.kbqws.cn.gov.cn.kbqws.cn
http://www.morning.whothehellami.com.gov.cn.whothehellami.com
http://www.morning.bsqth.cn.gov.cn.bsqth.cn
http://www.morning.rtbhz.cn.gov.cn.rtbhz.cn
http://www.morning.mspkz.cn.gov.cn.mspkz.cn
http://www.morning.rnytd.cn.gov.cn.rnytd.cn
http://www.morning.fmswb.cn.gov.cn.fmswb.cn
http://www.morning.kfysh.com.gov.cn.kfysh.com
http://www.morning.jspnx.cn.gov.cn.jspnx.cn
http://www.morning.hqykb.cn.gov.cn.hqykb.cn
http://www.morning.fgxr.cn.gov.cn.fgxr.cn
http://www.morning.hxlpm.cn.gov.cn.hxlpm.cn
http://www.morning.ggnjq.cn.gov.cn.ggnjq.cn
http://www.morning.phgz.cn.gov.cn.phgz.cn
http://www.morning.lhrxq.cn.gov.cn.lhrxq.cn

查看全文

http://www.tj-hxxt.cn/news/278399.html