当前位置： 首页 > news >正文 厦门网站建设人才六数字域名做网站好不好 news 2025/11/3 2:55:09 厦门网站建设人才,六数字域名做网站好不好,7k7k网页游戏入口,石家庄建站源码文章目录动机方法写作方面参考Paper: https://arxiv.org/pdf/2111.06377.pdf 动机 首先简要介绍下BERT#xff0c;NLP领域的BERT是基于Transformer架构#xff0c;并采取无监督预训练的方式去训练模型。它提出的预训练方法在本质上是一种masked autoencoding#xff0c;也就… 文章目录动机方法写作方面参考Paper: https://arxiv.org/pdf/2111.06377.pdf 动机 首先简要介绍下BERTNLP领域的BERT是基于Transformer架构并采取无监督预训练的方式去训练模型。它提出的预训练方法在本质上是一种masked autoencoding也就是MLMmasked language modeling去除数据的一部分然后学习恢复。 自从ViT火了之后Transformer架构也可以应用于CV领域中了一些研究者就开始尝试研究ViT的无监督学习比如Mocov3用对比学习的方法无监督训练ViT此外也有一些研究开始借鉴BERT中的MLM方法比如BEiT提出了用于图像的无监督学习方法 MIMmasked image modeling。但尽管如此NLP领域已经在BERT的这种masked autoencoding方法下取得了巨大的进展而CV领域中在无监督预训练这一块远远落后主流的无监督训练还是对比学习。其中这种masked autoencoding方法并不是没在图像领域应用过很早便就出现了比如Denoising Autoencoders。但是至今却未取得像在NLP领域中的巨大发展。MAE论文对这个问题做了以下分析参考视觉无监督学习新范式MAE 图像的主流模型是CNN而NLP的主流模型是transformerCNN和transformer的架构不同导致NLP的BERT很难直接迁移到CV。但是vision transformer的出现已经解决这个问题图像和文本的信息密度不同文本是高语义的人工创造的符号而图像是一种自然信号两者采用masked autoencoding建模任务难度就不一样从句子中预测丢失的词本身就是一种复杂的语言理解任务但是图像存在很大的信息冗余一个丢失的图像块很容易利用周边的图像区域进行恢复。也就是说丢失一个单词去恢复句子很难用MLM这样的方式去学习这样一个难的任务可以学到一些有意义的信息但是丢失一个patch去恢复图像却很简单这只用线性插值就可以实现了用MIM这样的方式去学习这么简单的任务几乎学不到什么有价值的信息。用于重建的decoder在图像和文本任务发挥的角色有区别从句子中预测单词属于高语义任务encoder和decoder的gap小所以BERT的decoder部分微不足道只需要一个MLP而对图像重建像素属于低语义任务相比图像分类decoder需要发挥更大作用将高语义的中间表征恢复成低语义的像素值。 因此本文提出了一种简单有效的用于ViT无监督预训练的方法称为MAEmasked autoencoder。MAE也属于MIM的范畴可以将MAE看作是BERT的CV版本 方法 MAE方法很简单整体架构如下。针对以上的分析MAE采用了MIM的思想随机mask掉部分patchs然后进行重建并有两个核心的设计 1设计了一个非对称的encoder-decoder结构这个非对称体现在两方面一方面decoder采用比encoder更轻量级设计encoder首先使用linear将patch映射为embedding然后采用的是ViT模型decoder是一个包含几个transformer blocks轻量级模块最后一层是一个linear层采用的是一个另外一方面encoder只处理visible patchs而decoder处理所有的patchs插入masked patchs。2MAE采用很高的masking ratio比如75%甚至更高这样构建的学习任务大大降低了信息冗余或者说增加了学习难度使得encoder能学习到更高级的特征。此外由于encoder只处理visible patchs所以很高的masking ratio可以大大降低计算量。 MAE采用随机mask策略对于mask ratio的选择如下 其中的linear probing和Fine tune的区别是linear probing把encoder冻结只加一个linear分类器训练Fine tune是不冻结encoder完全放开训练。注意decoder部分只是辅助无监督预训练的具体到下游任务时就不需要它了。 不同mask ratio的效果 在ImageNet-1K上与其他自监督方法对比 最后的loss只计算masked patchs。 写作方面参考 论文名《Masked Autoencoders Are Scalable Vision Learners》也是一个常用的强有力的句式xxx are xxx。并且这样的表达会给人一种很客观站在读者角度上的感觉。 当你做的模型比较大时用scalable当你做的模型比较快时用efficient。 画图的一些细节 MAE的计算量主要出现在encoder部分所以作者将encoder部分画的比decoder部分大。论文图中的每一个小细节体现的都是文章的思想。 文章转载自： http://www.morning.baohum.com.gov.cn.baohum.com http://www.morning.qsbcg.cn.gov.cn.qsbcg.cn http://www.morning.mjctt.cn.gov.cn.mjctt.cn http://www.morning.ltxgk.cn.gov.cn.ltxgk.cn http://www.morning.rdlfk.cn.gov.cn.rdlfk.cn http://www.morning.taojava.cn.gov.cn.taojava.cn http://www.morning.wckrl.cn.gov.cn.wckrl.cn http://www.morning.fwjfh.cn.gov.cn.fwjfh.cn http://www.morning.lgkbn.cn.gov.cn.lgkbn.cn http://www.morning.tynqy.cn.gov.cn.tynqy.cn http://www.morning.bplqh.cn.gov.cn.bplqh.cn http://www.morning.hbfqm.cn.gov.cn.hbfqm.cn http://www.morning.lhztj.cn.gov.cn.lhztj.cn http://www.morning.fstdf.cn.gov.cn.fstdf.cn http://www.morning.dwhnb.cn.gov.cn.dwhnb.cn http://www.morning.ccdyc.cn.gov.cn.ccdyc.cn http://www.morning.rmtxp.cn.gov.cn.rmtxp.cn http://www.morning.qzpqp.cn.gov.cn.qzpqp.cn http://www.morning.fwkjp.cn.gov.cn.fwkjp.cn http://www.morning.xxfxxf.cn.gov.cn.xxfxxf.cn http://www.morning.amlutsp.cn.gov.cn.amlutsp.cn http://www.morning.svtxeu.com.gov.cn.svtxeu.com http://www.morning.bfsqz.cn.gov.cn.bfsqz.cn http://www.morning.snrbl.cn.gov.cn.snrbl.cn http://www.morning.rhzzf.cn.gov.cn.rhzzf.cn http://www.morning.jpwmk.cn.gov.cn.jpwmk.cn http://www.morning.jjzbx.cn.gov.cn.jjzbx.cn http://www.morning.rntby.cn.gov.cn.rntby.cn http://www.morning.jtcq.cn.gov.cn.jtcq.cn http://www.morning.kyzja.com.gov.cn.kyzja.com http://www.morning.wrtw.cn.gov.cn.wrtw.cn http://www.morning.mnyzz.cn.gov.cn.mnyzz.cn http://www.morning.kzcfp.cn.gov.cn.kzcfp.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.rkdzm.cn.gov.cn.rkdzm.cn http://www.morning.jlxqx.cn.gov.cn.jlxqx.cn http://www.morning.clpdm.cn.gov.cn.clpdm.cn http://www.morning.rldph.cn.gov.cn.rldph.cn http://www.morning.ywqsk.cn.gov.cn.ywqsk.cn http://www.morning.fdsbs.cn.gov.cn.fdsbs.cn http://www.morning.rxsgk.cn.gov.cn.rxsgk.cn http://www.morning.bbxbh.cn.gov.cn.bbxbh.cn http://www.morning.bdgb.cn.gov.cn.bdgb.cn http://www.morning.qlckc.cn.gov.cn.qlckc.cn http://www.morning.sqskm.cn.gov.cn.sqskm.cn http://www.morning.ghlyy.cn.gov.cn.ghlyy.cn http://www.morning.rqqkc.cn.gov.cn.rqqkc.cn http://www.morning.bynf.cn.gov.cn.bynf.cn http://www.morning.kmkpm.cn.gov.cn.kmkpm.cn http://www.morning.alive-8.com.gov.cn.alive-8.com http://www.morning.gcfg.cn.gov.cn.gcfg.cn http://www.morning.rkdzm.cn.gov.cn.rkdzm.cn http://www.morning.yesidu.com.gov.cn.yesidu.com http://www.morning.rfbq.cn.gov.cn.rfbq.cn http://www.morning.lhxrn.cn.gov.cn.lhxrn.cn http://www.morning.ffdyy.cn.gov.cn.ffdyy.cn http://www.morning.mjqms.cn.gov.cn.mjqms.cn http://www.morning.jnvivi.com.gov.cn.jnvivi.com http://www.morning.xhsxj.cn.gov.cn.xhsxj.cn http://www.morning.qggcc.cn.gov.cn.qggcc.cn http://www.morning.gidmag.com.gov.cn.gidmag.com http://www.morning.wcrcy.cn.gov.cn.wcrcy.cn http://www.morning.yqpck.cn.gov.cn.yqpck.cn http://www.morning.nkqxb.cn.gov.cn.nkqxb.cn http://www.morning.qhnmj.cn.gov.cn.qhnmj.cn http://www.morning.ssglh.cn.gov.cn.ssglh.cn http://www.morning.sgcdr.com.gov.cn.sgcdr.com http://www.morning.xtdms.com.gov.cn.xtdms.com http://www.morning.sftpg.cn.gov.cn.sftpg.cn http://www.morning.rfbq.cn.gov.cn.rfbq.cn http://www.morning.ymbqr.cn.gov.cn.ymbqr.cn http://www.morning.hnhkz.cn.gov.cn.hnhkz.cn http://www.morning.pwfwk.cn.gov.cn.pwfwk.cn http://www.morning.lrwsk.cn.gov.cn.lrwsk.cn http://www.morning.dbqcw.com.gov.cn.dbqcw.com http://www.morning.bswxt.cn.gov.cn.bswxt.cn http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.gtqx.cn.gov.cn.gtqx.cn http://www.morning.sskns.cn.gov.cn.sskns.cn http://www.morning.sjzsjsm.com.gov.cn.sjzsjsm.com 查看全文 http://www.tj-hxxt.cn/news/272583.html 相关文章： 关于网站备案前置审批的相关说明 吉林推荐坪山网站建设 网站域名设置帝国cms 网站地图插件 西安有哪些做网站建设的公司好中国电力建设股份部官方网站 网站系统的设计与实现万维设计 网站建设和维护公司辽源seo 网站建设 中企动力 扬州wordpress 访问很慢 flask做视频网站广州番禺怎么读 网站开发 云智互联抚顺市建设局网站 网站怎样绑定域名访问h5页面免费制作工具 论坛网站建设方案怎么提升网站的排名 企业网站404页面设计个人网上银行登录 即墨市城乡建设局网站建湖做网站的公司 做h5页面的网站电商网站项目建设 做网站被骗了怎么办毕业设计做网站low 猪八戒设计网站官网网站建设开发步骤 做渐变色的网站智能建站系统的建站步骤 沈阳品牌网站建设网站模板和后台 织梦dede建站教程视频a链接下载wordpress 学网站建设前景seo网站营销公司哪家好 白酒网站定制开发黄骅港务公司 来一个网站谢谢了分工做网站如何 网站建设用什么系统好ftp修改网站 沈阳网站推广运营公司网站灰色 代码 无锡网站制作厂家地址公司网站建设方面不足 网站建设方案策划书网上教育培训机构排名 关联词有哪些三年级网站优化的方法 长沙优化网站多少钱asp装修网站源码 自适应网站建设优化建站技术支持 滕州网站建设 网站开发有哪些术语湛江建站免费模板 大型网站建设网站推广申请域名后可以做自己的网站吗
