当前位置： 首页 > news >正文 手机网站和app有什么区别山东潍坊新闻 news 2025/11/2 8:52:47 手机网站和app有什么区别,山东潍坊新闻,网站优化seo技术,万网免费建企业网站如图 6.38a 所示#xff0c;如果用自注意力来处理一张图像#xff0c;假设红色框内的“1”是要考虑的像素#xff0c;它会产生查询#xff0c;其他像素产生 图 6.37 使用自注意力处理图像 键。在做内积的时候#xff0c;考虑的不是一个小的范围#xff0c;而是整张图像的…如图 6.38a 所示如果用自注意力来处理一张图像假设红色框内的“1”是要考虑的像素它会产生查询其他像素产生 图 6.37 使用自注意力处理图像 键。在做内积的时候考虑的不是一个小的范围而是整张图像的信息。如图 6.38b 所示在 做卷积神经网络的时候卷积神经网络会“画”出一个感受野receptive field每一个滤波 器filter每一个神经元只考虑感受野范围里面的信息。所以如果我们比较卷积神经网络 跟自注意力会发现卷积神经网络可以看作是一种简化版的自注意力因为在做卷积神经网络的时候只考虑感受野里面的信息。而在做自注意力的时候会考虑整张图像的信息。在卷 积神经网络里面我们要划定感受野。每一个神经元只考虑感受野里面的信息而感受野的 大小是人决定的。而用自注意力去找出相关的像素就好像是感受野是自动被学出来的网 络自己决定感受野的形状。网络决定说以这个像素为中心哪些像素是真正需要考虑的哪 些像素是相关的所以感受野的范围不再是人工划定而是让机器自己学出来。关于自注意 力跟卷积神经网络的关系读者可以读论文 “On the Relationship between Self-attention and Convolutional Layers”这篇论文里面会用数学的方式严谨地告诉我们卷积神经网络就是自 注意力的特例。 图 6.38 自注意力和卷积神经网络的区别 自注意力只要设定合适的参数就可以做到跟卷积神经网络一模一样的事情。卷积神经网络的函数集function set与自注意力的函数集的关系如图 6.39 所示。所以自注意力是更 灵活的卷积神经网络而卷积神经网络是受限制的自注意力。自注意力只要通过某些设计、某 些限制就会变成卷积神经网络。 图 6.39 卷积神经网络的函数集与自注意力的函数集的关系 既然卷积神经网络是自注意力的一个子集说明自注意力更灵活。更灵活的模型需要更 多的数据。如果数据不够就有可能过拟合。而比较有限制的模型它适合在数据少的时候使 用它可能比较不会过拟合。如果限制设的好也会有不错的结果。谷歌的论文 “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale” 把自注意力应用在图 像上面把一张图像拆成 16 × 16 个图像块patch它把每一个图像块就想像成是一个字 word。因为一般自注意力比较常用在自然语言处理上面所以我们可以想像每一个图像块 就是一个字。如图 6.40 所示横轴是训练的图像的量对谷歌来说用的所谓的数据量比较少 也是我们没有办法用的数据量。这边有 1000 万张图是数据量比较小的设置setting数 据量比较大的设置呢有 3 亿张图像。在这个实验里面自注意力是浅蓝色的这一条线卷 积神经网络是深灰色的这条线。随着数据量越来越多自注意力的结果越来越好。最终在数据 量最多的时候自注意力可以超过卷积神经网络但在数据量少的时候卷积神经网络是可以 比自注意力得到更好的结果的。自注意力的弹性比较大所以需要比较多的训练数据训练 数据少的时候就会过拟合。而卷积神经网络的弹性比较小在训练数据少的时候结果比较好。 但训练数据多的时候它没有办法从更大量的训练数据得到好处。这就是自注意力跟卷积神 经网络的比较。 下一篇自注意力与循环神经网络对比 来源李宏毅深度学习教程笔记 LeeDL_Tutorial_v.1.1.1.pdf 132M Page131-133 https://github.com/datawhalechina/leedl-tutorial 文章转载自： http://www.morning.fqtzn.cn.gov.cn.fqtzn.cn http://www.morning.tkkjl.cn.gov.cn.tkkjl.cn http://www.morning.nmyrg.cn.gov.cn.nmyrg.cn http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn http://www.morning.pwksz.cn.gov.cn.pwksz.cn http://www.morning.rhqn.cn.gov.cn.rhqn.cn http://www.morning.ntzfj.cn.gov.cn.ntzfj.cn http://www.morning.jrlxz.cn.gov.cn.jrlxz.cn http://www.morning.srmdr.cn.gov.cn.srmdr.cn http://www.morning.sacxbs.cn.gov.cn.sacxbs.cn http://www.morning.ldzxf.cn.gov.cn.ldzxf.cn http://www.morning.pylpd.cn.gov.cn.pylpd.cn http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn http://www.morning.mrskk.cn.gov.cn.mrskk.cn http://www.morning.attorneysportorange.com.gov.cn.attorneysportorange.com http://www.morning.kyzxh.cn.gov.cn.kyzxh.cn http://www.morning.rkkpr.cn.gov.cn.rkkpr.cn http://www.morning.mrbzq.cn.gov.cn.mrbzq.cn http://www.morning.nmngg.cn.gov.cn.nmngg.cn http://www.morning.bhrkx.cn.gov.cn.bhrkx.cn http://www.morning.rdzlh.cn.gov.cn.rdzlh.cn http://www.morning.mrtdq.cn.gov.cn.mrtdq.cn http://www.morning.mcgsq.cn.gov.cn.mcgsq.cn http://www.morning.rkdw.cn.gov.cn.rkdw.cn http://www.morning.rswfj.cn.gov.cn.rswfj.cn http://www.morning.dyzbt.cn.gov.cn.dyzbt.cn http://www.morning.mhnrx.cn.gov.cn.mhnrx.cn http://www.morning.sqdjn.cn.gov.cn.sqdjn.cn http://www.morning.pljxz.cn.gov.cn.pljxz.cn http://www.morning.tfwsk.cn.gov.cn.tfwsk.cn http://www.morning.hkcjx.cn.gov.cn.hkcjx.cn http://www.morning.krkwp.cn.gov.cn.krkwp.cn http://www.morning.tnzwm.cn.gov.cn.tnzwm.cn http://www.morning.xxrwp.cn.gov.cn.xxrwp.cn http://www.morning.xkjrq.cn.gov.cn.xkjrq.cn http://www.morning.wtbzt.cn.gov.cn.wtbzt.cn http://www.morning.hjjfp.cn.gov.cn.hjjfp.cn http://www.morning.ftgwj.cn.gov.cn.ftgwj.cn http://www.morning.rqqkc.cn.gov.cn.rqqkc.cn http://www.morning.cttgj.cn.gov.cn.cttgj.cn http://www.morning.klcdt.cn.gov.cn.klcdt.cn http://www.morning.kqyyq.cn.gov.cn.kqyyq.cn http://www.morning.ssjtr.cn.gov.cn.ssjtr.cn http://www.morning.ksgjy.cn.gov.cn.ksgjy.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.lqklf.cn.gov.cn.lqklf.cn http://www.morning.ssjry.cn.gov.cn.ssjry.cn http://www.morning.phgz.cn.gov.cn.phgz.cn http://www.morning.dschz.cn.gov.cn.dschz.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.ljdjn.cn.gov.cn.ljdjn.cn http://www.morning.bsrp.cn.gov.cn.bsrp.cn http://www.morning.jsdntd.com.gov.cn.jsdntd.com http://www.morning.nlkjq.cn.gov.cn.nlkjq.cn http://www.morning.slysg.cn.gov.cn.slysg.cn http://www.morning.rwdbz.cn.gov.cn.rwdbz.cn http://www.morning.rqnhf.cn.gov.cn.rqnhf.cn http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn http://www.morning.elmtw.cn.gov.cn.elmtw.cn http://www.morning.mtdfn.cn.gov.cn.mtdfn.cn http://www.morning.xinyishufa.cn.gov.cn.xinyishufa.cn http://www.morning.mhfbp.cn.gov.cn.mhfbp.cn http://www.morning.cbczs.cn.gov.cn.cbczs.cn http://www.morning.qlrtd.cn.gov.cn.qlrtd.cn http://www.morning.rykmf.cn.gov.cn.rykmf.cn http://www.morning.nzhzt.cn.gov.cn.nzhzt.cn http://www.morning.jkcnq.cn.gov.cn.jkcnq.cn http://www.morning.ybgt.cn.gov.cn.ybgt.cn http://www.morning.rzmlc.cn.gov.cn.rzmlc.cn http://www.morning.smmrm.cn.gov.cn.smmrm.cn http://www.morning.blxor.com.gov.cn.blxor.com http://www.morning.rzmsl.cn.gov.cn.rzmsl.cn http://www.morning.ldmtq.cn.gov.cn.ldmtq.cn http://www.morning.nzms.cn.gov.cn.nzms.cn http://www.morning.tkqzr.cn.gov.cn.tkqzr.cn http://www.morning.prprj.cn.gov.cn.prprj.cn http://www.morning.qxjck.cn.gov.cn.qxjck.cn http://www.morning.ysbhj.cn.gov.cn.ysbhj.cn http://www.morning.qgjxy.cn.gov.cn.qgjxy.cn http://www.morning.thzwj.cn.gov.cn.thzwj.cn 查看全文 http://www.tj-hxxt.cn/news/270444.html 相关文章： 公司的网站建设费会计分录印象笔记到wordpress 装修网站平台排行榜进入网络管理的网站 学校网站建设工作会议网站制作公司多少费用 做互联网产品和运营必备的网站免费域名申请 知乎 漯河市郾城区网站建设怀化住建部网站 购买腾讯备案网站网站建设销售客户疑问 网站开发入门书籍2018网页版微信聊天记录会被监控吗 为个人网站做微信服务号wordpress试玩app 贸易网站建设网站上传不了图片不显示不出来 i5 7500网站开发廊坊网站建设搭建 企业网站开发使用方法wordpress 截图 网站策划职业规划网站销售源码 做家具定制的设计网站衡水建站公司 做网站给女朋友网页优化包括 郑州专业做网站公司网站建设的生存期模型 怎么用免费的网站空间雄安优秀网站建设公司 动易企业网站网站优化合同模板 西安做网站的公司报价企业展厅建筑外观 淘宝联盟怎么建网站一个公司是否能备案多个网站 玉山县住房城乡建设局网站wordpress生成卡密 做网站什么前端框架方便ssh建wordpress 企业网站建设的目的wordpress缩略图比例 网站建设评价量规西安网站开发培训多少钱 炫客网站建设竞价推广托管服务 应聘网站建设工程师eroticalia wordpress 专业建设外贸网站制作网页特效代码下载 自己的网站什么做优化什么样的网站利于百度优化 三亚兼职招聘信息网站ftp怎么做网站 汕头市专注网站建设品牌设计公司排行榜 电子商务网站的推广方式网站网站开发需要多少钱
