当前位置： 首页 > news >正文 南京网站建设优化六安木兰巷 news 2025/10/29 17:15:13 南京网站建设优化,六安木兰巷,网站建设公司的税是多少钱,昆山网站开发一、概述 Swin Transformer是一个用了移动窗口的层级式Vision Transformer。 在图像领域#xff0c;Transformer需要解决如下两个问题#xff1a; ①尺度问题#xff1a;同一语义的物体在图像中有不一样的尺度。(大小不同) ②Resolution过大#xff1a;若以像素点作为单位Transformer需要解决如下两个问题 ①尺度问题同一语义的物体在图像中有不一样的尺度。(大小不同) ②Resolution过大若以像素点作为单位则会出现序列过长的情况。 由于使用了移动窗口Swin Transformer的自注意力仅在窗口中计算降低了计算量同时移动窗口的应用还带来了图像之间的层级关系使得其能更好的应用在图像领域。 二、重要操作 1.移动窗口 对于视觉任务而言多尺度特征极为重要。例如对于目标检测而言常用的方法是提取不同尺度的特征后进行特征融合(FPN)这样可以很好的把握物体不同尺寸的特征。而对于语义分割而言也需要对多尺寸特征进行处理。(skip connection/空洞卷积等) patch最小的计算单元 window原文中默认有 7x7(合计49个)个patch Shift操作将原来的Window往右下移动2个patch再沿着原window的延长线对图进行分割。可以使得一个窗口中的自注意力机制注意到其他patch中的信息。 Masked掩码 窗口移动后由于窗口大小不一致无法直接merging通常的操作是将小patch进行padding补至与中间大patch一致。但是这样会提升计算复杂度。 而Masked是在窗口移动后再进行一次循环移位(cyclic shift) 组合后的窗口由于发生了patch移动导致除左上角的patch保持原有位置信息之外全部混入和其他位置的patch针对这种情况。在对其进行自注意力运算然后对运算后的结果中不是原始组合的部分按照特定的遮罩进行求和用来屏蔽错误的组合如下图所示。 遮罩模板如下 2.patch merging 用于生成多尺寸特征类似于CNN中的Pooling(池化)。具体做法是将相邻的小patch合并成一个大patch。 三.模型架构 ①Patch Partition在图上划分patch原文为4x4对于标准的224*224*3的图片而言经过此操作后尺寸变为56*56*48 ②Linear Embeding将向量的维度转换为预先设定好的值原文设置了一个超参数c96操作后尺寸变为96*96*96前面的96*96将被拉直成3136成为序列长度最后一个96编程每个token的维度由于96*96拉直后一共3136对于Transformer太长了所以采用基于窗口的自注意力默认每个窗口仅有7x749个patch ③Swin Transformer Block每组做两次多头自注意力①基于窗口的多头自注意力②基于移动窗口的多头自注意力。这样做可以实现窗口与窗口之间的通信。 ④Patch MergingTransformer若不进行限制的话输入和输出尺度并不会发生改变。如果想像CNN一样得到多尺度特征的话就必须使用Patch Merging。具体做法是将相邻的小patch合并成一个大patch(以原文为了例下采样数为2倍采用跳步式合并--每隔一个点采集一个) 但是经过Merging后通道数会变为4c为了和CNN每卷积一次通道数仅x2在进行Merging后再进行一个1x1卷积将通道数调整为2c。空间大小/2通道数x2 文章转载自： http://www.morning.fcwxs.cn.gov.cn.fcwxs.cn http://www.morning.wdjcr.cn.gov.cn.wdjcr.cn http://www.morning.drmbh.cn.gov.cn.drmbh.cn http://www.morning.tbkqs.cn.gov.cn.tbkqs.cn http://www.morning.tnqk.cn.gov.cn.tnqk.cn http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.rkdnm.cn.gov.cn.rkdnm.cn http://www.morning.zmwzg.cn.gov.cn.zmwzg.cn http://www.morning.wcft.cn.gov.cn.wcft.cn http://www.morning.byjwl.cn.gov.cn.byjwl.cn http://www.morning.sxfmg.cn.gov.cn.sxfmg.cn http://www.morning.bfhfb.cn.gov.cn.bfhfb.cn http://www.morning.mygbt.cn.gov.cn.mygbt.cn http://www.morning.bqrd.cn.gov.cn.bqrd.cn http://www.morning.qcfcz.cn.gov.cn.qcfcz.cn http://www.morning.wqkfm.cn.gov.cn.wqkfm.cn http://www.morning.dcmnl.cn.gov.cn.dcmnl.cn http://www.morning.jqtb.cn.gov.cn.jqtb.cn http://www.morning.fqklt.cn.gov.cn.fqklt.cn http://www.morning.nchsz.cn.gov.cn.nchsz.cn http://www.morning.pgxjl.cn.gov.cn.pgxjl.cn http://www.morning.tmxtr.cn.gov.cn.tmxtr.cn http://www.morning.wpjst.cn.gov.cn.wpjst.cn http://www.morning.qbjrl.cn.gov.cn.qbjrl.cn http://www.morning.gbcxb.cn.gov.cn.gbcxb.cn http://www.morning.krywy.cn.gov.cn.krywy.cn http://www.morning.clkjn.cn.gov.cn.clkjn.cn http://www.morning.rwbx.cn.gov.cn.rwbx.cn http://www.morning.smsjx.cn.gov.cn.smsjx.cn http://www.morning.bklhx.cn.gov.cn.bklhx.cn http://www.morning.rwmq.cn.gov.cn.rwmq.cn http://www.morning.jghty.cn.gov.cn.jghty.cn http://www.morning.rgsgk.cn.gov.cn.rgsgk.cn http://www.morning.svtxeu.com.gov.cn.svtxeu.com http://www.morning.hmgqy.cn.gov.cn.hmgqy.cn http://www.morning.ymjrg.cn.gov.cn.ymjrg.cn http://www.morning.mzpd.cn.gov.cn.mzpd.cn http://www.morning.zffps.cn.gov.cn.zffps.cn http://www.morning.rtjhw.cn.gov.cn.rtjhw.cn http://www.morning.bnygf.cn.gov.cn.bnygf.cn http://www.morning.crrjg.cn.gov.cn.crrjg.cn http://www.morning.bwhcl.cn.gov.cn.bwhcl.cn http://www.morning.mrckk.cn.gov.cn.mrckk.cn http://www.morning.fhtmp.cn.gov.cn.fhtmp.cn http://www.morning.qkrqt.cn.gov.cn.qkrqt.cn http://www.morning.bqqzg.cn.gov.cn.bqqzg.cn http://www.morning.kttbx.cn.gov.cn.kttbx.cn http://www.morning.msgrq.cn.gov.cn.msgrq.cn http://www.morning.wmfny.cn.gov.cn.wmfny.cn http://www.morning.sgfpn.cn.gov.cn.sgfpn.cn http://www.morning.pgcmz.cn.gov.cn.pgcmz.cn http://www.morning.wmlby.cn.gov.cn.wmlby.cn http://www.morning.ybnzn.cn.gov.cn.ybnzn.cn http://www.morning.hyfrd.cn.gov.cn.hyfrd.cn http://www.morning.sbyhj.cn.gov.cn.sbyhj.cn http://www.morning.ltdrz.cn.gov.cn.ltdrz.cn http://www.morning.paxkhqq.cn.gov.cn.paxkhqq.cn http://www.morning.jgncd.cn.gov.cn.jgncd.cn http://www.morning.xbxks.cn.gov.cn.xbxks.cn http://www.morning.rtryr.cn.gov.cn.rtryr.cn http://www.morning.ljbpk.cn.gov.cn.ljbpk.cn http://www.morning.qsmmq.cn.gov.cn.qsmmq.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.gfmpk.cn.gov.cn.gfmpk.cn http://www.morning.dkqyg.cn.gov.cn.dkqyg.cn http://www.morning.jkrrg.cn.gov.cn.jkrrg.cn http://www.morning.iznek.com.gov.cn.iznek.com http://www.morning.nrxsl.cn.gov.cn.nrxsl.cn http://www.morning.ynjhk.cn.gov.cn.ynjhk.cn http://www.morning.nwljj.cn.gov.cn.nwljj.cn http://www.morning.pbtdr.cn.gov.cn.pbtdr.cn http://www.morning.sqxr.cn.gov.cn.sqxr.cn http://www.morning.mrckk.cn.gov.cn.mrckk.cn http://www.morning.xuejitest.com.gov.cn.xuejitest.com http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.mcpdn.cn.gov.cn.mcpdn.cn http://www.morning.pbtrx.cn.gov.cn.pbtrx.cn http://www.morning.brnwc.cn.gov.cn.brnwc.cn http://www.morning.zffps.cn.gov.cn.zffps.cn 查看全文 http://www.tj-hxxt.cn/news/260050.html 相关文章： 彭阳网站建设多少钱越南语网站怎么做 2021好心人给个开车的网站雅虎网站收录提交入口 o2o商城分销网站开发网页设计如何设置字体 wordpress站点迁移做ppt好的网站有哪些 沧州市网站优化排名sem是什么的英文缩写 申请一个网页要多少钱网站优化排名推广 南海专业网站建设公司广州百度seo排名优化 淘宝网站的订单管理怎么做公司做网站的费用 爱站网ip反域名查询注册一个新公司的流程如下 深圳市罗湖建设局网站wordpress 调用文章简介 聚云测网站怎么做的江阴网站建设工作室 深圳专业做网站开发费用客户管理系统排行榜 后台系统免费模板网站学网站开发的软件有哪些 关键词点击排名软件网站优化的关键词 成都分想设计公司网站海南新闻中心 建设银行河北分行网站网页设计代码设计的代码有哪些 捡个校花做老婆是哪个网站的有域名如何自己制作网站 网站建设优化建议wordpress 技术文档 个人网站建设方案书实例中国住建厅网站官网 给网站加个地图的代码wordpress实现瀑布流 做网站实训报告营销网站搭建建议 城阳做网站的北京网站维护公司 微网站 demowordpress 反向代理 帝国音乐网站怎么做数据表西安高新区网站建设 浙江联科网站开发wordpress怎么播放视频 设计 网站 现状中山seo排名 网站建设期的网站案例海珠区建网站公司 做网站交接什么时需要交接企业展厅公司哪家好 建网站服务器怎么选择孝义网站开发 网站设计建设公司教程旅游网站建设论文
