百度网站抓取时间查询,网站 建设阶段,唐山广告设计制作公司,如何做网络营销推广工作摘要
上下文建模或多级特征融合方法已被证明可以有效提高语义分割性能。 然而#xff0c;它们并不是专门处理像素上下文不匹配和空间特征不对齐的问题#xff0c;并且高计算复杂度阻碍了它们在实时场景中的广泛应用。
在这项工作中#xff0c;我们提出了一种轻量级的上下文…摘要
上下文建模或多级特征融合方法已被证明可以有效提高语义分割性能。 然而它们并不是专门处理像素上下文不匹配和空间特征不对齐的问题并且高计算复杂度阻碍了它们在实时场景中的广泛应用。
在这项工作中我们提出了一种轻量级的上下文和空间特征校准网络CSFCN以通过基于池化和基于采样的注意力机制来解决上述问题。
CSFCN包含两个核心模块上下文特征校准CFC模块和空间特征校准SFC模块。
CFC采用级联金字塔池化模块来有效捕获嵌套上下文然后根据像素上下文相似度聚合每个像素的私有上下文以实现上下文特征校准。
SFC将特征沿通道维度分割为多组子特征并通过可学习的采样传播其中的子特征以实现空间特征校准。
对 Cityscapes 和 CamVid 数据集的大量实验表明我们的方法在速度和准确性之间实现了最先进的权衡。
介绍
我们观察到上下文不匹配主要来自于上下文建模中的不加区别的处理。 具体来说用于聚合上下文的常用方法[4]、[5]、[6]为每个像素引入了非自适应上下文忽略了它们在上下文需求方面的固有差异。 如图 2(a) 所示对于像素 A 和 B先前的方法在预定义区域内为它们建模与空间相关的上下文。 然而激活的上下文区域可能太大或太小这些不匹配的上下文将带来意想不到的不相关信息或无法提供足够的语义线索。 另一方面特征错位主要是由重复下采样引起的这会导致输出例如特征或预测和输入图像之间的空间错位。 这个问题在无参数上采样中会加剧并引入更多的预测误差特别是在边界处如图2b所示。 考虑到空间注意力尤其是自注意力[16][17]可以捕获每个像素的有益特征并抑制不相关的信息而其昂贵的计算开销是实时方法无法承受的。 为了解决上述问题我们提出了一种轻量级的上下文和空间特征校准网络CSFCN它具有两种简化的空间注意方式来匹配像素和上下文并将特征与输入对齐。 如图1所示我们的CSFCN在满足实时性要求的同时比其他方法实现了更高的精度。 具体来说为了缓解上下文不匹配问题我们提出了上下文特征校准CFC模块。 与以前以固定方式聚合每个像素的上下文的方法不同CFC 对每个像素的不同上下文进行建模即上下文特征是输入的函数并且也因像素而异。
在这里我们首先设计了一个级联金字塔池化模块通过重用池化结果来有效捕获多尺度上下文。 然后与 selfattention [16]、[18] 类似但我们不是计算像素到像素的相似度而是计算像素到上下文的相似度来聚合每个像素的语义相关上下文从而实现上下文特征校准。 然而由于池化上下文很容易偏向于具有大模式的特征因此将它们均匀分布到每个位置将压倒小模式的表示并导致过度平滑的结果。 因此我们进一步提出了上下文重新校准块CRB通过锐化大对象并保留空间细节来有条件地学习局部上下文如图2a所示。
此外我们引入了空间特征校准SFC模块来解决特征错位问题。 源于自注意力 [16]、[18]但 SFC 不是聚合来自所有位置的信息而是仅从学习的采样位置收集信息这取决于输入。 直观上我们只需采样对当前位置预测最有利的特征并将其放置在当前位置这在实现特征校准的同时大大减轻了计算负担。 此外我们观察到特征图雕刻了各种语义信息例如物体或东西如图2b所示并且对于不同的特征图通常没有单一的最佳校准方法。 换句话说统一校准所有特征图会削弱整体特征的区分度。 因此为了更精细的特征校准我们首先将通道维度分为多个子特征然后分别进行校准这进一步提高了性能。
创新点
1我们引入了两种简化的自注意力模型 在实现实时分割的同时解决上下文不匹配和特征错位问题的方法。
2)我们设计了一个基于池化的上下文特征校准模块该模块通过将像素与基于池化的上下文进行匹配来定制每个像素的上下文。
我们设计了一个基于采样的空间特征校准模块它对每个位置最具代表性和信息量的特征进行采样
相关工作
A. Generic Semantic Segmentation
1) Context Modeling: 2) Feature Fusion: 3) Efficient Transformer:
B. Real-Time Semantic Segmentation
感兴趣可看
方法框架
A. Network Architecture
所提出的CSFCN的整体架构如图3所示它采用非对称编码器-解码器架构。 具体来说CSFCN 采用轻量级骨干网络来提取多级特征。 之后我们设计了上下文特征校准模块来为每个像素构建私有上下文以增强其辨别力。 此外我们使用空间特征校准模块进行空间特征校准以产生具有精确边界的强语义特征。 不失一般性我们采用 ImageNet [38] 中预训练的 ResNet-18 [37] 作为主干网络其他 CNN 也可以用作我们方法中的主干网络。 B. Context Feature Calibration Module
上下文信息可以提供丰富的场景类别先验以纠正意外的错误分类。 然而以前的方法[4]、[5]、[6]聚合了预定义区域内的上下文并忽略了并非所有上下文对给定像素的分类贡献相同这不可避免地导致上下文不匹配的问题。
此外捕获的上下文严重偏向于大对象因为它们包含更多像素并导致小对象的过度平滑结果。 基于上述见解我们提出了一个上下文特征校准模块(CFC)来定制和细化每个像素的语义上下文。
通常大型物体或物体在图像中占主导地位全局上下文通常与它们相似但与空间细节不同。 受这种直觉的启发我们将上下文与每个像素进行匹配以捕获对其分类最具指导意义的上下文。 也就是说我们聚合来自语义更接近的区域而不是空间更接近的区域的上下文。
具体来说给定特征 X ∈ RC×H×W我们首先处理 X 以捕获高度抽象的多尺度上下文 Z ∈ RC×M。 然后我们计算像素上下文相似度 ɵ∈ RN×M又名空间注意力图其中 N H × W 和 M 分别表示像素和上下文的总数。 我们采用 ɵ 作为指导来聚合每个 像素 的上下文以实现上下文特征校准。 最后我们进一步调整每个语义上下文的响应值以生成细粒度的上下文从而实现上下文重新校准。 从数学上讲我们的 CFC 可以定义为 其中 xi , yi , αi , z j ∈ RC×1 分别表示输入、输出、重新校准因子和上下文。 i的范围为[1,···,H×W]f(·)表示计算特征之间亲和度的成对函数。 模块详细信息
我们在图4中说明了我们的CFC模块。为了追求效率我们设计了级联金字塔池化CPP块来重用前几层的池化结果从而减少不必要的冗余计算。 如图 4 所示给定特征 X ∈ RC×H×W我们首先采用 1 × 1 卷积层生成降维特征 Q ∈ RC′×H×W其中 C′ 远小于 C
默认情况下C′ 32C 256。 然后我们使用 CPP 块来收获多尺度上下文 Z ∈ RC×M。
特别地当池化层的输出高度n ∈ [1, 2, 3]一般情况下输出宽度等于高度时。默认情况下 我们设置 n [1, 2, 3, 6]。 由于池化层在同质空间网格例如3×3上进行池化因此当输入的纵横比不为1时这可能会导致池化特征的信息冗余。为此我们保持纵横比为 池化输出大小等于输入。 例如在方形裁剪上训练时我们的最小输出大小为 1 × 1而对于 1024 × 2048 输入其大小将为 1 × 2。 最后我们将 Z 输入两个卷积层使用 BN 和 ReLU以产生两种形式的上下文表示即 K ∈ RC′×M 和 V ∈ RC×M。
然后我们将 Q 重塑并转置为 RN×C′并在 Q 和 K 之间进行矩阵乘法并添加一个 softmax 层以产生像素上下文相似性 ɵ∈ RN×M 其中 ɵi, j 表示第 i 个像素 Qi 和第 j 个上下文 Kj 之间的亲和度。
最后我们在 V 和 ɵT 之间执行矩阵乘法以获得校准的语义上下文 E ∈ RC×N 并将 E 重塑为 RC×H×W。 获得校准上下文E后我们将其发送到上下文重新校准块CRB以生成精炼上下文E。 CRB采用类残差设计[37]可以表示为 其中 α ∈ RC×H×W 表示重新校准因子W1 ∈ R C 4 ×C×1×1 和 W2 ∈ RC×C 4 ×3×3 表示卷积层。贴一下原文 () 在这里我们选择 tanh 函数来删除冗余信息并突出显示上下文中的有益信息例如边界和小对象。 最后我们对 X 和 E′ 进行逐元素求和以生成最终的。这里我们采用求和而不是串联操作来减少计算成本。 C. Spatial Feature Calibration Module 为了弥补逐步下采样造成的空间细节损失之前的方法 采用跨级特征融合来增强具有低级细节的高级语义特征。 给定低分辨率特征 Fℓ ∈ RCℓ×Hℓ×Wℓ 和高分辨率特征 Fℏ ∈ RCℏ×Hℏ×Wℏ 他们首先通过标准双线性插值对 Fℓ 进行上采样然后将 Fℏ 和上采样的 Fℓ 添加或连接以获得输出。 然而由于空间错位和巨大的表示差距直接融合它们仍然无法达到令人满意的性能。 此外由于特征图编码各种语义信息[39]沿通道维度[17]、[22]执行统一特征对齐也会损害性能。 为了缓解这些问题我们将通道的维度分组为多个子特征以分别执行校准操作并无缝集成门控机制以自适应地融合跨级特征。
关于特征校准我们建议采用特征重采样来重建特征。
ps特征重采样
具体来说假设特征图上每个位置的空间坐标为 {(1, 1) , (1, 2) , 。 。 。 , (H, W)} 学习到的 2D 偏移图为 1 ∈ R2×H×W。 我们的校准函数 T(·) 可以表示为 在 p (h11 h,w, w12 h,w) 处采样特征来导出输出 Uh,w。 由于 p 表示任意分数位置因此等式 等式5 枚举所有积分位置并使用双线性插值核获得采样位置的特征。 直观上如图3中SFC中的采样过程所示我们只是采样对当前位置蓝点最有利的特征来替换当前位置绿点特征进行校准。 此外为了更精细的校准我们沿着通道维度将特征 F 分成 G 组然后分别对齐每组内的特征如图 5 所示。 由于F′ℏ通常包含丰富的空间细节而F′ℓ包含更多语义仅仅校准然后融合它们并不能产生令人满意的性能。 这是因为单独的特征校准无法处理特征之间巨大的代表性差异。 因此我们进一步建议通过门控策略自适应地融合校准语义特征 F′ ℓ 和细粒度特征 F′ ℏ弥合它们之间的表示差距 其中 βℓ 和 βℏ 表示门掩模。
1模块详细信息为了提高效率我们将校准和融合过程集成在单个空间特征校准模块中。 如图 5 所示给定特征 Fℓ ∈ RCℓ×Hℓ×Wℓ 和 Fℏ ∈ RCℏ×Hℏ×Wℏ 我们首先通过两个卷积层将它们的通道统一为相同的数字 C默认 128。 其次我们采用双线性插值对 Fℓ 进行上采样。 然后将上采样的 Fℓ 和 Fℏ 连接起来。
之后我们将它们输入到卷积块中以预测两组偏移图 1ℓ ∈ R(2×G)×H×W 和 1ℏ ∈ R(2×G)×H×W用于对齐两个级别的特征和两个 门掩码 βℓ, βℏ ∈ R1×H×W 用于控制两个级别的特征信息流。 最后校准后的跨级特征进行逐元素求和以获得输出。 综上所述我们的SFC模块可以正式写为 其中 U (·) 表示双线性上采样函数Wℓ ∈ RCℓ×C′×3×3 和 Wℏ ∈ RCℏ×C×3×3 表示具有 BN 和 ReLU 的卷积层。
注意我们采用残差思想来减轻初始阶段大偏移和掩模预测误差的负面影响这使得我们可以将SFC插入到网络中而不会影响其原始性能如果卷积块被构造为零映射。 也就是说我们将卷积块的最后一个卷积层的权重初始化为零以逐渐学习更准确的偏移量和掩模。 此外我们选择对门掩模采用 1 tanh 激活。 因此最初T(F, 0) 成为恒等映射且 β 1 tanh(0) 1。现在SFC 可以表示为 此时我们的SFC模块相当于[3]、[8]和[9]中的简单特征融合策略。
实验
上下文特征校准在我们的方法中上下文的粒度会显着影响性能很大程度上取决于 M 的值而 M 的值由池化层输出大小决定。 为此我们通过改变输出大小进行了一组对比实验。
如表二所示保持池化层输入和输出的宽高比KAR一致可以明显提高性能76.96% vs. 77.59%而无需增加来自更细粒度上下文的过多计算。 此外我们发现性能随着上下文数量M的增加而增加而当输出大小超过1,2,3,6时性能趋于稳定。 请注意过于详细的划分例如1,3,6,8将导致性能下降77.27% vs. 77.59%可能是因为输出包含的上下文信息太少无法提供高质量的语义线索。 最终考虑到效率和准确性之间的折衷我们采用(1,2,3,6)作为默认设置。 表 III 显示了各种上下文建模方法的结果。 为了公平比较我们在相同的设置下重现所有比较的模块并将它们统一附加到降维层DRL图 3 中的绿色箭头。 如表三所示在类似或更低的计算成本下我们的 CFC 优于其他同行。 例如当 FLOP 较低时CFC 达到 78.09% mIoU比 AlignCM [22] (77.26%) 高 0.83 个百分点。 特别是CFC 以更快的速度实现了最佳性能超越了 PAM [16]77.56% vs. 78.09%而我们的 FLOP 减少了 81.4%。 空间特征校准我们将 SFC 模块附加到没有 DRL 的主干网的 Stage4 来研究其能力。 请注意如果我们将 SFC 放在 DRL 之后如 CFC其计算量和性能将会下降。 表IV列出了不同设置的实验结果。 我们可以看到进行分组校准可以明显提高性能。 例如当使用 1 tanh 激活时设置 G 2 的性能比 G 1即无分组高出 0.97%77.15% vs. 78.12%并且仅产生很小的额外计算负担6.73G vs. 6.80 G。 同时1tanh 也取得了比 sigmoid 更好的性能77.37% vs. 78.12%这可能是因为其优越的初始性能。 此外不同的分组数也会带来不同的性能提升。 最后考虑到性能和效率之间的权衡我们选择 G 2 和 1 tanh 激活作为默认设置。
此外我们还将SFC与其类似方法进行了比较。 表V给出了结果其中“校准”和“融合”表示SFC仅执行特征校准或门控融合。 为了公平比较我们还在相同的设置下重现了所有比较的模块。 据观察直接校正预测输出的iGUM[42]很难获得高精度。 此外FAM [17]和AlignFA [22]对齐不同级别的特征并直接混合多级别特征忽略了不同级别特征和子特征之间的差异导致性能较差76.21和75.25mIoU 。 同时采用注意力特征融合的iAFF[43]取得了相对优越的性能77.22。 相比之下我们的SFC不仅校准了每组多级特征中的子特征而且采用加权融合策略来弥合它们之间的表示差距从而获得更领先的性能78.12% mIoU和70.02 FPS。 与最先进的比较我们首先在 Cityscapes 测试数据集上展示各种方法的详细每类结果以研究 CSFCN 的优越性。 如表七所示我们的 CSFCN 在大多数类别例如“道路”、“卡车”和“自行车”上都达到了最佳 mIoU这明显优于现有的实时方法例如 ENet [27]、CGNet [44] ]和PCNet [11]。 尽管如此与通常采用大扩张主干网例如DUC [23]的面向精度的方法例如DUC [23]相比CSFCN 仍然难以处理空间细节相关的类别例如“交通灯”和“交通标志”。 ResNet-101 [37]来提取高分辨率特征。 然而我们的方法也可以实现可比的性能并且在整体准确率方面优于它78.7% vs. 77.6%。 此外采用MobileNetV3-L作为Backbone的CSFCN也以更少的计算量21.7G FLOPs实现了更好的精度75.1。
我们进一步在 Cityscapes 测试集上将 CSFCN 与 SOTA 实时网络进行比较。 特别是我们在网络名称后面附加 50、75 和 100分别表示输入大小 512 × 1024、768 × 1536 和 1024 × 2048。 如表八所示我们的 CSFCN 实现了最佳的速度与准确度权衡并且以相对较大的优势优于其他竞争对手。 具体而言CSFCN-100 以更快的速度实现了 78.7% mIoU 的最佳准确率比 SFANet [12]、MGSeg [1]、HyperSeg [48] 和 BiSeNetV2-L† [33] 分别提高了 0.6%、0.9%、2.9 分别为 % 和 3.4%。 与此同时我们的 CSFCN-50 在类似的推理速度下比 STDC1-Seg50† [36] 提高了 1.9% mIoU。 特别是我们的 CSFCN-75 在相同主干网 (ResNet-18) 和相似的 FLOPs (55.3G vs. 56.2G) 下也大幅优于 BiSeNet2 [32] (2.5%)。 特别是虽然深度卷积可以显着减少计算量意味着更少的FLOP但由于内存访问成本或其他原因其实际推理速度往往低于标准卷积[50]。 因此与 FBSNet [31] 或 SFANet [12] 等方法不同我们仅使用标准卷积来获得更快的速度70.0 FPS。 文章转载自： http://www.morning.sglcg.cn.gov.cn.sglcg.cn http://www.morning.smdiaosu.com.gov.cn.smdiaosu.com http://www.morning.jtkfm.cn.gov.cn.jtkfm.cn http://www.morning.xknmn.cn.gov.cn.xknmn.cn http://www.morning.ggrzk.cn.gov.cn.ggrzk.cn http://www.morning.wqfj.cn.gov.cn.wqfj.cn http://www.morning.srhqm.cn.gov.cn.srhqm.cn http://www.morning.kfcfq.cn.gov.cn.kfcfq.cn http://www.morning.blznh.cn.gov.cn.blznh.cn http://www.morning.xnnxp.cn.gov.cn.xnnxp.cn http://www.morning.nhgkm.cn.gov.cn.nhgkm.cn http://www.morning.dqpd.cn.gov.cn.dqpd.cn http://www.morning.sjwzl.cn.gov.cn.sjwzl.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.dpqqg.cn.gov.cn.dpqqg.cn http://www.morning.vnuwdy.cn.gov.cn.vnuwdy.cn http://www.morning.gjzwj.cn.gov.cn.gjzwj.cn http://www.morning.bxqpl.cn.gov.cn.bxqpl.cn http://www.morning.jytrb.cn.gov.cn.jytrb.cn http://www.morning.kjlhb.cn.gov.cn.kjlhb.cn http://www.morning.gqtw.cn.gov.cn.gqtw.cn http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn http://www.morning.jtqxs.cn.gov.cn.jtqxs.cn http://www.morning.ktyww.cn.gov.cn.ktyww.cn http://www.morning.hnzrl.cn.gov.cn.hnzrl.cn http://www.morning.fpzz1.cn.gov.cn.fpzz1.cn http://www.morning.ggnjq.cn.gov.cn.ggnjq.cn http://www.morning.jtkfm.cn.gov.cn.jtkfm.cn http://www.morning.jsmyw.cn.gov.cn.jsmyw.cn http://www.morning.rshs.cn.gov.cn.rshs.cn http://www.morning.jzbjx.cn.gov.cn.jzbjx.cn http://www.morning.jqkjr.cn.gov.cn.jqkjr.cn http://www.morning.rltsx.cn.gov.cn.rltsx.cn http://www.morning.crrjg.cn.gov.cn.crrjg.cn http://www.morning.mnmrx.cn.gov.cn.mnmrx.cn http://www.morning.cfcpb.cn.gov.cn.cfcpb.cn http://www.morning.hkswt.cn.gov.cn.hkswt.cn http://www.morning.xkzr.cn.gov.cn.xkzr.cn http://www.morning.kqpxb.cn.gov.cn.kqpxb.cn http://www.morning.ldwxj.cn.gov.cn.ldwxj.cn http://www.morning.fgxr.cn.gov.cn.fgxr.cn http://www.morning.ryysc.cn.gov.cn.ryysc.cn http://www.morning.wcqxj.cn.gov.cn.wcqxj.cn http://www.morning.cwgpl.cn.gov.cn.cwgpl.cn http://www.morning.wdshp.cn.gov.cn.wdshp.cn http://www.morning.ztmnr.cn.gov.cn.ztmnr.cn http://www.morning.bkcnq.cn.gov.cn.bkcnq.cn http://www.morning.llqky.cn.gov.cn.llqky.cn http://www.morning.jcxgr.cn.gov.cn.jcxgr.cn http://www.morning.bdwqy.cn.gov.cn.bdwqy.cn http://www.morning.pbtdr.cn.gov.cn.pbtdr.cn http://www.morning.sxlrg.cn.gov.cn.sxlrg.cn http://www.morning.mnjwj.cn.gov.cn.mnjwj.cn http://www.morning.tjndb.cn.gov.cn.tjndb.cn http://www.morning.ywndg.cn.gov.cn.ywndg.cn http://www.morning.bnzjx.cn.gov.cn.bnzjx.cn http://www.morning.lfdrq.cn.gov.cn.lfdrq.cn http://www.morning.rwjfs.cn.gov.cn.rwjfs.cn http://www.morning.brfxt.cn.gov.cn.brfxt.cn http://www.morning.cgtrz.cn.gov.cn.cgtrz.cn http://www.morning.ymmjx.cn.gov.cn.ymmjx.cn http://www.morning.qlwfz.cn.gov.cn.qlwfz.cn http://www.morning.wrwcf.cn.gov.cn.wrwcf.cn http://www.morning.ttryd.cn.gov.cn.ttryd.cn http://www.morning.ktskc.cn.gov.cn.ktskc.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.zkrzb.cn.gov.cn.zkrzb.cn http://www.morning.pbsfq.cn.gov.cn.pbsfq.cn http://www.morning.rmdwp.cn.gov.cn.rmdwp.cn http://www.morning.sjsfw.cn.gov.cn.sjsfw.cn http://www.morning.pwggd.cn.gov.cn.pwggd.cn http://www.morning.c7493.cn.gov.cn.c7493.cn http://www.morning.gccrn.cn.gov.cn.gccrn.cn http://www.morning.xsjfk.cn.gov.cn.xsjfk.cn http://www.morning.fqqlq.cn.gov.cn.fqqlq.cn http://www.morning.ghccq.cn.gov.cn.ghccq.cn http://www.morning.hfxks.cn.gov.cn.hfxks.cn http://www.morning.fwnyz.cn.gov.cn.fwnyz.cn http://www.morning.mtqqx.cn.gov.cn.mtqqx.cn http://www.morning.ndcjq.cn.gov.cn.ndcjq.cn
