网站备案完成通知,怎样建网上商城,网站怎么访问自己做的网页,多个wordpress管理对于全景图像#xff08;ODIs#xff09;的超分辨率的技术有#xff1a;等矩投影#xff08;ERP#xff09;但是这个没有利用 ODIs 的独特任何特性。ERP提供了完整的视场但引入了显著的失真#xff0c;而立方体映射投影#xff08;CMP#xff09;可以减少失真但视场有限…对于全景图像ODIs的超分辨率的技术有等矩投影ERP但是这个没有利用 ODIs 的独特任何特性。ERP提供了完整的视场但引入了显著的失真而立方体映射投影CMP可以减少失真但视场有限。
作者提出了一种新颖的双投影全景图像超分辨率BPOSR网络以利用上述两种投影的几何特性。然后为这两种投影设计了两种定制的注意力方法用于ERP的水平条纹变换块HSTB和用于CMP的视角变换变换块PSTB。此外作者提出了一种融合模块使这些投影相互补充。
正文
将传统的二维图像的超分辨率方法用于全景图像的超分辨率是不可行的因为将球面全景图像投影到二维平面时会出现失真和不连续性。同时图像域之间的不同特性增加了ODIs重建的复杂性。
当前的用于全景图像的超分辨率网络主要是集中在了 ERP 域中解决这一任务没有考虑 ODIs 中使用的各种投影格式。
ODIs中最常用的两种投影格式是等矩投影ERP和立方体映射投影CMP。具体而言ERP提供广泛的全局视图但引入显著失真而CMP失真较小但仅提供有限的中央视图并且边界不连续。
所以作者为了可以充分利用这两种投影的任何特性与互补信息开发了双投影全景图像超分辨率BPOSR网络使得 ERP 与 CMP 分支的信息流同时进行并允许不同投影特征之间的交互和融合。
从下图可以看出ERP 与 CMP 的不同的特性 (a) ERP水平相似性。将ERP在水平方向上划分为不同区域后可以观察到每个区域内存在多尺度相似性。
(b) CMP透视可变性。橙色箭头表示球面旋转绿色箭头表示投影到CMP上。通过球面旋转和投影到CMP上CMP的六个表面捕捉到不同的信息。
基于这些观察我们为ERP引入了水平条纹变换块HSTB为CMP引入了视角变换变换块PSTB以充分挖掘不同投影的内在特性。最后我们开发了一个块注意融合模块BAFM以促进来自不同投影和深度的特征之间的信息交互并通过分配不同的注意权重来增强网络的表示学习能力。
贡献
提出了一个双投影全景图像超分辨率BPOSR网络利用两种全景投影即ERP和CMP促进两种投影信息的交互。通过分析ERP和CMP的图像几何特性引入了水平条纹变换块HSTB和视角变换变换块PSTB以利用两种投影的内在特性。引入了一个块注意融合模块BAFM促进来自不同投影和深度的特征之间的融合。
ODIs 分析
等距圆柱投影ERP
ERP 通过经度和纬度均匀采样球体。设经度和纬度分别为φ和θ其中 ( ϕ , θ ) ∈ [ − π , π ] ∗ [ − π 2 , π 2 ] (\phi, \theta) \in [-\pi, \pi] * [-\frac{\pi}{2}, \frac{\pi}{2}] (ϕ,θ)∈[−π,π]∗[−2π,2π]. 角度位置可以通过以下公式转换为标准球体上的坐标 从以下的图片中可以看到ERP将球体投影到单个表面从而获得宽广的视场。然而由于投影中纬线的均匀间距和平行特性ERP引入了显著的失真尤其是在极附近。随着纬线向极点收敛失真变得更加明显导致图像拉长和变形。 水平相似性
如图2a所示ERP图像的水平区域普遍存在多尺度相似性。因此传统的全局尺度各向同性注意力机制对于处理ERP图像特征变得冗余。
因此为ERP提出了一种更合适的方法即利用水平窗口来建模图像内部依赖关系。此外通过结合这些水平窗口内的局部感知和上下文信息我们可以引入有限的空间范围来降低注意力的复杂性。
立方体映射投影CMP
CMP 是将球体投影到立方体的六个表面上。所得的六个表面是特定的透视图像对应于六个视图方向前、后、左、右、上和下。
可以从图 3 b 中看到与等距圆柱投影ERP相比CMP 在图像失真方面有显著减少。然而它通过破坏不同面边界处物体的连续性引入了不连续性问题。
透视可变性
CMP 将球体投影到六个平面每个平面可以从不同的视角获取球体的信息。如图 2 (b) 所示当球体旋转并投影到 CMP 时六个平面的视角会发生变化。
基于这一观察我们提出了 CMP 的透视可变性。新增加的视角使得信息的可用性得以增强。通过在 CMP 上改变视角我们有效地增强了 CMP 的特征表示并解决了 CMP 中图像不连续性的固有局限性。
整体架构 模型主要由 3 个分支组成ERP分支、CMP分支和融合分支。给定一个低分辨率的输入 I E R P l r I^{lr}_{ERP} IERPlr会先将这个转换为 CMP 形式的 I C M P l r I^{lr}_{CMP} ICMPlr然后使用 3*3 卷积分别提取两个投影的浅层特征公式如下 E2C 表示从 ERP 到 CMP 的投影 W 3 ∗ 3 W_{3*3} W3∗3 表示 3*3 的卷积。接下来就是提取 ERP 与 CMP 分支的深层特征公式如下 HSAB(·)和PSAB(·)分别是水平条纹变换块和视角变换块。
同时为了促进两个投影之间的信息交互与特征融合提出了一种特征交互融合块这个块会利用 F E R P i F_{ERP}^i FERPi 与 F C M P i F_{CMP}^i FCMPi 生成融合特征然后将结果特征施加到源特征上。这个过程如下
‘
最后为了整合来自不同分支和不同深度的特征我们开发了一个块注意力融合模块BAFM以生成最终特征 F f F_f Ff如下所示 最后通过具有单个3×3卷积和像素 shuffle 操作的上采样模块来重建高分辨率图像 F u p F_{up} Fup 水平条纹变换块HSTB
HSTB是通过利用ERP的水平相似性设计的它由多个水平Swin变换层HSTL和一个卷积层组成如图4a所示。
与传统的 SwinIR 不同作者将输入特征分为水平窗口并对这些特征应用移位窗口自注意力机制。如下图所示 HSTL利用水平条纹窗口内的自注意力机制来建立长期依赖关系。通过将注意力计算限制在水平窗口内我们能够在更广泛和有效的范围内建立依赖关系从而全面探索ERP中的上下文信息。
视角变换块PSTB
PSTB是基于CMP的视角可变性设计的。如图4b所示。PSTB由多个具有移位窗口自注意力的Swin变换层Swin transformer layer, STL和一个卷积层组成。
通过在输入之后和输出之前部署视角变换层PSL来引入视角变换。
PSL首先使用C2E将CMP特征 F C M P F_{CMP} FCMP 转换为ERP然后在ERP域内水平滚动特征。PSL的最终输出是通过E2C将特征转换回CMP得到的公式如下 F C M P E 2 C ( R ( C 2 E ( F C M P ) ) ) F_{CMP}E2C(R(C2E(F_{CMP}))) FCMPE2C(R(C2E(FCMP))) R R R 是水平滚动操作。移位窗口自注意力模块的建模能力受限于不同视图之间缺乏连接这一限制阻碍了它们充分挖掘CMP的特性。PSTB 通过引入不同视角之间的互连使得建模范围更广、更有效。
块注意力融合模块BAFM
从公式 11 中可以看到BAFM 的输入特征来自不同的深度和投影。为了增强融合效果作者开发了 BAFM如下图所示 BAFM 的核心是 3d 自注意力机制它选择性地增强了具有重要贡献的特征块同时抑制冗余特征块。通过这种方式网络的整体表示能力得到了增强。
其公式如下 这里的 3 D C o n v ( ) 3DConv() 3DConv() 表示 1 ∗ 1 ∗ 1 1*1*1 1∗1∗1 的 3d 卷积。 这里的 s 为缩放因子 F m ∈ R N ∗ C ∗ H ∗ W F_m \in R^{N*C*H*W} Fm∈RN∗C∗H∗W。最后可以提到结果 实验
使用 ODI-SR 与 SUN 360 验证了方法的有效性这些数据集包含各种类型的全景场景。
与最先进的方法的比较 可以看到模型在两个数据集上都优于其他的对手。优于所有的 SISR 网络。
定性结果 BPOSR 可以有效抑制伪影并利用场景细节和内部自然图像统计来恢复高频内容。
消融研究
双投影与单投影 引入了BPOSR的两个替代变体Variant-CMP和Variant-ERP它们分别在两个分支中都使用ERP或CMP。可以看到双投影优于其他的两个版本。
水平条纹 transformer 块的有效性
通过改变使用的窗口大小进一步验证了我们的ERP水平条纹注意力的有效性。 当使用相同的注意力区域大小时水平选择优于方形版本。这表明水平窗口注意力比方形变体更适合建模ERP。
透视移位Transformer块的有效性。 当不对CMP应用透视移位时WS-PSNR下降了0.14 dB。这一观察强调了视图转换在提高CMP性能方面的重要性。
块注意力融合模块的有效性 进行了使用1 × 1卷积和平均操作来替代BAFM的实验。表5显示移除BAFM导致WS-PSNR性能下降0.10 dB这表明我们的设计是有效的。 文章转载自： http://www.morning.rtzd.cn.gov.cn.rtzd.cn http://www.morning.pmptm.cn.gov.cn.pmptm.cn http://www.morning.fflnw.cn.gov.cn.fflnw.cn http://www.morning.tqfnf.cn.gov.cn.tqfnf.cn http://www.morning.jxlnr.cn.gov.cn.jxlnr.cn http://www.morning.bsrcr.cn.gov.cn.bsrcr.cn http://www.morning.vnuwdy.cn.gov.cn.vnuwdy.cn http://www.morning.mrxqd.cn.gov.cn.mrxqd.cn http://www.morning.dwrjj.cn.gov.cn.dwrjj.cn http://www.morning.zcxjg.cn.gov.cn.zcxjg.cn http://www.morning.qwpdl.cn.gov.cn.qwpdl.cn http://www.morning.jpgfq.cn.gov.cn.jpgfq.cn http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn http://www.morning.lpskm.cn.gov.cn.lpskm.cn http://www.morning.hmhdn.cn.gov.cn.hmhdn.cn http://www.morning.nytqy.cn.gov.cn.nytqy.cn http://www.morning.txqsm.cn.gov.cn.txqsm.cn http://www.morning.jrqbr.cn.gov.cn.jrqbr.cn http://www.morning.pthmn.cn.gov.cn.pthmn.cn http://www.morning.xsfny.cn.gov.cn.xsfny.cn http://www.morning.pjrgb.cn.gov.cn.pjrgb.cn http://www.morning.24vy.com.gov.cn.24vy.com http://www.morning.skrh.cn.gov.cn.skrh.cn http://www.morning.nytgk.cn.gov.cn.nytgk.cn http://www.morning.jbtzx.cn.gov.cn.jbtzx.cn http://www.morning.clnmf.cn.gov.cn.clnmf.cn http://www.morning.nfpgc.cn.gov.cn.nfpgc.cn http://www.morning.qfdyt.cn.gov.cn.qfdyt.cn http://www.morning.rltsx.cn.gov.cn.rltsx.cn http://www.morning.zdqsc.cn.gov.cn.zdqsc.cn http://www.morning.hgkbj.cn.gov.cn.hgkbj.cn http://www.morning.nchsz.cn.gov.cn.nchsz.cn http://www.morning.qdbcd.cn.gov.cn.qdbcd.cn http://www.morning.djpps.cn.gov.cn.djpps.cn http://www.morning.dxtxk.cn.gov.cn.dxtxk.cn http://www.morning.pnljy.cn.gov.cn.pnljy.cn http://www.morning.nwwzc.cn.gov.cn.nwwzc.cn http://www.morning.ydflc.cn.gov.cn.ydflc.cn http://www.morning.ngcw.cn.gov.cn.ngcw.cn http://www.morning.sbjbs.cn.gov.cn.sbjbs.cn http://www.morning.wcczg.cn.gov.cn.wcczg.cn http://www.morning.smtrp.cn.gov.cn.smtrp.cn http://www.morning.pfcrq.cn.gov.cn.pfcrq.cn http://www.morning.wklrz.cn.gov.cn.wklrz.cn http://www.morning.dmzmy.cn.gov.cn.dmzmy.cn http://www.morning.nldsd.cn.gov.cn.nldsd.cn http://www.morning.wlnr.cn.gov.cn.wlnr.cn http://www.morning.swkzk.cn.gov.cn.swkzk.cn http://www.morning.wtsr.cn.gov.cn.wtsr.cn http://www.morning.nkmw.cn.gov.cn.nkmw.cn http://www.morning.jpqmq.cn.gov.cn.jpqmq.cn http://www.morning.rxcqt.cn.gov.cn.rxcqt.cn http://www.morning.lfdzr.cn.gov.cn.lfdzr.cn http://www.morning.lhjmq.cn.gov.cn.lhjmq.cn http://www.morning.gwmjy.cn.gov.cn.gwmjy.cn http://www.morning.jwsrp.cn.gov.cn.jwsrp.cn http://www.morning.nzcys.cn.gov.cn.nzcys.cn http://www.morning.srckl.cn.gov.cn.srckl.cn http://www.morning.hlfgm.cn.gov.cn.hlfgm.cn http://www.morning.qgmbx.cn.gov.cn.qgmbx.cn http://www.morning.rgsgk.cn.gov.cn.rgsgk.cn http://www.morning.bzlsf.cn.gov.cn.bzlsf.cn http://www.morning.ngcw.cn.gov.cn.ngcw.cn http://www.morning.hlkxb.cn.gov.cn.hlkxb.cn http://www.morning.ndynz.cn.gov.cn.ndynz.cn http://www.morning.xkjrq.cn.gov.cn.xkjrq.cn http://www.morning.cftkz.cn.gov.cn.cftkz.cn http://www.morning.rnytd.cn.gov.cn.rnytd.cn http://www.morning.jrqcj.cn.gov.cn.jrqcj.cn http://www.morning.cyysq.cn.gov.cn.cyysq.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.pswzc.cn.gov.cn.pswzc.cn http://www.morning.jzmqk.cn.gov.cn.jzmqk.cn http://www.morning.xqbgm.cn.gov.cn.xqbgm.cn http://www.morning.qmzhy.cn.gov.cn.qmzhy.cn http://www.morning.crkhd.cn.gov.cn.crkhd.cn http://www.morning.fpyll.cn.gov.cn.fpyll.cn http://www.morning.wcft.cn.gov.cn.wcft.cn http://www.morning.nfccq.cn.gov.cn.nfccq.cn http://www.morning.fmtfj.cn.gov.cn.fmtfj.cn
