溧阳住房和城乡建设局网站,微信看视频打赏网站建设,高端室内设计工作室,威联通 wordpress基于跨领域协作学习的单图像去雨 1. Introduction3. Proposed method3.1 网络架构 4. Experiments and results4.1 数据集和指标4.3 合成图像的结果4.8 建模复杂度和运行时间 5. Conclusion 1. Introduction
深度卷积神经网络(DCNN)在图像解析任务中取得了优异的性能。然而目前的大多数方法都将雨带(rain streak)的去除视为一对一的问题往往忽略了不同合成数据集的域内偏移。因此在一个合成数据集上训练的脱轨模型不能有效地去除其他合成数据集的雨带。
为了解决这一问题本文提出了一个跨领域协同学习(CDCL)框架以最小化域内移动和域间差距。
首先提出了一种基于协同学习的双分支脱轨网络来消除图像雨纹在合成域内的分布偏移;然后设计了一种跨域伪标签生成(CDPLG)方法为真实雨域图像获取更准确、更鲁棒的伪标签并利用在线生成的伪标签训练双分支脱轨网络减小合成域与真实域的域差;在公共基准数据集(包括合成数据集和真实数据集)上进行了大量的实验实验结果表明我们提出的框架与目前最先进的模型相比具有良好的性能。 首先图1(a)所示的真实雨纹与合成雨纹在分布上存在一定的差异。从图1(a)中可以看出真实的雨屏图像与合成的雨屏图像相比具有多个方向这导致合成的雨屏图像在真实的雨屏图像中不能包含足够大的雨屏条纹分布范围。
其次现有的降雨去除模型只考虑了合成域与真实域之间的域间差距忽略了不同合成数据集上的域内偏移如图1(b)所示。从图1(b)可以看出来自不同合成数据集的两幅雨像的密度和方向有很大的不同。
此外我们还对三个不同的合成数据集进行了简单的实验验证了由于合成域内的域内移动而导致的降雨去除的影响。实验结果如表1所示。 由表1可知在一个合成数据集上训练的降雨去除模型在另一个合成数据集上测试时由于合成数据集的域内移位不能得到满意的结果。需要注意的是雨水去除模型与本文的单支脱轨网络结构相同。
在公共基准数据集(包括合成数据集和真实数据集)上进行的大量实验表明与目前最先进的全监督和半监督单图像解列模型相比我们提出的框架是有效的。
3. Proposed method 如图2所示来减小不同合成域之间的域内偏移和合成域与实域之间的域间间隙。该模型主要包括网络结构、标记合成域协作学习、无标记实域协作学习和综合损耗函数。
3.1 网络架构
雨图像可以建模为背景图像与雨纹信息的线性求和表示为:
o b r 1
式中o为原始雨纹图像b为背景图像r为雨纹信息。
如何设计一个健壮的雨纹学习网络更好地学习合成雨型和真实雨型对于提高单幅图像解析模型的性能至关重要。为了解决这一问题本文提出了雨纹学习网络(RSL)。
式(1)还可以转化为:
b o− RSL(o) 2
为了提高雨纹的表达能力我们构造了多尺度注意剩余块(MSARB)。 两个单支脱轨网络包含相同的结构参数如表3所示 4. Experiments and results
4.1 数据集和指标
我们选择了三个合成数据集包括Rain200L (Yang et al. 2017)、Rain1200 (Zhang Patel, 2018)和Rain1400 (Fu et al. 2017)以及一个真实的图像解列数据集来评估我们的CDCL框架用于图像解列的性能。
Rain200L数据集(Yang et al. 2017)在训练集中包含1800幅合成图像对在测试集中包含200幅图像对。
Rain1200数据集(Zhang Patel, 2018)包括12,000对用于训练的图像和1200对用于测试的图像。
Rain1400数据集(Fu et al. 2017)由12,600对用于训练的合成图像和1400对用于测试的合成图像组成。
真实图像解析数据集(Wang et al. 2019)包含1000幅真实的雨天图像。四个公共数据集的详细信息如表4所示。 此外采用峰值信噪比(PSNR) (Huynh-Thu Ghanbari, 2008)和结构相似度(SSIM) (Wang et al. 2004)来评价模型性能。
4.3 合成图像的结果
Rain200L、Rain1200和Rain1400的定性结果分别如图4和图5所示。从图4和图5可以看出所提出的有监督和半监督的CDCL具有更高的定性性能特别是在图4和图5中以红色线框标记的部分局部区域。因此可以断言我们提出的框架性能优于最先进的监督和半监督图像去雨模型。 如表5所示我们提出的模型在Rain200L、Rain1200和Rain1400上获得了较好的性能与其他监督图像去核模型相比。此外与其他半监督图像解算方法相比我们提出的模型在无标签合成数据下获得的SSIM和PSNR值也取得了更高的结果。 4.8 建模复杂度和运行时间
在本节中我们将所提模型的参数和时间复杂度与最先进的监督和半监督图像解推理模型进行比较。各模型的实验结果见表12。
该模型在参数和时间复杂度方面都达到了可接受的性能这表明该方法可以在可接受的计算代价下获得令人满意的解算结果。
5. Conclusion
在本文中我们提出了一种跨领域的协作学习方法来完成单个图像的解析任务。首先提出了一种基于MSARB的双分支脱轨网络通过协作学习消除图像雨纹在合成域内的分布偏移;然后利用在线生成的伪标签对双分支脱轨网络进行训练减小合成域与实域之间的域差;在多个数据集上的大量实验表明基于标记合成域和无标记实域的协同学习方法有效地提高了网络模型的降雨去除泛化能力。与现有的基于单个合成域雨纹信息的半监督雨纹去除方法相比我们提出的方法充分利用了不同合成雨纹的多样性和互补性更好地实现了从合成域到实际域的知识脱轨转移。然而该模型对真实雨型信息的适应能力仍然不足。未来我们将设计一个雨纹学习网络以便更好地模拟真实雨纹信息的方向和密度。
