中国建设执业资格注册中心网站,个人简介网页怎么做,网站建设案例展示,淘客怎么做推广网站AOD-Net: All-in-One Dehazing Network 前言介绍相关工作物理模型传统方法深度学习方法 建模与扩展变换后的公式网络设计与高级特征任务相结合 除雾评价数据集和实现 前言
该论文提出了一种基于卷积神经网络#xff08;CNN#xff09;的图像去雾模型#xff0c;称为 All-in… AOD-Net: All-in-One Dehazing Network 前言介绍相关工作物理模型传统方法深度学习方法 建模与扩展变换后的公式网络设计与高级特征任务相结合 除雾评价数据集和实现 前言
该论文提出了一种基于卷积神经网络CNN的图像去雾模型称为 All-in-One 去雾网络AOD-Net。该模型基于重构的大气散射模型进行设计不像以往的模型那样分别估计透射矩阵和大气光而是通过轻量级的 CNN 直接生成干净图像。这种新颖的端到端设计使 AOD-Net 易于嵌入到其他深度模型中例如 Faster R-CNN从而提升雾霾图像上的高层次任务性能。实验结果表明在合成和真实雾霾图像数据集上AOD-Net 在 PSNR、SSIM 和主观视觉质量方面均优于现有的最先进方法。此外将 AOD-Net 与 Faster R-CNN 结合后我们在雾霾图像上的目标检测性能显著提升。
介绍 雾霾的存在会显著降低恶劣天气下拍摄的户外图像的清晰度影响到目标检测和识别等高层次的计算机视觉任务。因此单图像去雾成为一种非常实用的技术。尽管从单张图像中估计多个物理参数具有挑战性许多近期的研究已在这一目标上取得显著进展。除了估计全局的大气光强度去雾的关键在于恢复传输矩阵为此采用了多种统计假设和复杂模型。然而这些估计往往并不准确一些常用的预处理方法如引导滤波和软抠图可能会扭曲雾霾图像生成过程导致恢复性能不佳。此外传输矩阵和大气光这两个关键参数的非联合估计可能在应用时放大误差。
本文提出了一种高效的端到端去雾卷积神经网络CNN模型称为 All-in-One 去雾网络AOD-Net。尽管一些早期的去雾模型提出了“端到端”的概念我们认为 AOD-Net 的主要创新在于它是第一个从雾霾图像到清晰图像进行优化的真正端到端模型而不是停留在中间的参数估计阶段。AOD-Net 基于重新构造的大气散射模型进行设计使用合成的雾霾图像进行训练并在合成和真实自然图像上进行测试。实验结果表明AOD-Net 在 PSNR 和 SSIM 指标上优于多种现有的先进方法Figure 1并在视觉质量上表现出色Figure 2。作为轻量化模型AOD-Net 处理 480 × 640 图像的时间仅需 0.026 秒具有极快的处理速度。此外AOD-Net 是第一个探索去雾模型如何帮助后续高层次视觉任务的模型。**由于其端到端的结构AOD-Net 能轻松嵌入 Faster R-CNN并大幅提升雾霾图像的目标检测性能。 **
相关工作
物理模型
大气散射模型是模糊图像生成过程的经典描述
传统方法
在去雾技术中有多种方法致力于解决单图像去雾问题。具体而言[23] 通过最大化局部对比度来处理雾霾去除问题。[6] 提出了一种基于物理的去雾方法通过估算场景的反照率albedo来进行去雾。[8, 24] 则发现了有效的暗通道先验 (Dark Channel Prior, DCP)这使得传输矩阵的计算更加可靠。[12] 进一步引入边界约束和上下文正则化以获得更清晰的去雾图像。[22] 提出了一个加速的自动恢复大气光强度的方法。[32] 开发了颜色衰减先验并为雾霾图像建立了一个场景深度的线性模型然后以监督方式学习模型参数。
深度学习方法
卷积神经网络CNN在计算机视觉任务中取得了广泛的成功最近也被应用于去雾问题中。例如[17] 提出了一种多尺度CNN (MSCNN) 模型该模型首先生成一个粗略的传输矩阵然后进行精细化处理。[3] 提出的 DehazeNet 是一种可训练的端到端模型用于估计中间传输通过雾霾图像作为输入输出其传输矩阵。结合通过经验规则估算的大气光强度基于大气散射模型可以恢复去雾图像。
上述方法的共同点在于去雾的关键在于准确估算传输矩阵同时独立计算大气光然后利用这些参数恢复清晰图像。然而这种方法尽管直观且具有物理依据却没有直接对图像的重建失真进行度量或最小化因此难以避免图像恢复质量的次优表现。分步估算的误差会在每一步累积可能相互放大导致图像恢复效果欠佳。
与之相对AOD-Net 建立在一种不同的信念之上即物理模型可以通过“更端到端”的方式进行建模将所有参数统一在一个模型中估算。AOD-Net 不需要中间步骤来估算参数而是直接输出去雾后的清晰图像。不同于 [3] 仅从雾霾图像到传输矩阵的端到端学习AOD-Net 的完全端到端设计直接缩小了雾霾图像与清晰图像之间的最终目标差距。
建模与扩展
在本节中解释了所提出的 AOD-Net。 我们首先介绍转换后的大气散射模型AOD-Net 是基于该模型设计的。 然后详细描述AOD-Net的结构。 此外由于其端到端设计我们通过将所提出的模型直接嵌入到其他现有的深度模型中讨论了将其扩展到模糊图像上的高级任务。
变换后的公式
根据公式 (1) 中的大气散射模型得到的清晰图像为
网络设计 所提出的 AOD-Net 由两个部分组成见图 4一个使用五个卷积层来估计K(x) 的 K -估计模块接着是一个清晰图像生成模块该模块由逐元素相乘层和若干逐元素相加层组成通过计算公式 (4) 生成复原图像。
K-估计模块是 AOD-Net 的关键组件负责估计深度和相对雾度水平。如图 4(b) 所示我们使用五个卷积层通过融合不同大小的滤波器来形成多尺度特征。[3] 采用了不同滤波器尺寸的并行卷积[17] 则将粗尺度网络的特征与精细尺度网络的中间层相连接。受到这些方法的启发AOD-Net 的“concat1”层连接了“conv1”和“conv2”层的特征。“concat2”同样连接“conv2”和“conv3”层的特征“concat3”则连接“conv1”、“conv2”、“conv3”和“conv4”层的特征。这样的多尺度设计捕捉了不同尺度的特征中间层的连接也弥补了卷积过程中信息的损失。
作为验证连接的简单基线方法我们在 TestSetA见第 4 节上尝试了不使用连接的结构即“conv1” → “conv2” → “conv3” → “conv4” → “conv5”。得到的平均 PSNR 为 19.0674 dBSSIM 为 0.7707两者均低于表 1 中的当前结果尤其是 SSIM 的大幅下降。值得注意的是AOD-Net 的每个卷积层仅使用三个滤波器因此与 [3] 和 [17] 等现有的深度方法相比我们的模型更加轻量。
与高级特征任务相结合
高级计算机视觉任务如目标检测和识别关注视觉语义并已受到广泛关注 [16, 30]。然而这些算法的性能通常受到多种降质因素的影响。传统方法首先通过单独的图像复原步骤作为预处理再输入目标的高级任务中。近期[27, 4] 证明了复原与识别步骤的联合优化能优于传统的两阶段方法。
先前的研究 [31] 已探讨了噪声、模糊和低分辨率等常见降质的影响及其补救方法。然而据我们所知目前还没有类似的研究定量地分析雾霾对高级视觉任务的影响及其缓解方法。当前的去雾模型主要关注复原质量而我们迈出了实现这一重要目标的第一步。由于其独特的端到端设计AOD-Net 可以无缝嵌入其他深度模型中形成一个能够在雾霾图像上执行高级任务的管道并在其中隐式地进行去雾处理。这种管道可以端到端地联合优化以提升性能而如果将 AOD-Net 替换为其他深度去雾模型 [3, 17]这种优化将无法实现。
除雾评价
数据集和实现
我们通过公式 (1) 生成合成的雾霾图像使用来自 NYU2 Depth Database [21] 的带有深度元数据的真实清晰图像。我们设定不同的大气光 A 每个通道在 [0.6, 1.0] 范围内均匀选取并选择 β ∈{0.4, 0.6, 0.8, 1.0, 1.2, 1.4, 1.6}
对于 NYU2 数据库我们选取了 27,256 张图像作为训练集3,170 张图像作为不重叠的测试集 TestSet A。我们还使用了 Middlebury 立体数据库 [19, 18, 9] 中的 800 张全尺寸合成图像作为测试集 TestSet B。此外我们还收集了一组自然雾霾图像来评估我们模型的泛化性能。
在训练过程中模型的权重通过高斯随机变量进行初始化。我们使用 ReLU 神经元因为在我们的特定设置中发现其效果优于文献 [3] 中提出的 BReLU 神经元。动量参数和衰减参数分别设置为 0.9 和 0.0001。我们采用简单的均方误差MSE损失函数发现它不仅提升了 PSNR还提高了 SSIM 和视觉质量。
AOD-Net 模型在大约 10 个训练周期后收敛通常在 10 个周期后表现足够好。我们还发现将梯度裁剪到 [−0.1, 0.1] 范围内有助于限制梯度范数。这一技术在稳定循环神经网络训练中非常流行 [15]。 文章转载自： http://www.morning.xcszl.cn.gov.cn.xcszl.cn http://www.morning.ryfpx.cn.gov.cn.ryfpx.cn http://www.morning.kpcdc.cn.gov.cn.kpcdc.cn http://www.morning.c7512.cn.gov.cn.c7512.cn http://www.morning.xhddb.cn.gov.cn.xhddb.cn http://www.morning.tjndb.cn.gov.cn.tjndb.cn http://www.morning.mtsck.cn.gov.cn.mtsck.cn http://www.morning.jnzfs.cn.gov.cn.jnzfs.cn http://www.morning.hgbzc.cn.gov.cn.hgbzc.cn http://www.morning.dxgt.cn.gov.cn.dxgt.cn http://www.morning.btypn.cn.gov.cn.btypn.cn http://www.morning.qggcc.cn.gov.cn.qggcc.cn http://www.morning.vehna.com.gov.cn.vehna.com http://www.morning.mfsxd.cn.gov.cn.mfsxd.cn http://www.morning.knzmb.cn.gov.cn.knzmb.cn http://www.morning.gnfkl.cn.gov.cn.gnfkl.cn http://www.morning.rnrwq.cn.gov.cn.rnrwq.cn http://www.morning.mcjxq.cn.gov.cn.mcjxq.cn http://www.morning.lfsmf.cn.gov.cn.lfsmf.cn http://www.morning.bqwsz.cn.gov.cn.bqwsz.cn http://www.morning.drytb.cn.gov.cn.drytb.cn http://www.morning.qwbtr.cn.gov.cn.qwbtr.cn http://www.morning.hclplus.com.gov.cn.hclplus.com http://www.morning.thxfn.cn.gov.cn.thxfn.cn http://www.morning.xzkgp.cn.gov.cn.xzkgp.cn http://www.morning.sldrd.cn.gov.cn.sldrd.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.lnrhk.cn.gov.cn.lnrhk.cn http://www.morning.ttdbr.cn.gov.cn.ttdbr.cn http://www.morning.zzbwjy.cn.gov.cn.zzbwjy.cn http://www.morning.bnpcq.cn.gov.cn.bnpcq.cn http://www.morning.mfmrg.cn.gov.cn.mfmrg.cn http://www.morning.mhmdx.cn.gov.cn.mhmdx.cn http://www.morning.zqcdl.cn.gov.cn.zqcdl.cn http://www.morning.yhwyh.cn.gov.cn.yhwyh.cn http://www.morning.kqgsn.cn.gov.cn.kqgsn.cn http://www.morning.yodajy.cn.gov.cn.yodajy.cn http://www.morning.rpth.cn.gov.cn.rpth.cn http://www.morning.sqskm.cn.gov.cn.sqskm.cn http://www.morning.lkkgq.cn.gov.cn.lkkgq.cn http://www.morning.trsdm.cn.gov.cn.trsdm.cn http://www.morning.wmdbn.cn.gov.cn.wmdbn.cn http://www.morning.kgxyd.cn.gov.cn.kgxyd.cn http://www.morning.mrfnj.cn.gov.cn.mrfnj.cn http://www.morning.pamdeer.com.gov.cn.pamdeer.com http://www.morning.hdrrk.cn.gov.cn.hdrrk.cn http://www.morning.skrcn.cn.gov.cn.skrcn.cn http://www.morning.rjtmg.cn.gov.cn.rjtmg.cn http://www.morning.jmbgl.cn.gov.cn.jmbgl.cn http://www.morning.hqgkx.cn.gov.cn.hqgkx.cn http://www.morning.kzdwt.cn.gov.cn.kzdwt.cn http://www.morning.wqwbj.cn.gov.cn.wqwbj.cn http://www.morning.gxtbn.cn.gov.cn.gxtbn.cn http://www.morning.ndynz.cn.gov.cn.ndynz.cn http://www.morning.saastob.com.gov.cn.saastob.com http://www.morning.mnbgx.cn.gov.cn.mnbgx.cn http://www.morning.pangucheng.cn.gov.cn.pangucheng.cn http://www.morning.xkyst.cn.gov.cn.xkyst.cn http://www.morning.bmhc.cn.gov.cn.bmhc.cn http://www.morning.yrcxg.cn.gov.cn.yrcxg.cn http://www.morning.lwgsk.cn.gov.cn.lwgsk.cn http://www.morning.qdrhf.cn.gov.cn.qdrhf.cn http://www.morning.zrlwl.cn.gov.cn.zrlwl.cn http://www.morning.sqhtg.cn.gov.cn.sqhtg.cn http://www.morning.zwgrf.cn.gov.cn.zwgrf.cn http://www.morning.nzkc.cn.gov.cn.nzkc.cn http://www.morning.hlshn.cn.gov.cn.hlshn.cn http://www.morning.rgmd.cn.gov.cn.rgmd.cn http://www.morning.pnfwd.cn.gov.cn.pnfwd.cn http://www.morning.wrtw.cn.gov.cn.wrtw.cn http://www.morning.fjfjm.cn.gov.cn.fjfjm.cn http://www.morning.hwlk.cn.gov.cn.hwlk.cn http://www.morning.yaqi6.com.gov.cn.yaqi6.com http://www.morning.mgtmm.cn.gov.cn.mgtmm.cn http://www.morning.btqrz.cn.gov.cn.btqrz.cn http://www.morning.lhztj.cn.gov.cn.lhztj.cn http://www.morning.mdtfh.cn.gov.cn.mdtfh.cn http://www.morning.khcpx.cn.gov.cn.khcpx.cn http://www.morning.kjgdm.cn.gov.cn.kjgdm.cn http://www.morning.qtbnm.cn.gov.cn.qtbnm.cn
