网站开发维护运维,扬州网站建设价格低,新鸿儒网站,计算机专业大学排名一、什么是转置卷积
1、转置卷积的背景 通常#xff0c;对图像进行多次卷积运算后#xff0c;特征图的尺寸会不断缩小。而对于某些特定任务 (如图像分割和图像生成等)#xff0c;需将图像恢复到原尺寸再操作。这个将图像由小分辨率映射到大分辨率的尺寸恢复操作#xff0c…一、什么是转置卷积
1、转置卷积的背景 通常对图像进行多次卷积运算后特征图的尺寸会不断缩小。而对于某些特定任务 (如图像分割和图像生成等)需将图像恢复到原尺寸再操作。这个将图像由小分辨率映射到大分辨率的尺寸恢复操作叫做上采样 (Upsample)如下图所示 对于上采样(up-sampling)操作目前有着一些插值方法进行处理
最近邻插值(Nearest neighbor interpolation)双线性插值(Bi-Linear interpolation)双立方插值(Bi-Cubic interpolation) 然而这些上采样方法都是基于人们的先验经验来设计的在很多场景中效果并不理想 (如规则固定、不可学习)。因此我们希望神经网络自己学习如何更好地插值即接下来要介绍的转置卷积。 与传统的上采样方法相比转置卷积的上采样方式并非预设的插值方法而是同标准卷积一样具有可学习的参数可通过网络学习来获取最优的上采样方式。
2、对反卷积的误解 曾经转置卷积又称反卷积 (Deconvolution)。zfnet在他们可视化的时候利用到了《Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolutional networks for mid and high level featurelearning. In ICCV, 2011》这篇论文中的反卷积操作进行特征图的可视化那什么是deconv操作呢实际上deconv是有误导性的令人误认为是卷积的逆运算实际上cnn的卷积是不可逆的deconv实际上是转置卷积Transposed Convolution是对矩阵进行上采样的一种方法。deconv的作用一般有以下几种
1unsupervised learning无监督学习其实就是covolutional sparse coding这里的deconv只是观念上和传统的conv反向传统的conv是从图片生成feature map而deconv是用unsupervised的方法找到一组kernel和feature map让它们重建图片。2CNN可视化通过deconv将CNN中conv得到的feature map还原到像素空间以观察特定的feature map对哪些pattern的图片敏感这里的deconv其实不是conv的可逆运算只是conv的transpose所以tensorflow里一般取名叫transpose_conv。3upsampling上采样在pixel-wise prediction比如image segmentation以及image generation中由于需要做原始图片尺寸空间的预测而卷积由于stride往往会降低图片size 所以往往需要通过upsampling的方法来还原到原始图片尺寸deconv就充当了一个upsampling的角色。在语义分割中会在编码器中用卷积层提取特征然后在解码器中恢复原先尺寸从而对原图中的每个像素分类。该过程同样需用转置卷积。经典方法有 FCN 和 U-Net。
未完待续...
