建设商务网站的方案,河北爱站网络科技有限公司,网站制作企业,seo推广优化费用序言
在深度学习的浪潮中#xff0c;收缩自编码器#xff08; Compressive Autoencoder, CAE \text{Compressive Autoencoder, CAE} Compressive Autoencoder, CAE#xff09;作为自编码器的一种高级形式#xff0c;正逐步崭露头角。收缩自编码器在保留自编码器核心功能—…序言
在深度学习的浪潮中收缩自编码器 Compressive Autoencoder, CAE \text{Compressive Autoencoder, CAE} Compressive Autoencoder, CAE作为自编码器的一种高级形式正逐步崭露头角。收缩自编码器在保留自编码器核心功能——即数据压缩与重构的基础上引入了更为严格的压缩技术以追求更低维且更具代表性的数据表示。这一特性使得收缩自编码器在数据降维、特征学习、降噪及高效信息处理等方面展现出独特的优势。本文将简要介绍收缩自编码器的概念、原理及其在实际应用中的潜力以期为读者提供一个全面而深入的了解。
收缩自编码器Compressive Autoencoder
收缩自编码器( Rifai et al., 2011a,b \text{Rifai et al., 2011a,b} Rifai et al., 2011a,b) 在编码 h f ( x ) \boldsymbol{h} f(\boldsymbol{x}) hf(x) 的基础上添加了显式的正则项鼓励 f f f 的导数尽可能小 Ω ( h ) λ ∥ ∂ f ( x ) ∂ x ∥ F 2 \Omega(\boldsymbol{h})\lambda\Vert\frac{\displaystyle\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}\Vert_F^2 Ω(h)λ∥∂x∂f(x)∥F2 — 公式1 \quad\textbf{---\footnotesize{公式1}} —公式1惩罚项 Ω ( h ) \Omega(\boldsymbol{h}) Ω(h) 为平方 Frobenius \text{Frobenius} Frobenius范数元素平方之和作用于与编码器的函数相关偏导数的 Jacobian \text{Jacobian} Jacobian矩阵。去噪自编码器和收缩自编码器之间存在一定联系 Alain and Bengio (2013) \text{Alain and Bengio (2013)} Alain and Bengio (2013) 指出在小高斯噪声的限制下当重构函数将 x \boldsymbol{x} x 映射到 r g ( f ( x ) ) \boldsymbol{r} g(f(\boldsymbol{x})) rg(f(x)) 时去噪重构误差与收缩惩罚项是等价的。换句话说 去噪自编码器能抵抗小且有限的输入扰动而收缩自编码器使特征提取函数能抵抗极小的输入扰动。分类任务中基于 Jacobian \text{Jacobian} Jacobian的收缩惩罚预训练特征函数 f ( x ) f(\boldsymbol{x}) f(x)将收缩惩罚应用在 f ( x ) f(\boldsymbol{x}) f(x) 而不是 g ( x ) ) g(\boldsymbol{x})) g(x)) 可以产生最好的分类精度。如深度学习自编码器 - 去噪自编码器篇所讨论应用于 f ( x ) f(\boldsymbol{x}) f(x)的收缩惩罚与得分匹配也有紧密的联系。收缩 ( contractive \text{contractive} contractive) 源于 CAE \text{CAE} CAE弯曲空间的方式。具体来说由于 CAE \text{CAE} CAE训练为抵抗输入扰动鼓励将输入点邻域映射到输出点处更小的邻域。我们能认为这是将输入的邻域收缩到更小的输出邻域。说得更清楚一点 CAE \text{CAE} CAE只在局部收缩——一个训练样本 x \boldsymbol{x} x 的所有扰动都映射到 f ( x ) f(\boldsymbol{x}) f(x) 的附近。 全局来看两个不同的点 x \boldsymbol{x} x 和 x ′ \boldsymbol{x}^\prime x′ 会分别被映射到远离原点的两个点 f ( x ) f(\boldsymbol{x}) f(x) 和 f ( x ′ ) f(\boldsymbol{x}^\prime) f(x′)。 f f f 扩展到数据流形的中间或远处是合理的见图例1中小例子的情况。当 Ω ( h ) \Omega(\boldsymbol{h}) Ω(h) 惩罚应用于 sigmoid \text{sigmoid} sigmoid单元时 收缩 Jacobian \text{Jacobian} Jacobian的简单方式是令 sigmoid \text{sigmoid} sigmoid趋向饱和的 0 0 0 或 1 1 1。这鼓励 CAE \text{CAE} CAE使用 sigmoid \text{sigmoid} sigmoid的极值编码输入点或许可以解释为二进制编码。它也保证了 CAE \text{CAE} CAE可以穿过大部分 sigmoid \text{sigmoid} sigmoid隐藏单元能张成的超立方体进而扩散其编码值。 我们可以认为点 x \boldsymbol{x} x 处的 Jacobian \text{Jacobian} Jacobian矩阵 J \boldsymbol{J} J 能将非线性编码器近似为线性算子。这允许我们更形式地使用 “收缩’’ 这个词。 在线性理论中当 J x \boldsymbol{J}\boldsymbol{x} Jx 的范数对于所有单位 x \boldsymbol{x} x 都小于等于 1 1 1 时 J \boldsymbol{J} J 被称为收缩的。换句话说如果 J \boldsymbol{J} J 收缩了单位球他就是收缩的。我们可以认为 CAE \text{CAE} CAE为鼓励每个局部线性算子具有收缩性而在每个训练数据点处将 Frobenius \text{Frobenius} Frobenius范数作为 f ( x ) f(\boldsymbol{x}) f(x) 的局部线性近似的惩罚。 如深度学习自编码器 - 使用自编码器学习流形篇中描述正则自编码器基于两种相反的推动力学习流形。 在 CAE \text{CAE} CAE的情况下这两种推动力是重构误差和收缩惩罚 Ω ( h ) \Omega(\boldsymbol{h}) Ω(h))。单独的重构误差鼓励 CAE \text{CAE} CAE学习一个恒等函数。单独的收缩惩罚将鼓励 CAE \text{CAE} CAE学习关于 x \boldsymbol{x} x 是恒定的特征。这两种推动力的的折衷产生导数 ∂ f ( x ) ∂ x \displaystyle\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}} ∂x∂f(x) 大多是微小的自编码器。只有少数隐藏单元对应于一小部分输入数据的方向可能有显著的导数。 CAE \text{CAE} CAE的目标是学习数据的流形结构。 使 J x \boldsymbol{J}\boldsymbol{x} Jx 很大的方向 x \boldsymbol{x} x会快速改变 h \boldsymbol{h} h因此很可能是近似流形切平面的方向。 Rifai et al. (2011a,b) \text{Rifai et al. (2011a,b)} Rifai et al. (2011a,b) 的实验显示训练 CAE \text{CAE} CAE会导致 J \boldsymbol{J} J 中大部分奇异值幅值比 1 1 1 小因此是收缩的。然而有些奇异值仍然比 1 1 1大因为重构误差的惩罚鼓励 CAE \text{CAE} CAE对最大局部变化的方向进行编码。对应于最大奇异值的方向被解释为收缩自编码器学到的切方向。理想情况下这些切方向应对应于数据的真实变化。比如一个应用于图像的 CAE \text{CAE} CAE应该能学到显示图像改变的切向量如深度学习自编码器 - 使用自编码器学习流形篇 - 图例1图中物体渐渐改变状态。如图例1所示实验获得的奇异向量的可视化似乎真的对应于输入图象有意义的变换。 收缩自编码器正则化准则的一个实际问题是尽管它在单一隐藏层的自编码器情况下是容易计算的但在更深的自编码器情况下会变的难以计算。 根据 Rifai et al. (2011a) \text{Rifai et al. (2011a)} Rifai et al. (2011a) 的策略分别训练一系列单层的自编码器并且每个被训练为重构前一个自编码器的隐藏层。这些自编码器的组合就组成了一个深度自编码器。因为每个层分别训练成局部收缩深度自编码器自然也是收缩的。这个结果与联合训练深度模型完整架构带有关于 Jacobian \text{Jacobian} Jacobian的惩罚项获得的结果是不同的但它抓住了许多理想的定性特征。 另一个实际问题是如果我们不对解码器强加一些约束收缩惩罚可能导致无用的结果。 例如 编码器将输入乘一个小常数 ϵ \epsilon ϵ 解码器将编码除以一个小常数 ϵ \epsilon ϵ。随着 ϵ \epsilon ϵ 趋向于 0 0 0 编码器会使收缩惩罚项 Ω ( h ) \Omega(\boldsymbol{h}) Ω(h) 趋向于 0 0 0 而学不到任何关于分布的信息。同时 解码器保持完美的重构。 Rifai et al. (2011a) \text{Rifai et al. (2011a)} Rifai et al. (2011a) 通过绑定 f f f 和 g g g 的权重来防止这种情况。 f f f 和 g g g 都是由线性仿射变换后进行逐元素非线性变换的标准神经网络层组成因此将 g g g 的权重矩阵设成 f f f 权重矩阵的转置是很直观的。 图例1通过局部PCA和收缩自编码器估计的流形切向量的图示。 通过局部PCA和收缩自编码器估计的流形切向量的图示。 说明 流形的位置由来自 CIFAR-10 \text{CIFAR-10} CIFAR-10数据集中狗的输入图像定义。切向量通过输入到代码映射的 Jacobian \text{Jacobian} Jacobian矩阵 ∂ h ∂ x \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{x}} ∂x∂h 的前导奇异向量估计。虽然局部 PCA \text{PCA} PCA和 CAE \text{CAE} CAE都可以捕获局部切方向但 CAE \text{CAE} CAE能够从有限训练数据形成更准确的估计因为它利用了不同位置的参数共享共享激活的隐藏单元子集。 CAE \text{CAE} CAE切方向通常对应于物体的移动或改变部分例如头或腿。经 Rifai et al. (2011c) \text{Rifai et al. (2011c)} Rifai et al. (2011c) 许可转载此图。
总结
收缩自编码器通过其高效的压缩机制实现了对输入数据更为紧凑和精确的特征提取。相比传统自编码器收缩自编码器在保持数据质量的同时进一步降低了数据维度减少了存储和传输的开销提高了计算效率。此外其强大的降噪和特征学习能力使得收缩自编码器在数据预处理、特征工程及异常检测等领域具有广泛的应用前景。随着深度学习技术的不断发展收缩自编码器将持续进化为更多复杂数据的处理与分析提供有力支持。
往期内容回顾
深度学习自编码器 - 去噪自编码器篇 深度学习自编码器 - 使用自编码器学习流形篇
