开发软件下载网站,网站开发设计过程,四川超宇建设集团网站,兼职网站编辑怎么做Non-local Neural Networks#xff08;非局部神经网络#xff09;#xff1a;使用自注意力机制捕获远程依赖。 论文#xff1a; https://arxiv.org/pdf/1711.07971.pdf 源码#xff1a; 长距离依赖关系#xff0c;顾名思义#xff0c;是要和远程建立关系#xff0c;在l…Non-local Neural Networks非局部神经网络使用自注意力机制捕获远程依赖。 论文 https://arxiv.org/pdf/1711.07971.pdf 源码 长距离依赖关系顾名思义是要和远程建立关系在long-range的情况下有关联。在cv领域就是考虑一个像素的时候同时考虑其邻域甚至是邻域的邻域....能够建模两个较远像素之间的关系例如是不是同属一个类等等。 引用博文MedT 一、背景和出发点
卷积运算是一次处理一个局部邻域的构建块在捕获远程依赖关系时有许多的局限例如它的计算效率很低它会导致优化困难等。作者受经典的非局部均值方法non-local means的启发提出了一种非局部模块作为一种高效、通用的组件用于在深度神经网络中捕获远程依赖关系。
该非局部模块结合了多头注意力机制。 二、创新点
1. 与RNN和CNN的渐进行为相反非局部运算通过计算任意两个位置之间的交互来直接捕获远程依赖而不管它们的位置距离如何。
2. 正如本文在实验中所展示的非局部操作是高效的即使只有几层例如5层也能达到最佳效果。
3. 该非局部操作保持可变的输入大小并且可以轻松地与其他操作例如我们将使用的卷积组合。 三、Non-local Neural Networks非局部神经网络
3.1 非局部操作的一般定义 其中 是输入特征中要被计算的位置 是 所有可能关联到位置的索引。 是位置间的类同标量函数用于计算两位置间的相关性。 是位置输入信号函数对输入的特征进行赋权C(x)是归一化因子。 上述的非局部操作看后可能会感到一头雾水我们需要简单了解一下前继论文non-local means非局部均值滤波 算法思想图像的长边缘纹理结构都是相似的因此在同一幅图像中 对相似区域进行分类并加权平均得到的去噪图像也应该能提高去噪效果。 方法NLM是非局部均值操作对每个滤波点都利用了整张图像的信息。对像素点 做NLM操作先遍历整张图像求出 与其他像素点的相似度再与不同位置的像素点的灰度化值相乘根据邻域间的相似性均值大小确定像素的权值累加求均值就得到 的滤波值。 公式 其中表示为 的滤波值 表示像素点 的灰度值需要遍历全图 是 的权重由 , 两像素点之间的相似度来得到。 如果仅仅比较 像素值来作为相似度的依据不能正确反映 的关系所以通常选其邻域N ( i ) , N ( j )邻域大小可以自己选择。 参考Non-Local Means非局部均值滤波、 均值、中值、高斯、non-local means算法详解 、 Non-local Net理解_非局部模块 由上述的non-local means转到本文的Non-local操作的定义可知 用于计算像素域 和 的相似度作为像素域 的权重这样通过累加求均值获得的便捕获了整张图像的长距离依赖关系。(可以看作整张图像与在位置上的原像素的相似度相乘求均值得到的。) 3.2 实例
计算像素邻域间的相似性的四种方法
1. 高斯函数 2. 嵌入式高斯函数 3. 点乘 4. Concatenation标注[40]提出的方法 其中[·,·] 表示维度拼接操作。 四、Non-local BlockNL模块
