淘宝站内推广方式有哪些,沈阳免费网站建站模板,长沙做网站智投未来,要想用谷歌访问外国网站怎么做一、论文
研究领域#xff1a; 图像特征点匹配论文#xff1a;SuperGlue: Learning Feature Matching with Graph Neural NetworksCVPR 2020veido论文code 二、论文简述
[参考] [参考] [参考] 三、论文详述
SuperGlue#xff1a;使用图神经网络学习特征匹配
本文介绍了… 一、论文
研究领域 图像特征点匹配论文SuperGlue: Learning Feature Matching with Graph Neural NetworksCVPR 2020veido论文code 二、论文简述
[参考] [参考] [参考] 三、论文详述
SuperGlue使用图神经网络学习特征匹配
本文介绍了SuperGlue一种神经网络通过共同寻找对应点和拒绝不匹配点来匹配两组本地特征。分配估计通过解决一个可微的最优运输问题其成本预测的图形神经网络。我们引入了一个灵活的上下文聚合机制的基础上的注意力使SuperGlue的原因有关的基础3D场景和功能分配联合。与传统的手工设计的启发式算法相比我们的技术通过从图像对进行端到端的训练来学习3D世界的几何变换和规则。SuperGlue优于其他学习方法并在具有挑战性的真实世界室内和室外环境中的姿态估计任务上取得了最先进的结果。所提出的方法在现代GPU上实时执行匹配并且可以容易地集成到现代SfM或SLAM系统中 Introduction
图像中的点之间的对应关系对于在几何计算机视觉任务诸如同时定位和映射SLAM和运动恢复结构SfM中估计3D结构和相机姿态是必不可少的。这种对应性通常通过匹配局部特征来估计这是一种被称为数据关联的过程。大的视点和光照变化、遮挡、模糊和缺乏纹理是使2D到2D数据关联特别具有挑战性的因素。
在本文中我们提出了一种新的思维方式的特征匹配问题。本文提出了一种基于SuperGlue神经网络的局部特征匹配算法该算法不需要学习任务不可知的局部特征然后通过简单的匹配启发式算法和技巧来完成匹配过程。在SLAM环境中通常[8]将问题分解为视觉特征提取前端和束调整或姿势估计后端我们的网络直接位于中间- SuperGlue是一个可学习的中间端见图1。 与SuperGlue的特征匹配。我们的方法从现成的局部特征建立逐点对应它充当手工或学习的前端和后端之间的中间端。SuperGlue使用图形神经网络和注意力来解决分配优化问题并优雅地处理部分点的可见性和遮挡从而产生部分分配。 在本文中学习特征匹配被视为寻找两组局部特征之间的部分分配。通过求解线性分配问题我们重新审视了经典的基于图的匹配策略当将线性分配问题放松为最优运输问题时可以微分地求解线性分配问题。该优化的成本函数由图神经网络GNN预测。受Transformer [61]成功的启发它使用自我图像内和交叉图像间注意力来利用关键点的空间关系及其视觉外观。该公式强制执行预测的分配结构同时使成本能够学习复杂的先验知识优雅地处理遮挡和不可重复的关键点。我们的方法是从图像对中进行端到端的训练--我们从一个大型的带注释数据集中学习姿势估计的先验知识使SuperGlue能够推理3D场景和分配。我们的工作可应用于各种需要高质量特征对应的多视图几何问题见图2。 图2SuperGlue对应关系。对于这两个具有挑战性的室内图像对使用SuperGlue进行匹配可以获得准确的姿势而其他学习或手工制作的方法则会失败对应关系被极线误差着色。
我们展示了SuperGlue与手工制作的匹配器和学习的内点分类器相比的优越性。当与SuperPoint [18]一种深度前端相结合时SuperGlue推进了室内和室外姿势估计任务的最新技术并为端到端深度SLAM铺平了道路。 Related work
局部特征匹配通常通过以下步骤来执行
i检测兴趣点
i计算视觉描述符
iii将这些与最近邻NN搜索进行匹配
iv过滤不正确的匹配
最后v估计几何变换。
21世纪初开发的经典管道通常基于SIFT [31]过滤器匹配Lowe比率测试[31]相互检查和启发式方法如邻域共识[5910649]并使用RANSAC [2143]等鲁棒求解器找到变换。
最近的深度学习匹配工作通常集中在使用卷积神经网络CNN从数据中学习更好的稀疏检测器和局部描述符[1819374569]。为了提高它们的区分度一些作品使用区域特征[32]或对数极坐标补丁[20]明确地查看更广泛的背景。其他方法通过将其分类为内点和离群点来学习过滤匹配[3344771]。这些操作仍然通过NN搜索估计的匹配集因此忽略分配结构并丢弃视觉信息。到目前为止学习执行匹配的作品集中在密集匹配[46]或3D点云[65]上并且仍然表现出相同的限制。相比之下我们的可学习的中间端同时执行上下文聚合匹配和过滤在一个单一的端到端架构。
图匹配问题通常被公式化为二次分配问题其是NP难的需要昂贵、复杂并且因此不切实际的求解器[30]。对于局部特征2000年代的计算机视觉文献[52757]使用了许多启发式的手工成本使其变得复杂和脆弱。Caetano等人[9]学习更简单的线性分配的优化成本但只使用浅层模型而我们的SuperGlue使用深度神经网络学习灵活的成本。与图匹配相关的是最优运输问题[63] -它是一个广义线性分配具有有效而简单的近似解即Sinkhorn算法[551239]。 点云等集合的深度学习旨在通过聚合元素之间的信息来设计置换等不变函数。一些作品通过全局池化[704015]或实例归一化[603332]平等地对待所有元素而其他作品则专注于坐标或特征空间中的局部邻域[4166]。Attention [61646226]可以通过关注特定的元素和属性来执行全局和数据相关的局部聚合因此更加灵活。通过观察到自我注意力可以被视为完整图上的消息传递图神经网络[234]的实例我们将注意力应用于具有多种类型边缘的图类似于[2872]并使SuperGlue能够学习关于两组局部特征的复杂推理。 The SuperGlue Architecture
动机在图像匹配问题中可以利用世界的一些规律3D世界在很大程度上是平滑的有时是平面的如果场景是静态的则给定图像对的所有对应关系都从单个对极变换导出并且一些姿势比其他姿势更可能。此外2D关键点通常是突出的3D点的投影如角点或斑点因此图像之间的对应关系必须遵守某些物理约束
i关键点可以在另一图像中具有至多单个对应关系
ii由于检测器的遮挡和故障一些关键点将不匹配。用于特征匹配的有效模型应旨在找到相同3D点的重投影之间的所有对应关系并识别没有匹配的关键点。
我们将SuperGlue见图3表述为解决一个优化问题其成本由深度神经网络预测。这减轻了对领域专业知识和启发式的需求-我们直接从数据中学习相关的先验知识。 在线性规划问题中可能会有以下形式的约束条件 1. Ax ≤ b不等式约束 2. Ax b相等约束 其中 - A 是代表约束条件的系数矩阵。 - x 是决策变量向量。 - b 是右侧的常量向量。 假设有一个相等约束 引入松弛变量 s 将其转换为不等式约束 Ax s b其中 s 为非负。 松弛变量 s 的作用是衡量在满足相等约束条件时有多少 松弛 或剩余。 如果 s 为零表示完全满足相等约束条件。 如果 s 为正数则表示平等约束条件没有得到充分利用还存在一定的松弛。 如果 s 为负数则表示违反了相等约束条件。 加入松弛变量后线性规划求解器就能处理不等式并找到尽可能满足相等约束条件的解决方案即使这些约束条件因其他约束条件而无法完全满足。 总之引入松弛变量是为了将相等约束条件转化为不等式约束条件同时确保非负性这样就可以使用不等式约束问题的标准技术来求解线性规划问题。
