网站开发问题论文,做网站注册会员加入实名认证功能,wordpress单点登录,百度地图 添加到网站论文链接#xff1a;https://arxiv.org/abs/2304.13031 开源代码仓库地址#xff1a;https://github.com/AIR-DISCOVER/DQS3D 方法效果对比图#xff1a;有效在半监督情况下处理临近小物体 01. 简介
本文旨在解决三维室内场景中高昂的标注成本问题#xff0c;特别关注半监… 论文链接https://arxiv.org/abs/2304.13031 开源代码仓库地址https://github.com/AIR-DISCOVER/DQS3D 方法效果对比图有效在半监督情况下处理临近小物体 01. 简介
本文旨在解决三维室内场景中高昂的标注成本问题特别关注半监督条件下的三维物体检测。为了解决这一问题我们采用了强大的自学习框架该框架在半监督学习中取得了显著进展。虽然这种方法在图像级别或像素级别预测方面表现出色但在目标检测问题中目标 Proposal 匹配后文皆称为候选框匹配的挑战依然存在。
目前的方法通常采用两阶段流程第一阶段对生成的候选框进行启发式选择然后进行匹配导致训练信号在空间上呈现稀疏分布的特点。与之不同的是我们提出了一种单阶段的半监督三维检测算法通过此算法我们可以在空间上获得密集的监督信号。
然而我们的算法也面临一个基础问题即点到体素离散化引起的量化误差这必然导致体素域中两个不同数据增广视图之间的不对齐。为了解决这个问题我们推导并实现了一种闭式解可以在线地补偿这种不对齐现象。通过这个方法我们取得了显著的成果例如仅使用 20% 的标注数据我们就成功将 ScanNet 的 mAP0.5 从 35.2% 提升至 48.5%。
02. 方法
2.1 密集匹配
为了解决半监督三维物体检测任务基于教师-学生网络Mean Teachers的自训练方法强制学生网络和教师网络的预测保持一致。因此建立在数据增广对齐视图意义下的学生和教师预测之间的映射是至关重要的我们称之为匹配。 以前的自训练方法 SESS 和 3DIoUMatch 采用候选框匹配来对齐学生网络和教师网络的预测对象称为候选框通常通过最近中心策略完成。更具体地说每个教师候选框与其中心最接近的学生候选框对齐如图中所示。请注意虚线框仅用于展示教师输出的空间位置。 尽管教师候选框通常比学生候选框更准确但我们认为候选框匹配是欠佳的可能会阻碍从教师到学生的知识传递。这种无效性主要归因于图中所示的两种不利情况这是由于空间中候选框的稀疏性不可避免造成的1相邻的教师候选框对齐到同一个学生候选框导致对学生的监督模糊。2与任何教师候选框相距较远的学生候选框对齐失败无法从教师候选框获得监督。
为了解决上述问题一个充分条件是学生和教师预测之间具有双射关系。我们注意到现在流行的目标检测器是在空间上稠密的即可以逐体素地进行物体预测的启发。同时学生和教师视图的体素锚点在空间上是相互对应的。因此我们提出了一种叫做“密集匹配”的方法它简单地将相应体素锚点处的预测进行配对。我们相信密集匹配方案具有以下优势 每个预测对象由多个边界框预测来表示其回归得分在不同的体素锚点处有所变化这种现象对密集预测模型施加空间正则化并提高了模型对局部几何的感知能力。 通过体素锚点的对应关系学生和教师预测之间所需的双射关系自然建立。
这消除了前面提到的两种不利情况。基于密集匹配的优势我们在下一节中提出了一个专门针对密集匹配方案的自训练框架。
2.2 自训练框架 2.3 量化误差及其解决方案 03. 实验
继承 SESS 和 3DIoUMatch对于半监督三维物体检测的研究我们使用 ScanNet v2 和 SUN RGB-D 数据集对我们的框架进行了评估。
首先我们比较了我们提出的密集匹配方法和传统的稀疏的候选框匹配方法之间的差异。 我们通过展示密集匹配策略生成的伪标签的数量和质量来验证我们提出方法的优越性展示结果如下 密集匹配策略生成的伪标签的数量和质量 从上图中可以看到与之前的几种方法相比我们的方法能够生成更多且更具质量的伪标签从而自然地在半监督三维物体检测中表现更优异的性能 与之前方法的性能对比表 我们在 ScanNet 和 SUN RGB-D 数据集上进行了广泛的实验并报告了 DQS3D 及先前方法在半监督和全监督设置下的性能。 在半监督设置中我们对训练集的不同部分5%10% 和 20%进行标记。 我们在标记和未标记的数据集上都施加了一致性损失。 而在全监督设置中我们将整个数据集都视为标记和未标记的数据集以检查我们提出的框架是否能够从伪标签的额外监督中进一步学习。实验结果见上表。
从表中我们可以看到我们的方法在半监督三维物体检测的基准测试中对于 ScanNet 和 SUN RGB-D 数据集均大幅超越了先前的候选框匹配方法并取得了新的最先进结果。 值得注意的是mAP0.50 的提升普遍比 mAP0.25 的提升更大。 我们将这归因于我们的框架产生的伪标签的密集性它为学生模型在空间上提供了更精细的监督信号。 这样预测的物体边界框在更大程度上与目标物体重叠有助于在更高的 IoU 阈值下实现更明显的性能提升。
然后我们做了一系列消融实验来证明我们提出的每个部件的有效性。 对于量化误差校正模块的消融实验 量化误差校正模块。 为了展示我们提出的量化误差校正QEC模块的有效性我们在 ScanNet 数据集上进行了实验其中 20% 的训练集带有标签。在实验中我们使用不同的体素大小来训练我们的提出框架并对是否施加校正项进行对比实验。除了在“验证”集上的 mAP{0.25,0.50} 之外我们还报告了“有标签训练”集上预测的边界框与目标真实边界框之间的加权 IoU。物体的权重由预测的中心性度量值决定。
我们的实验结果如上表所示。 值得注意的是在所有的体素大小下使用校正项进行训练的实验性能都比没有使用该项的实验性能更高最高可达 2.49% IoU。 这些非常显著的提升表明了量化误差校正QEC模块在解决量化误差这个固有问题上的有效性从而提高了检测的准确性。 一致性损失。 我们在带有 20% 标签数据的 ScanNet 数据集上进行了一致性损失的对比实验。 实验结果如上表所示。 根据结果显示缺失了边界框预测参数的一致性损失对性能影响最大mAP0.25 下降了 2.0%mAP0.50 下降了 3.2%而其他两个一致性损失的缺失也会导致性能下降。 这些结果表明提出的一致性损失的每个组成部分都是必要的。
04. 总结
本论文提出了 DQS3D 这一自学习半监督三维物体检测框架。与传统的 Proposal 匹配方法不同DQS3D 利用了密集匹配并且解决了量化误差的问题在半监督条件下在两个广泛使用的基准数据集 ScanNet v2 和 SUN RGB-D 上取得了显著的改进。
此外论文还提供了证据表明使用密集预测可以产生更有意义的伪标签并促进自学习的效果。我们希望本文介绍的方法论和基本技术能够促进更多未来半监督学习领域的研究。 作者高焕昂 关于TechBeat人工智能社区
▼ TechBeat(www.techbeat.net)隶属于将门创投是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地分享自己最新工作的沃土在AI进阶之路上的升级打怪的根据地 更多详细介绍TechBeat一个荟聚全球华人AI精英的学习成长社区
