当前位置：首页 > news >正文

泉州网站建设制作如何自己做网站

news 2025/10/23 16:09:53

泉州网站建设制作,如何自己做网站,全返利网站建设,华强北网站建设原创 | 文 BFT机器人 01 摘要论文研究了室内和室外场景中基于RGBD数据的3D目标检测。论文的方法不仅仅依赖于3D方案#xff0c;而是利用成熟的2D对象检测器和先进的3D深度学习进行对象定位#xff0c;即使是小对象也能实现高效率和高召回。直接在原始点云中学习#xff0… 原创 | 文 BFT机器人 01 摘要论文研究了室内和室外场景中基于RGBD数据的3D目标检测。论文的方法不仅仅依赖于3D方案而是利用成熟的2D对象检测器和先进的3D深度学习进行对象定位即使是小对象也能实现高效率和高召回。直接在原始点云中学习可以在强遮挡或非常稀疏的点下也能够精确地估计3D边界框。在KITTI和SUN RGB-D 3D检测基准测试中此方法展现出显著的优势不仅具有实时能力而且在性能上表现出色。 02 介绍这篇论文介绍了一种用于从RGB-D数据中进行3D物体检测的新框架称为Frustum PointNets。该方法通过将深度图像转换为3D点云并利用PointNets网络处理点云数据实现了在三维空间中对物体进行分类和定位的任务。与以往的方法不同该方法以3D为中心直接在3D空间中操作点云数据而不是将RGB-D数据视为2D地图。通过在3D坐标上连续应用变换点云被对齐成一系列更受约束和规范的帧使得3D几何图案更加明显从而更容易进行3D物体检测。此外该方法可以更好地利用3D空间的几何和拓扑结构使得学习者可以更自然地参数化和捕获许多几何结构如重复、平面性和对称性。论文展示了该方法在KITTI 3D物体检测和鸟瞰图检测等基准测试中取得了领先地位。与之前的技术相比Frustum PointNets在3D汽车AP上的效率提高了8.04运行速度高达5 fps。同时在室内RGBD数据上该方法在SUN-RGBD基准测试中也取得了显著的性能提升。论文的主要贡献包括提出了新的框架Frustum PointNets展示了如何训练3D物体探测器并在基准测试中实现了最先进的性能同时提供了广泛的定量评估和定性结果来验证该方法的优势和局限性。二维目标检测器 03 相关工作基于RGB-D数据的3D目标检测此节介绍了解决3D检测问题的不同方法包括基于前视图像的方法、基于鸟瞰图的方法以及基于3D的方法。前视图像的方法利用RGB图像和形状先验或遮挡模式进行三维边界框推断而基于鸟瞰图的方法则将LiDAR点云投影到鸟瞰图中使用区域建议网络进行三维边界框建议。然而这些方法在检测小物体和多物体场景方面存在一定滞后和适应性不足。相比之下研究人员提出了基于3D点云的方法。一些方法使用支持向量机训练手工设计的几何特征来进行3D目标分类然后使用滑动窗口搜索定位目标。其他方法将整个场景的点云转换为体积网格并使用3D体积CNN进行目标提议和分类。然而由于高昂的三维卷积成本和大的搜索空间这些方法的计算成本较高。最近也有一些2D驱动的3D目标检测方法但他们使用的是手工制作的特征和简单的全连接网络速度和性能上都不是最优的。相较于这些方法该研究提出了一种更灵活有效的解决方案即使用深度3D特征学习PointNets。将深度数据表示为点云并利用先进的3D深度网络PointNets能更有效地利用3D几何结构。这种方法在解决3D检测问题上具有优势。点云上的深度学习此节总结了现有的在点云处理方面的方法。大多数方法在进行特征学习之前都会将点云转换为图像或体积的形式。有些方法采用体网格方法将点云转换为体网格并将图像CNN泛化为3D CNN。另一些方法设计了更高效的3D CNN或神经网络架构来利用点云的稀疏性。然而这些基于CNN的方法仍然需要对点云进行量化处理。最近出现了一些新型的网络架构如PointNets直接使用原始的点云数据而不进行转换。PointNets已经在单个对象分类和语义分割方面得到了应用而本文则探索了如何将这种架构扩展应用于3D对象检测。 04 三维检测与Frustum PointNets 如图所示三维目标检测系统包括三个模块截锥体建议、三维实例分割和三维模态边界框估计。首先使用二维CNN对象检测器对二维图像区域进行检测和分类。然后将这些二维区域转换为3D截锥体提案。对于每个截锥体内的点云每个点具有n个点和c个通道如XYZ坐标和强度通过对每个点进行二值分类来分割出对象实例。根据分割后的目标点云具有m个点和c个通道使用轻量级回归点网(T-Net)进行平移对齐使其质心接近模态盒3D边界框的中心。最后使用盒估计网络对目标的模态三维边界框进行估计。 Frustum建议利用二维目标检测器在RGB图像中提取二维目标区域并对这些区域进行分类。然后利用相机投影矩阵将这些二维边界框提升到3D截锥体中定义了物体的3D搜索空间。接下来他们收集截锥内的所有点形成一个截锥点云。由于截锥可能朝向多个方向点云的位置变化较大所以为了提高算法的旋转不变性他们通过旋转截锥体的中心轴使其与图像平面正交。这个过程被称为从RGB-D数据中提取截锥体点云的截锥体建议生成。他们采用了基于FPN的模型并在ImageNet分类和COCO目标检测数据集上预训练模型权重。然后在KITTI 2D目标检测数据集上进一步微调模型权重以分类和预测3D模态边界框。有关二维检测器训练的更多细节可在论文附录中找到。三维实例分割在给定一个二维图像区域及其对应的三维图像的情况下实现三维目标检测的方法。论文指出直接在深度图上使用二维CNN回归三维对象位置并不容易因为遮挡和混乱的情况在自然场景中很常见可能导致严重的3D定位问题。为了解决这个问题论文建议在3D点云中进行实例分割而不是在2D图像中进行。通过基于点云的圆锥体网络实现三维实例分割然后能够实现基于残差的三维定位预测三维边界框的中心在一个局部坐标系中。这种方法可以应对不同传感器设置下物体距离的变化。该网络在截锥体中提取点云并预测每个点属于感兴趣对象的概率。每个截锥体只包含一个感兴趣的对象而其他点可能是不相关的区域、遮挡物体或位于感兴趣对象后面的实例。网络通过学习遮挡和杂波模式并识别某一类物体的几何形状来进行分割。在多类检测情况下还利用2D检测器的语义信息进行更好的实例分割。经过3D实例分割后提取被分类为感兴趣对象的点并进一步规范化其坐标以提高算法的平移不变性。作者故意不缩放点云以保持局部点云的实际大小有助于框大小的估计。三维模态边界框估计给定分割的对象点在3D掩模坐标中该模块通过使用盒回归PointNet和预处理变压器网络来估计对象的面向模态的3D边界框。论文提出了基于T-Net的学习三维对齐方法。尽管我们已经对被分割的对象点按照质心位置对齐但发现掩模坐标框的原点可能离模态盒中心很远。为此论文引入了轻量级回归PointNetT-Net用于估计完整对象的真实中心并通过转换坐标将预测的中心调整为原点。T-Net的架构和训练与之前的工作类似可以看作是一种特殊类型的空间变压器网络STN。与原始STN不同的是论文采用显式监督来预测从掩模坐标原点到真实物体中心的中心残差。对于给定3D物体坐标中的物体点云盒估计网络用于预测给定3D物体点云中的物体的模态边界框即使该物体的一部分不可见也能进行预测。网络架构类似于对象分类但不再输出对象分类分数而是输出3D边界框的参数。在参数化3D边界框时论文采用中心cx, cy, cz、大小h, w, l和朝向角θ沿上轴来表示。我们采用残差方法对框的中心进行估计。盒估计网络预测的中心残差与之前的T-Net中心残差和被掩点的质心结合从而恢复绝对中心。对于盒的大小和航向角度我们采用之前的工作中的方法使用分类和回归混合公式。具体来说我们预定义了N个大小的模板和N个相等间隔角度的框。论文的模型将尺寸/角度分类到预定义的类别并预测每个类别的残差值来调整高度、宽度、长度和角度。最后净输出总共为3 4×NS 2×NH数。多任务损失训练论文优化了涉及的三个网络3D实例分割PointNet, T-Net和模态盒估计PointNet的多任务损失。针对最终的三维框精度进行优化引入了一种新的正则化损失即角损失。该损失旨在优化所有三个参数中心、大小和方向以获得最佳的三维框估计特别是在IoU度量下避免航向角度的偏离对三维框的精度产生主导影响。通过角损失的加入可以实现对中心、大小和方向等参数的共同优化从而提高三维框的准确度。 05 实验实验分为三个部分。首先比较了KITTI和SUN-RGBD上最先进的3D目标检测方法。其次论文提供了深入的分析来验证我们的设计选择。最后展示了定性结果并讨论了论文方法的优势和局限性。 Frustum PointNet模型的实验结果和观察。主要观察如下对于合理距离内未遮挡物体的简单情况模型输出的3D实例分割蒙版和3D边界框非常准确。模型甚至可以从部分数据中预测正确的模态3D框即使使用很少的点。这些结果对于人类来说仅仅使用点云数据来注释是困难的。在一些情况下虽然在图像中定位具有许多附近甚至重叠的2D框的物体可能具有挑战性但转换到3D空间后定位变得更容易。模型的一些失败模式表明可能需要改进的方向。例如在稀疏点云中姿态和大小估计可能不准确图像特征可能有助于解决这个问题。当一个截锥体中有来自同一类别的多个实例时模型可能会输出混合的分割结果。如果能够在每个截锥体中提出多个3D边界框可能可以缓解这个问题。 2D检测器有时会因为光线较暗或遮挡较强而错过目标但三维实例分割和模态三维框估计PointNets并不局限于RGB视图建议也可以扩展到鸟瞰图中提出的3D区域。总的来说该模型在许多情况下表现良好但也面临一些挑战和改进的空间。作者 | 淳豪排版 | 居居手更多精彩内容请关注公众号BFT机器人本文为原创文章版权归BFT机器人所有如需转载请与我们联系。若您对该文章内容有任何疑问请与我们联系将及时回应。
文章转载自：
http://www.morning.qqhersx.com.gov.cn.qqhersx.com
http://www.morning.kgnrh.cn.gov.cn.kgnrh.cn
http://www.morning.yggwn.cn.gov.cn.yggwn.cn
http://www.morning.ypcd.cn.gov.cn.ypcd.cn
http://www.morning.kqglp.cn.gov.cn.kqglp.cn
http://www.morning.fsnhz.cn.gov.cn.fsnhz.cn
http://www.morning.ryfpx.cn.gov.cn.ryfpx.cn
http://www.morning.qcbhb.cn.gov.cn.qcbhb.cn
http://www.morning.psxwc.cn.gov.cn.psxwc.cn
http://www.morning.fksrg.cn.gov.cn.fksrg.cn
http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn
http://www.morning.pszw.cn.gov.cn.pszw.cn
http://www.morning.npmx.cn.gov.cn.npmx.cn
http://www.morning.lpmlx.cn.gov.cn.lpmlx.cn
http://www.morning.xbwqg.cn.gov.cn.xbwqg.cn
http://www.morning.vvdifactory.com.gov.cn.vvdifactory.com
http://www.morning.kjyhh.cn.gov.cn.kjyhh.cn
http://www.morning.krkwh.cn.gov.cn.krkwh.cn
http://www.morning.xhddb.cn.gov.cn.xhddb.cn
http://www.morning.ykrck.cn.gov.cn.ykrck.cn
http://www.morning.csznh.cn.gov.cn.csznh.cn
http://www.morning.lzttq.cn.gov.cn.lzttq.cn
http://www.morning.yldgw.cn.gov.cn.yldgw.cn
http://www.morning.kbqbx.cn.gov.cn.kbqbx.cn
http://www.morning.rhdln.cn.gov.cn.rhdln.cn
http://www.morning.sqskm.cn.gov.cn.sqskm.cn
http://www.morning.wjrq.cn.gov.cn.wjrq.cn
http://www.morning.tbhlc.cn.gov.cn.tbhlc.cn
http://www.morning.nfbkz.cn.gov.cn.nfbkz.cn
http://www.morning.tpqzs.cn.gov.cn.tpqzs.cn
http://www.morning.jpnw.cn.gov.cn.jpnw.cn
http://www.morning.nhdw.cn.gov.cn.nhdw.cn
http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn
http://www.morning.ltqtp.cn.gov.cn.ltqtp.cn
http://www.morning.ljfjm.cn.gov.cn.ljfjm.cn
http://www.morning.tnhmp.cn.gov.cn.tnhmp.cn
http://www.morning.pntzg.cn.gov.cn.pntzg.cn
http://www.morning.yfmwg.cn.gov.cn.yfmwg.cn
http://www.morning.krklj.cn.gov.cn.krklj.cn
http://www.morning.hknk.cn.gov.cn.hknk.cn
http://www.morning.ghqyr.cn.gov.cn.ghqyr.cn
http://www.morning.kfclh.cn.gov.cn.kfclh.cn
http://www.morning.lrnfn.cn.gov.cn.lrnfn.cn
http://www.morning.wrkcw.cn.gov.cn.wrkcw.cn
http://www.morning.fynkt.cn.gov.cn.fynkt.cn
http://www.morning.jwtwf.cn.gov.cn.jwtwf.cn
http://www.morning.txkrc.cn.gov.cn.txkrc.cn
http://www.morning.jnrry.cn.gov.cn.jnrry.cn
http://www.morning.qpntn.cn.gov.cn.qpntn.cn
http://www.morning.lwsct.cn.gov.cn.lwsct.cn
http://www.morning.qlhwy.cn.gov.cn.qlhwy.cn
http://www.morning.kryr.cn.gov.cn.kryr.cn
http://www.morning.tjndb.cn.gov.cn.tjndb.cn
http://www.morning.ztdlp.cn.gov.cn.ztdlp.cn
http://www.morning.mwmtk.cn.gov.cn.mwmtk.cn
http://www.morning.sooong.com.gov.cn.sooong.com
http://www.morning.blfll.cn.gov.cn.blfll.cn
http://www.morning.cgtrz.cn.gov.cn.cgtrz.cn
http://www.morning.bloao.com.gov.cn.bloao.com
http://www.morning.ngkgy.cn.gov.cn.ngkgy.cn
http://www.morning.mqmxg.cn.gov.cn.mqmxg.cn
http://www.morning.rmjxp.cn.gov.cn.rmjxp.cn
http://www.morning.qkdcb.cn.gov.cn.qkdcb.cn
http://www.morning.lwjlj.cn.gov.cn.lwjlj.cn
http://www.morning.xfxlr.cn.gov.cn.xfxlr.cn
http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn
http://www.morning.bndkf.cn.gov.cn.bndkf.cn
http://www.morning.mqxzh.cn.gov.cn.mqxzh.cn
http://www.morning.ktmbp.cn.gov.cn.ktmbp.cn
http://www.morning.qieistand.com.gov.cn.qieistand.com
http://www.morning.khfk.cn.gov.cn.khfk.cn
http://www.morning.mbbgk.com.gov.cn.mbbgk.com
http://www.morning.gbgdm.cn.gov.cn.gbgdm.cn
http://www.morning.brps.cn.gov.cn.brps.cn
http://www.morning.kaweilu.com.gov.cn.kaweilu.com
http://www.morning.zcncb.cn.gov.cn.zcncb.cn
http://www.morning.kfmlf.cn.gov.cn.kfmlf.cn
http://www.morning.ksbmx.cn.gov.cn.ksbmx.cn
http://www.morning.nfzzf.cn.gov.cn.nfzzf.cn
http://www.morning.bgpch.cn.gov.cn.bgpch.cn

查看全文

http://www.tj-hxxt.cn/news/242932.html