怎么做网站图片,做餐饮要看的网站,北京软件公司有哪些,做电子商城网站注意事项原文链接#xff1a;https://arxiv.org/abs/2405.02781 简介#xff1a;本文主张自动驾驶中细微运动的瞬时检测和量化与一般的大型运动同等重要。具体来说#xff0c;由于激光雷达点云缺乏帧间对应关系#xff0c;静态物体可能看起来在运动#xff08;称为游泳效应#x…原文链接https://arxiv.org/abs/2405.02781 简介本文主张自动驾驶中细微运动的瞬时检测和量化与一般的大型运动同等重要。具体来说由于激光雷达点云缺乏帧间对应关系静态物体可能看起来在运动称为游泳效应使得微小运动检测模糊而不精确。本文提出使用局部占用补全来密集化形状线索以减小游泳效应的影响。占用补全是与运动物体检测和运动估计一起端到端学习的。实验表明本文方法与标准的3D运动估计方法相比性能更优特别是在细微运动上。 1. 引言
运动相关的计算机视觉任务包括3D场景流估计低级任务预测各点的运动、运动分割或检测中级任务通常为序列标注而非瞬时标注、3D目标跟踪高级任务精确定位困难。但因为细微运动会与游泳效应混合在一起难以分辨这些任务难以识别细微运动即改变驾驶倾向或行为的运动如起步、倒车等。
本文首先进行形状补全即将激光雷达点云体素化为占用网格然后多帧积累以密集化体素作为占用补全的监督。为避免不完美补全影响后续运动估计本文仅对可见表面进行形状补全这也是主要运动信号的所在位置。本文将每个物体的点云分别输入专为微小运动训练的网络称为S’More微小运动回归器。此外本文从Waymo数据集的标注中提取出微小运动用于评估。
3. 方法
3.1 问题定义与挑战
本文的目标是使用连续帧点云识别运动物体汽车并估计运动特别关注细微运动。预处理步骤会过滤快速运动物体仅关注静态物体和慢速运动物体可与3D目标跟踪任务结合进行如下图。 此外本文假设自车运动可以通过ICPGPS/INS可靠估计。
游泳效应源自激光雷达点云的稀疏性。如图所示为静态物体上的两帧点云分别用红/蓝点表示可见由于点分布的位置差异该物体看上去是运动的。
3.2 本文方法
如图所示为本文的S’More。过滤快速运动物体后本文为每个余下的物体估计微小运动。首先体素化点云然后提取特征进行占用补全从而进行运动分割和瞬时流估计。
3.2.1 占用补全
输入体素化将连续 T T T帧中的每一帧点云 X t ∈ R N × 3 X_t\in\mathbb R^{N\times3} Xt∈RN×3体素化为 [ W x , W y , W z ] [W_x,W_y,W_z] [Wx,Wy,Wz]大小的二值网格0表示无点1表示含点形成大小为 [ T , W x , W y , W z ] [T,W_x,W_y,W_z] [T,Wx,Wy,Wz]的结果。该结果可视为不完整的占用网格因其仅表示部分可视表面。
局部占用补全该步骤中不完美的补全会引入额外噪声从而影响运动估计结果。由于完整形状真值难以获取、复杂且没有必要本文仅对 T T T帧均可视的部分进行占用补全以增强运动特征的关键信号同时最小化引入的噪声。
占用监督本文利用物体的真实运动和自车运动将其余 T − 1 T-1 T−1帧的激光雷达点转化到当前帧下并标记相应的网格为1且视线方向上的网格为0其余网格视为未知。该步骤利用快速体素遍历算法实现。
3.2.2 网络结构和损失
网络结构占用补全和运动检测器/运动流估计器均使用编码器-解码器结构。运动检测器将物体分类为静态/动态物体而流估计器为每个占用体素回归运动向量作为体素内点的运动流。具体来说本文将高度和时间维度均视为通道以使用2D卷积分别处理每个物体。
总体损失包括用于占用补全和动静态物体分类的二元交叉熵损失用于运动物体运动流预测的L1损失、尺度感知损失 L r e l L_{rel} Lrel和角度损失 L a n g L_{ang} Lang。
占用损失记占用体素和未占用体素的集合分别为 ϕ o , ϕ e \phi_o,\phi_e ϕo,ϕe则占用损失为 L o c c E v ∈ { ϕ o , ϕ e } [ O ^ v log ( O v ) ( 1 − O ^ v ) log ( 1 − O v ) ] L_{occ}\mathbb E_{v\in\{\phi_o,\phi_e\}}[\hat O_v\log(O_v)(1-\hat O_v)\log(1-O_v)] LoccEv∈{ϕo,ϕe}[O^vlog(Ov)(1−O^v)log(1−Ov)]
其中 O v , O ^ v O_v,\hat O_v Ov,O^v分别为体素 v v v的占用预测和真值。
流预测损失本文定义体素真实流 f ^ v \hat f_v f^v为体素中点真实流的均值。相对流损失为 L r e l E v ∈ ϕ o ∥ f ^ v − f v ∥ 2 ∥ f ^ v ∥ 2 ϵ L_{rel}\mathbb E_{v\in\phi_o}\frac{\|\hat f_v-f_v\|_2}{\|\hat f_v\|_2\epsilon} LrelEv∈ϕo∥f^v∥2ϵ∥f^v−fv∥2
其中 ϵ \epsilon ϵ为小常数 f v f_v fv为预测流。该损失由流大小反向加权以强调小运动的学习。角度损失为 L a n g E v ∈ ϕ o arccos ( ⟨ f v , f ^ v ⟩ ∥ f v ∥ 2 ⋅ ∥ f ^ v ∥ 2 ϵ ) L_{ang}\mathbb E_{v\in\phi_o}\arccos(\frac{\langle f_v,\hat f_v\rangle}{\|f_v\|_2\cdot\|\hat f_v\|_2\epsilon}) LangEv∈ϕoarccos(∥fv∥2⋅∥f^v∥2ϵ⟨fv,f^v⟩)
其中 ⟨ ⋅ , ⋅ ⟩ \langle\cdot,\cdot\rangle ⟨⋅,⋅⟩表示向量点积。
4. 实验
4.1 S’More的评估
评估基准。本文利用Waymo数据集生成微小运动真值。具体来说取连续5帧点云 F i F_i Fi利用3D边界框标注计算空间变换从而计算 F 1 F_1 F1中每个点 x i x_i xi的场景流 f i f_i fi。当最小流的大小 f min min x i ∈ F 1 ∥ f i ∥ f_{\min}\min_{x_i\in F_1}\|f_i\| fminminxi∈F1∥fi∥小于0.2m的时候视为样本有效。当 f min f t h r e f_{\min}f_{thre} fminfthre时视为物体静止。
评估指标。使用标准的F1分数评估动静态物体分类端点误差EPE和角度误差评估物体运动流误差。
