做网站怎么挣钱,商城建站,网络广告词,学ui有前途吗主要目标#xff1a;理解滑动窗口法、位姿图优化、带IMU紧耦合的优化、掌握g2o位姿图。 第9讲介绍了以为BA为主的图优化。BA能精确优化每个相机位姿与特征点位置。不过在更大的场景中#xff0c;大量特征点的存在会严重降低计算效率#xff0c;导致计算量越来越大#xff0… 主要目标理解滑动窗口法、位姿图优化、带IMU紧耦合的优化、掌握g2o位姿图。 第9讲介绍了以为BA为主的图优化。BA能精确优化每个相机位姿与特征点位置。不过在更大的场景中大量特征点的存在会严重降低计算效率导致计算量越来越大无法实时化。本讲第一部分介绍一种简化的BA位姿图 目录
0、名词解释
1、滑动窗口滤波与优化
1.1 实际环境下的BA结构
1.2 滑动窗口法
2、位姿图
2.1 位姿图的意义
2.2 位姿图的优化
3、实践位姿图优化
3.1 g2o原生位姿图
3.2 李代数上的位姿图优化
3.3 小结 0、名词解释
SfMStructure from Motion是一种从多个视角拍摄的对象或场景中重建其三维结构的方法。VOVisual Odometry或VIOVisual-Inertial Odometry系统解决的是里程计问题里程计部分是由惯导轮速计视觉激光等多传感器融合完成。
1、滑动窗口滤波与优化
1.1 实际环境下的BA结构
控制计算规模的方法 从连续的视频中抽出一部分作为关键帧仅构造关键帧与路标点之间的BA非关键帧只用于定位对建图则无贡献。按照某种原则取时间上靠近当前时刻空间上又可以展开的关键帧从而保证相机即使在停止不动时BA结构也不至于缩成一团。定义共视图与现在的相机存在共同观测的关键帧构成的图结构在BA优化时按照某些原则在共视图内取关键帧和路标优化。例如仅优化于当前帧有20个共视路标的关键帧其余部分固定不变。滑动窗口也好共视图也好都是对实时计算的某种工程上的折中。
1.2 滑动窗口法
滑动窗口法比较适合VO系统而不适合大规模建图的系统。在边缘化时我们考虑关键帧的位姿即其中是第k个关键帧的位姿均值为所有关键帧的协方差矩阵。均值部分是指BA迭代之后的结果而就是对整个BA的H矩阵进行边缘化之后的结果即上一讲的S矩阵。当窗口结构发生改变这些状态变量如何变化 需要在窗口新增一个关键帧以及它观测到的路标点。需要把窗口中的一个旧的关键帧删除也可能删除它观测到的路标点。 新增一个关键点和路标点 只需按照正常BA流程处理即可对所有点进行边缘化时即得到这N1个关键帧的高斯分布参数。删除一个旧的关键帧 若考虑边缘化旧的关键帧那么Schur消元过程相当于通过矩阵行和列操作消去非对角线处几个非零矩阵块显然将导致右下角路标矩阵块不再是非对角矩阵。这个过程称为边缘化中的填入Fill-in。这时BA无法按照先前的稀疏方式迭代求解。若对边缘化过程进行一些改造也可以保持滑动窗口BA的稀疏性。例如在边缘化某个旧的关键帧时同时边缘化它观测到的路标点。这样路标点的信息就会转换成剩下那些关键帧之间的共视信息从而保持右下角部分的对角块结构。还有其他更复杂的边缘化策略例如OKVIS。 SWF中边缘化的直观解释 边缘化在概率上的意义就是指条件概率。所以我们边缘化某个关键帧即“保持这个关键帧当前的估计值求其他状态变量以这个关键帧为条件的条件概率”。 当某个关键帧被边缘化它观测到的路标点就会产生一个“这些路标应该在哪里”的先验信息从而影响其余部分的估计值。如果再边缘化这些路标点那么它们的观测者将得到一个“观测它们的关键帧应该在哪里”的先验信息。然后舍去被边缘化部分的信息。 滑动窗口法比较适合VO系统而不适合大规模建图系统。g2o和 ceres还未直接支持滑动窗口法中的边缘化操作这里只讲理论部分。
2、位姿图
2.1 位姿图的意义
根据前面的讨论我们发现特征点在优化问题中占据了绝大部分实际上经过若干次观测之后收敛的特征点位置变换很小发散的外点则已被剔除。因此更倾向于在优化几次之后就把特征点固定住只把它们看做位姿估计的约束不在实际地优化它们的位置估计。因此完全可以构建一个只有轨迹的图优化而位姿节点之间的边可以由两个关键点之间通过特征匹配后的得到的运动估计来给定初始值之后不再优化那些路标点的位置只关心所有相机位姿之间的联系。如此省去大量特征点优化的计算只保留关键帧的估计从而构建位姿图Pose Graph。如果我们有额外测量Pose的传感器那么位姿图也是一种常见的融合Pose测量的方法。
2.2 位姿图的优化
位姿图优化的节点表示相机位姿边是两个位姿节点之间相对运动的估计该估计可以来自于特征点法或直接法也可以来自GPS或IMU积分。假设我们估计了与之间的一个运动。该运动表达可以是或按李群的写法上述等式不会精确成立因此我们设立最小二乘误差讨论误差关于优化变量的导数。误差求对两个优化变量,的导数。 若误差接近0左右雅可比可以近似为或雅可比求导后剩下就和普通图优化一样了。综上所有位姿顶点和位姿-位姿边构成一个图优化本质上是一个最小二乘问题优化变量为各个顶点的位姿边来自于位姿观测约束。记为所有边集合则总体目标函数。可以用高斯牛顿法或列文伯格-马夸尔特方法求解此问题。
3、实践位姿图优化
3.1 g2o原生位姿图
g2o_viewer 在g2o/bin下未找到未安装成功。安装libqglviewer-dev-qt5 后重新安装g2o解决。参考以下文档E: 软件包 libqglviewer-dev 没有可安装候选解决方法-CSDN博客
3.2 李代数上的位姿图优化
Sophus表达李代数用到g2o中定义顶点和边。
运行代码时误差大于书中描述误差暂未查出具体原因
3.3 小结
PTAMParallel Tracking and Mapping提出以来人们意识到后端优化没必要实时响应前端的图像数据人们倾向于把前端后端分开运行于两个独立线程之中称为跟踪和建图。前端需要实时响应视频的速度而优化不必只要在优化完成时把结果返回前端即可。所有通常不会对后端提出很高的速度要求。
