2018年做网站还能,网课如何推广,网站做多少外链,怎么去掉网站底部信息文章目录 1. 摘要概述2. 背景介绍3. 方法3.1 俯视图投影3.2 网络结构3.2.1 投影变换层3.2.2 投影变换层3.2.3 道路投影预测分支 3.3 车道预测头3.4 训练和真实值关联 4. 实验4.1 合成 3D 车道数据集4.2 真实世界 3D 车道数据集4.3 评估结果4.4 评估图像仅车道检测 5. 总结和讨论… 文章目录 1. 摘要概述2. 背景介绍3. 方法3.1 俯视图投影3.2 网络结构3.2.1 投影变换层3.2.2 投影变换层3.2.3 道路投影预测分支 3.3 车道预测头3.4 训练和真实值关联 4. 实验4.1 合成 3D 车道数据集4.2 真实世界 3D 车道数据集4.3 评估结果4.4 评估图像仅车道检测 5. 总结和讨论 1. 摘要概述
我们介绍了一种网络可以从单张图像直接预测道路场景中车道的3D布局。这项工作首次尝试使用车载传感设备来解决这一任务而不假设已知的恒定车道宽度或依赖预先映射的环境。我们的网络架构3D-LaneNet采用了两个新概念网络内逆透视映射IPM和基于锚点的车道表示。网络内IPM投影在常规图像视图和俯视图中促进了双重表示信息流。基于每列锚点的输出表示使我们能够采用端到端的方法取代了常见的聚类和离群值拒绝等启发式方法将车道估计视为目标检测问题。此外我们的方法能够明确处理车道合并和分离等复杂情况。结果展示在两个新的3D车道数据集上一个是合成的另一个是真实的。为了与现有方法进行比较我们在仅使用图像的tuSimple车道检测基准上测试了我们的方法取得了与当前最先进技术竞争的性能。
2. 背景介绍
3D车道检测通过精确估计可行驶车道相对于主车的3D位置是实现自动驾驶的关键技术。现有两种互补的技术解决方案加载离线生成的预映射车道【33】和基于感知的实时车道检测【4】。离线解决方案在主车定位地图坐标精确的情况下几何精度高但部署和维护复杂。最常见的基于感知的解决方案使用单目相机作为主要传感器来完成这一任务。现有基于相机的方法在图像域内检测车道线然后假设平坦地面将其投影到3D世界【4】这种假设在被打破时不仅在高度上产生误差也会在车道曲率上产生误差。受到卷积神经网络CNN在单目深度估计中取得的成功【20】的启发我们提出直接在3D中检测车道。具体而言给定一张来自前置摄像头的图像任务是输出一组在相机坐标系中的3D曲线每条曲线描述一个车道分界线或车道中心线。
我们提出的解决方案是3D-LaneNet一种用于3D车道检测的深度CNN。该网络端到端训练在每个纵向道路切片中输出车道穿过切片的置信度及其在相机坐标系中的3D曲线。我们的方案如图1所示。我们的直接单次拍摄方法避免了现有方法中使用的聚类和离群值拒绝等后处理。网络的主干基于一种新颖的双路径架构使用多个网络内的特征图投影到虚拟俯视图。这种双重表示赋予网络在道路场景中推断3D的增强能力可能用于其他需要此能力的任务例如3D车辆检测。输出由一种新的基于列的锚点编码表示使网络在水平上具有不变性并实现端到端方法。每个输出与一个锚点关联类似于单次拍摄的基于锚点的目标检测方法如SSD【21】和YOLO【29】。实际上我们的方法将问题视为目标检测每个车道实体是一个目标其3D曲线模型的估计类似于目标的边界框。
我们在三个不同的数据集上验证了我们的方法。用于开发该方法的主要数据集是一个新的计算机图形数据集synthetic-3D-lanes1提供每个车道元素的精确3D位置。尽管存在几个驾驶模拟器【8, 30】它们并未专注于3D车道检测任务并且在相关场景属性例如车道曲率的多样性上受到限制。我们在这一领域的主要成就是能够随机生成具有高度可变3D形状和车道拓扑的道路段。因此我们将其用作评估和消融研究的主要数据集。为了验证我们的方法在真实世界图像上的表现我们收集了另一个数据集3D-lanes来自车辆安装的前置摄像头。3D车道注释通过使用激光雷达扫描仪在半手动注释方案中完成。最后为了与仅在图像域中操作的最先进车道检测方法进行比较我们将我们的方法适应于这一任务并展示了端到端的仅图像车道检测。这一仅图像版本在tuSimple数据集【1】上进行了测试取得了与最先进技术竞争的结果而没有使用常见的后处理技术。
总结来说我们的主要贡献是
引入了一种新问题无几何假设的单帧3D车道检测并提出了新的评估指标。一种新颖的双路径架构部署了网络内特征图的IPM投影。一种新的基于锚点的车道输出表示支持直接端到端训练的网络用于3D和基于图像的车道检测。一种生成具有车道拓扑即车道数量、合并、分离和3D形状变化的随机合成示例的方法。
3. 方法
我们的方法以安装在车辆上的前置摄像头拍摄的单张图像作为输入如图3所示。我们假设已知相机的内部参数 κ \kappa κ例如焦距、投影中心。我们还假设相机相对于局部地平面安装时的滚转角度为零度。由于车辆动态变化我们不假设已知的相机高度和俯仰角。道路场景中的车道可以通过每条车道的中心线集合 C i i 1 N C {C_i}{i1}^{N_C} Cii1NC 和车道分界线集合 D i i 1 N D {D_i}{i1}^{N_D} Dii1ND 描述如图5所示。每个这样的车道实体中心线或分界线都是用相机坐标系 C camera C_{\text{camera}} Ccamera表示的3D曲线。任务是根据图像检测车道中心线和/或车道分界线的集合。
3.1 俯视图投影
我们简要回顾一下逆透视映射IPM。简而言之IPM是一种单应性变换将前视图图像扭曲为虚拟俯视图图像如图1左上角图像所示。它相当于应用相机旋转单应性视图向下旋转然后进行各向异性缩放【11】。在我们的实现中我们希望确保俯视图图像中的每个像素对应于道路上的预定义位置而不依赖于相机的内部参数及其相对于道路的姿态。 见图3以了解以下定义的示意图。相机坐标 C camera ( x ~ , y ~ , z ~ ) C_{\text{camera}} (\tilde{x}, \tilde{y}, \tilde{z}) Ccamera(x~,y~,z~) 设置为 y ~ \tilde{y} y~ 是相机的观看方向。设 P road P_{\text{road}} Proad 为局部道路表面的切平面。我们定义道路坐标 C road ( x , y , z ) C_{\text{road}} (x, y, z) Croad(x,y,z) 如下 z z z 方向为 P road P_{\text{road}} Proad 的法线方向 y y y 为 y ~ \tilde{y} y~ 在 P road P_{\text{road}} Proad 上的投影原点为相机中心在 P road P_{\text{road}} Proad 上的投影。设 T c 2 r T_{c2r} Tc2r 为 C camera C_{\text{camera}} Ccamera 和 C road C_{\text{road}} Croad 之间的6自由度3D平移和3D旋转变换。由于我们假设相机滚转为零度 T c 2 r T_{c2r} Tc2r 由相机俯仰角 θ \theta θ 和其高度 h cam h_{\text{cam}} hcam 确定。单应性变换 H r 2 i : P 2 ↦ P 2 H_{r2i} : P^2 \mapsto P^2 Hr2i:P2↦P2 将 P road P_{\text{road}} Proad 上的每个点映射到图像平面坐标由 T c 2 r T_{c2r} Tc2r 和 κ \kappa κ 确定见【11】第8.1.1节。最后IPM 由 H r 2 i H_{r2i} Hr2i 使用一组固定参数 I P M P a r a m s IPM_{Params} IPMParams 确定俯视图区域边界并从米到像素进行各向异性缩放获得。俯视图图像使用由采样网格 S I P M S_{IPM} SIPM 定义的双线性插值生成。
3.2 网络结构
3D-LaneNet的概览如图4所示。信息在两个并行流或路径中处理图像视图路径和俯视图路径。我们称之为双路径主干。图像视图路径处理并保留图像中的信息而俯视图路径提供具有平移不变性的特征用于预测3D车道检测输出。图像视图路径的架构基于VGG16【31】而俯视图路径则结构相似。信息通过四个投影变换层流向俯视图路径。
3.2.1 投影变换层
我们架构中的一个主要构建块是图4中标记为蓝色的投影变换层。这个层是空间变换模块【14】的一种特定实现具有轻微的变化。它通过对输入特征图进行可微分采样将其空间对应于图像平面输出特征图空间对应于场景的虚拟俯视图同时保留通道数。可微分采样通过如第3.1节所述的网格生成使用由道路投影预测分支预测的IPM实现。除了第一组投影特征图外其余的投影特征图与来自俯视图路径的下游特征图连接。随后的神经元在连接的特征图上操作结合了车道检测的以下两个理想特性。首先在俯视图平面上的平移不变性。这很有价值因为在俯视图中车道在整个空间中具有相似的外观和几何形状。其次保留双信息上下文——在图像和俯视图中。附加的图像视图上下文编码了俯视图中不存在的信息如围栏、天际线和树木这对于解读场景的3D结构至关重要。特别是在远距离图像视图上下文在视觉信息上更为丰富并且相比于俯视图表示了一个实际面积更大的区域。
3.2.2 投影变换层
我们架构中的一个主要构建块是图4中标记为蓝色的投影变换层。这个层是空间变换模块【14】的一种特定实现具有轻微的变化。它通过对输入特征图进行可微分采样将其空间对应于图像平面输出特征图空间对应于场景的虚拟俯视图同时保留通道数。可微分采样通过如第3.1节所述的网格生成使用由道路投影预测分支预测的IPM实现。除了第一组投影特征图外其余的投影特征图与来自俯视图路径的下游特征图连接。随后的神经元在连接的特征图上操作结合了车道检测的以下两个理想特性。首先在俯视图平面上的平移不变性。这很有价值因为在俯视图中车道在整个空间中具有相似的外观和几何形状。其次保留双信息上下文——在图像和俯视图中。附加的图像视图上下文编码了俯视图中不存在的信息如围栏、天际线和树木这对于解读场景的3D结构至关重要。特别是在远距离图像视图上下文在视觉信息上更为丰富并且相比于俯视图表示了一个实际面积更大的区域。
3.2.3 道路投影预测分支
图像视图路径网络的第一个中间输出是对“道路投影平面” P road P_{\text{road}} Proad 的估计。本质上这个分支预测了相机 C camera C_{\text{camera}} Ccamera到道路 C road C_{\text{road}} Croad的变换 T c 2 r T_{c2r} Tc2r。它是以监督方式训练的。 T c 2 r T_{c2r} Tc2r 确定了俯视图的单应性 H r 2 i H_{r2i} Hr2i 和采样网格 S IPM S_{\text{IPM}} SIPM如第3.1节所解释的因此需要用于俯视图路径的前向传播步骤。在推理时它还用于将网络输出从 C road C_{\text{road}} Croad 转换回 C camera C_{\text{camera}} Ccamera。如第3.1节所述在我们的情况下 T c 2 r T_{c2r} Tc2r 由相机高度 h cam h_{\text{cam}} hcam 和俯仰角 θ \theta θ 确定因此这是这个分支的两个输出。
3.3 车道预测头
在我们端到端方法的核心是基于锚点的车道表示。受目标检测的启发我们使用锚点定义车道候选并使用精细的几何表示来描述每个锚点的精确3D车道形状。输出坐标系是由 h cam h_{\text{cam}} hcam 和 θ \theta θ 确定的 C road C_{\text{road}} Croad 的估计。我们的锚点对应于该坐标系中的纵向线并且精细的车道几何形状对应于相应锚点的3D点。如图5所示我们通过在 x x x 位置等间距的垂直纵向线 X i A , i 1 , … , N X_i^A, i1, \ldots, N XiA,i1,…,N 定义锚点。每个锚点 X i A X_i^A XiA 的3D车道由2个 K K K个输出神经元激活 n x i , z i ( x ~ i j , z ~ i j ) j 1 K n_{x_i, z_i} (\tilde{x}{ij}, \tilde{z}{ij}){j1}^K nxi,zi(x~ij,z~ij)j1K 表示这些激活与预定义的 K K K 个 y y y 位置 y y j j 1 K y {y_j}{j1}^K yyjj1K的固定向量一起定义了一组3D车道点。值 x ~ i j \tilde{x}{ij} x~ij 是相对于锚点位置 X i A X_i^A XiA 的水平偏移量。也就是说输出 ( x ~ i j X i A , y j , z ~ i j ) ∈ R 3 (\tilde{x}{ij} X_i^A, y_j, \tilde{z}{ij}) \in \mathbb{R}^3 (x~ijXiA,yj,z~ij)∈R3 在 C road C{\text{road}} Croad 坐标中表示一个点。此外对于每个锚点 i i i我们输出一个置信度 p i p_i pi 表示与该锚点相关的车道。我们使用预定义的纵向坐标 Y ref Y_{\text{ref}} Yref 进行关联。与车道相关的锚点 X i A X_i^A XiA 是最接近 y Y ref y Y_{\text{ref}} yYref 处车道 x x x 坐标的锚点。
每个锚点网络输出多达三种类型 t t t的车道描述符置信度和几何形状前两种 c 1 , c 2 c_1, c_2 c1,c2代表车道中心线第三种类型 d d d代表车道分界线。为每个锚点分配两个可能的中心线使网络支持合并和分离这常常导致两个车道的中心线在 Y ref Y_{\text{ref}} Yref 处重合并在不同的道路位置分开如图5最右侧示例所示。相比于中心线车道分界线的拓扑通常更复杂我们的表示不能捕获所有情况例如车道分界线不穿过 y Y ref y Y_{\text{ref}} yYref 的情况如图5。3D-LaneNet的预测头设计用于生成所描述的输出。通过一系列在 y y y 维度无填充的卷积特征图被减少最终预测层的大小为 3 ⋅ ( 2 ⋅ K 1 ) × 1 × N 3 \cdot (2 \cdot K 1) \times 1 \times N 3⋅(2⋅K1)×1×N使得每列 i ∈ 1 … N i \in {1 \ldots N} i∈1…N 对应于单个锚点 X i A X_i^A XiA。对于每个锚点 X i A X_i^A XiA 和类型 t ∈ c 1 , c 2 , d t \in {c_1, c_2, d} t∈c1,c2,d网络输出表示为 y x i t , z i t , p i t y_{x_it, z_it, p_it} yxit,zit,pit。最终预测执行了一维非极大值抑制这在目标检测中很常见只保留在置信度上局部最大与左右相邻锚点比较的车道。每个剩余的车道由少量 K K K个3D点表示并使用样条插值转换为平滑曲线。
3.4 训练和真实值关联
给定一个图像示例及其对应的3D车道曲线 C i i 1 N C {C_i}{i1}^{N_C} Cii1NC中心线和 D i i 1 N D {D_i}{i1}^{N_D} Dii1ND分界线训练过程如下进行。首先使用已知的俯仰角 θ ^ \hat{\theta} θ^和相机高度 h ^ cam \hat{h}{\text{cam}} h^cam为局部道路切平面定义真实值GT坐标系 C road C{\text{road}} Croad如第3.1节所述。接下来每条车道曲线投影到 C road C_{\text{road}} Croad 的 x y xy xy 平面并与 Y ref Y_{\text{ref}} Yref 处最接近的锚点相关联。最左边的车道分界线和与锚点相关联的最左边中心线被分配给该锚点的输出类型 c 1 c1 c1 和 d d d。如果还有另一条中心线与同一个锚点相关联则它被分配给输出类型 c 2 c2 c2。这种分配以与输出相同的格式定义了每个示例的GT每个锚点 X i A X_i^A XiA 和类型 t t t 的关联GT表示为 y ^ x i t , z ^ i t , p ^ i t \hat{y}{x_it}, \hat{z}{it}, \hat{p}{it} y^xit,z^it,p^it其中 p ^ i t \hat{p}{it} p^it 是锚点/类型分配指示符以及 C road C_{\text{road}} Croad 中的坐标。
无论是在训练时还是在评估时如果整个车道没有穿过有效俯视图图像边界内的 Y ref Y_{\text{ref}} Yref则忽略整个车道如果车道点被地形遮挡即在山顶之后则忽略这些车道点。网络的整体损失函数如公式1所示。它结合了三个等权重的损失项车道检测交叉熵损失、车道几何和道路平面估计L1损失。
4. 实验
我们的实验工作如下呈现。首先我们介绍生成新合成数据集 synthetic-3D-lanes 的方法该数据集用于得出本研究的大部分结论。接下来我们介绍用于验证真实世界图像的 3D-lanes 数据集。使用新提出的 3D 车道检测评估方法我们展示了在这两个数据集上的结果包括一项详细研究我们总体方法中每个概念贡献的消融研究。最后我们将 3D-LaneNet 的仅图像版本与 tuSimple 基准测试 \cite{1} 上现有的最先进方法进行比较。
4.1 合成 3D 车道数据集
我们使用开源图形引擎 Blender \cite{2} 生成了 synthetic-3D-lanes 数据集。我们的方法允许我们对每个建模元素进行随机化从场景的 3D 几何到对象类型如图6所示。生成每个场景的过程包括以下步骤
地形 3D。 地形由高斯分布混合建模高斯分布的数量和参数随机化。图6(a)显示了一个这样的地形示例。车道拓扑。 选择主道路上的车道数量。然后选择是否有次要道路及其车道数量。根据场景中相机的后续方向次要道路的交叉点显示为合并或分离。车道俯视图几何。 主道路在俯视图中的几何由四次多项式建模产生从轻微到极端的曲率。选择合并/分离的交叉点以及车道宽度。这会生成如图6(b)所示的俯视图车道级地图。车道 3D。 将俯视图车道地图放置在地形上次要道路被抬高以模拟常见的道路地形。图6©显示了此阶段的结果。地形和道路外观。 从一组纹理中选择道路和地形的纹理。车道标记的类型和颜色也被随机化。物体。 从一组模型中选择的汽车和树木分别被放置在场景中道路上和道路旁。场景渲染。 主道路上选择其车道和围绕车道中心的横向偏移来定位宿主车辆相机。相机高度随机设置在140cm到190cm之间俯仰角在0到5度之间。最后设置照明并从相机视角渲染场景。每条车道中心线和分界线的3D点被转换为相机坐标以生成真实值。
每个生成的示例包含一个图像360×480像素及其关联的真实值3D 车道、相机高度和俯仰角。图2左列和中列展示了几个示例显示了结果的多样性和复杂性。随机生成过程使用的确切参数列在附录I中。生成的数据集包含30万个训练示例和5000个测试示例。另有1000个验证集用于学习率调度和选择性能最佳的快照。
4.2 真实世界 3D 车道数据集
获取带有 3D 标注的真实值数据需要复杂的多传感器设置和可能昂贵的高清地图。为此我们引入了一个新的数据集 3D-lanes使用包括前视摄像头、Velodyne HDL32 激光雷达扫描仪和高精度 IMU 在内的多传感器设置创建所有设备同步并准确对齐。数据在6次驾驶中收集每次在不同的道路段共计近2小时的驾驶时间。使用激光雷达和IMU我们生成了聚合的激光雷达俯视图图像 \cite{33}然后与半手动标注工具一起用于生成真实值。总共标注了85000张图像其中1000张单独的一次驾驶用作测试集其余用作训练集。激光雷达信息还用于提供每条车道的完整3D曲线。这种方法的一个缺点是由于遮挡或远处分辨率有限激光雷达无法充分看到的车道在真实值中缺失。因此标注有些噪声如图2右列所示。此外与合成-3D-车道数据集相比该数据集在几何和拓扑方面的变化较小。因此我们使用具有完美真实值的合成数据来开发方法并进行消融研究而真实世界的数据集用于验证方法向真实数据的可转移性和定性分析。
4.3 评估结果
评估指标。我们提出一种 3D 车道检测评估方法将检测精度与几何估计精度分开。检测精度通过标准平均精度AP测量精确率-召回率曲线来计算。我们首先计算 GT 和检测到的车道之间的曲线到曲线距离该距离是点对点欧几里德距离的加权和。我们在沿曲线的预定义 y 值集合上测量距离每 80cm 在 0-80 米范围内。较远的点的权重减少。然后我们通过选择相似性递减的对来进行一对一曲线匹配。如果加权距离低于某个较宽松的阈值1.5 米则匹配被视为正确。通过迭代车道置信度阈值我们生成精确率-召回率曲线。
对于匹配的检测我们通过测量用于测量曲线到曲线距离的相同点上的误差点对点欧几里德距离的分布来评估几何估计精度。由于误差幅度的差异我们进一步将整个数据集划分为近范围0-30m和远范围30-80m的车道点。然后我们计算每个范围的 1σ 误差68% 误差百分位数和 2σ 误差95% 误差百分位数。使用这种方法分别评估车道中心线和分界线检测。在评估中像训练阶段一样忽略不相关的车道点。
实现细节。3D-LaneNet 和本节中提到的所有变体均使用相同的协议进行初始化和训练。图像视图路径初始化自在 ImageNet 上训练的 VGG16 \cite{7}。我们使用 Adam 优化器 \cite{17}初始学习率为 5 ⋅ 1 0 − 4 5 \cdot 10^{-4} 5⋅10−4。我们使用 \cite{32} 中描述的循环学习率方案的变体最小学习率为 1 0 − 6 10^{-6} 10−6。俯视图表示的 y 范围为 80 米x 范围为 20 米。IPM 尺度在 x 和 y 方向不同在第一个俯视图特征图中每个像素对应于横向x16cm 和纵向y38.4cm。最后一个俯视图特征图比原图小 8 倍并且由于每列有一个锚点锚点之间的距离为 16 × 8 128 16 \times 8 128 16×8128cm。我们将 K ( 6 ) K( 6) K(6) 个垂直参考点设置为 y 5 , 20 , 40 , 60 , 80 , 100 y {5, 20, 40, 60, 80, 100} y5,20,40,60,80,100 和 Y r e f 20 Y_{ref} 20 Yref20m。
在 synthetic-3D-lanes 数据集上的结果。图2展示了测试集上的典型网络结果标有真实值。表1中的第一行显示了 3D-LaneNet 对中心线检测的定量结果。一个合理的担忧是合成数据集的变异性太有限学习到的网络记住了整个示例空间而不是学习泛化。一个积极的迹象是测试 AP (0.952) 明显低于训练 AP (0.966)几何评估指标也是如此。在此介绍的消融测试中训练的所有网络均从 VGG16 初始化并使用相同的训练参数和训练轮数。
我们首先通过与替代架构进行比较来检查双路径架构的作用。仅图像视图版本将图像视图路径直接连接到车道检测头该头输出与 3D-LaneNet 完全相同的 Croad 表示。在这种情况下锚点位置 X A X_A XA 由最后一个特征图中的列决定对于每列我们在预定义的图像 y 坐标处选择一个像素并将其投影到俯视图以确定对应于该列的锚点。仅俯视图版本首先将图像本身投影到俯视图然后继续与俯视图路径相同的计算。此外我们测试了包括双路径的有限版本的两个版本。早期 IPM 包含单个双上下文模块整个网络中的第一个。晚期 IPM 类似地只包含四个双上下文模块中的最后一个。结果总结在表1中显示了完整的双路径架构比所有其他变体具有更好的性能。特别是仅图像视图版本的结果最差强调了俯视图处理路径的重要性。请注意包含修剪版双路径的晚期 IPM 提供了第二好的准确性但计算成本较低使其成为实时实现的良好候选者。
我们还尝试了道路投影平面的替代定义。一种方法在拟合道路平面时考虑整个场景而不仅仅是局部道路法线。为了测试它我们设计了一种生成真实值的算法该算法采用最远的可见道路点并将其连接到局部道路位置以确定俯仰角。此方法在表1中称为 horizon因为它类似于地平线估计方法。显然尽管我们一致观察到场景地形有利于此定义但总体上其表现略差。我们还尝试了假设相机的固定位置其中使用平均俯仰角2.5°和相机高度165cm来定义 T c 2 r T_{c2r} Tc2r。最后我们注意到正如 \cite{25} 中提出的那样在没有明确监督的情况下学习每个场景的最佳道路投影平面未能为我们的任务产生令人满意的结果。
表1的最后一行平地强调了与当前现有方法即仅图像检测和使用平地假设的图像到世界转换相比完全 3D 车道估计的重要性。仅图像检测通过将 3D-LaneNet 结果投影到图像平面获得。对于图像到世界阶段我们需要选择一个平面将图像结果投影到该平面。我们尝试了两种选项均使用真实值计算道路平面 P r o a d P_{road} Proad 和由地平线定义的平面如前一实验所述。如预期的那样基于地平线的方法实质上使用整个场景的最佳平面拟合产生了更好的结果但仍不如执行完全 3D 估计的 3D-LaneNet。 3D-LaneNet 获得的分界线检测性能为 0.971 AP位置误差近范围 12.9 12.9 12.9cm1σ 33 33 33cm2σ远范围 30 30 30cm1σ 106 106 106cm2σ。这些指标显示出比中心线检测稍好的性能。一个可能的解释是分界线在道路上明显标记而中心线是间接推断的。由于输出是使用估计的 T c 2 r T_{c2r} Tc2r 从道路坐标转换到相机坐标我们还测量了这种估计的质量及其对结果的影响。俯仰角 θ \theta θ和相机高度 h c a m h_{cam} hcam的绝对误差中位值分别为 0.09 0.09 0.09° 和 2.4 2.4 2.4cm。为了消除此误差的影响我们通过在转换到 C c a m e r a C_{camera} Ccamera 之前获取原始网络输出在道路坐标 C r o a d C_{road} Croad 中评估性能结果显示性能差异可以忽略不计。
在 3D-lanes 数据集上的结果。为了在真实世界数据上操作我们在 3D-lanes 数据集的训练部分上训练了 3D-LaneNet。相应测试集的结果示例如图2右列所示。请注意由于相机安装有向下的俯仰角检测到的 3D 车道上升。评估指标如表2所示。如在合成数据中使用平地假设在真实数据上的性能下降远范围内误差大了4倍。
4.4 评估图像仅车道检测
本实验的目的是将我们的方法与当前最先进的图像仅车道检测方法进行比较。tuSimple 车道数据集 \cite{1} 包含 3626 张训练图像和 2782 张测试图像。不幸的是目前无法访问测试图像的标签。因此我们将原始训练集划分为我们自己的训练/验证集90% 训练和 10% 验证。虽然我们知道我们的评估在验证集上获得的与测试集上的评估可能存在偏差但我们可以预期类似的性能并定性地得出相同的结论。由于该数据集不包含 3D 信息我们训练了 3D-LaneNet 的变体该变体在图像域中检测车道。网络输出被减少到道路投影平面上的 2D 点通过消除高度 z i t z_{it} zit组件。由于数据集中标记的实体是车道分界线因此只保留了分界线输出类型 t d t d td。在图像平面和道路投影平面之间手动选择了固定的单应性 H t u S i m p l e H_{tuSimple} HtuSimple使得直线车道在俯视图中变得平行。网络直接预测的车道通过 H t u S i m p l e H_{tuSimple} HtuSimple 转换为图像视图中的车道。由于 H t u S i m p l e H_{tuSimple} HtuSimple 是固定的未使用道路投影平面预测分支。除此之外该网络与为 synthetic-3D-lanes 数据集配置的 3D-LaneNet 相同。tuSimple 主要评估指标acc\cite{1} 是每张图像中检测到的真实点的平均比率。使用我们端到端的方法在我们的验证集上我们达到了 0.951 的准确率与 tuSimple 2017 竞赛获胜方法 \cite{27}0.965相当。考虑到我们的方法完全是为了 3D 估计任务设计的这一结果令人鼓舞且有些惊讶。特别是我们的几何损失公式1在实践中在俯视图坐标中计算对远处的车道点赋予了更高的权重而在 tuSimple acc 指标中所有点均等贡献。
5. 总结和讨论
我们提出了一个新的问题3D 多车道检测以及一个基于端到端学习的解决方案3D-LaneNet。该方法使用新引入的合成数据集开发并在真实数据上进行了验证。该方法原则上适用于所有驾驶场景除了复杂的城市交叉路口。最后我们相信双路径架构可以促进其他重要的道路 3D 估计任务如 3D 车辆检测。
参考文献 [1] http://benchmark.tusimple.ai, lane challenge. [2] https://www.blender.org/. [3] Mohamed Aly. Real time detection of lane markers in urban streets. In IVS, pages 7–12, 2008. [4] Aharon Bar Hillel, Ronen Lerner, Dan Levi, and Guy Raz. Recent progress in road and lane detection: a survey. Machine Vision and Applications, 25(3):727–745, Apr 2014. [5] Amol Borkar, Monson Hayes, and Mark T. Smith. Robust lane detection and tracking with ransac and kalman filter. In ICIP, pages 3261–3264, Nov 2009. [6] Pierre Coulombeau and Claude Laurgeau. Vehicle yaw, pitch, roll and 3d lane shape recovery by vision. In Intelligent Vehicle Symposium, 2002. IEEE, volume 2, pages 619–625 vol.2, 2002. [7] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. ImageNet: A Large-Scale Hierarchical Image Database. In CVPR, 2009. [8] Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez, and Vladlen Koltun. CARLA: An open urban driving simulator. In Proceedings of the 1st Annual Conference on Robot Learning, pages 1–16, 2017. [9] Mohsen Ghafoorian, Cedric Nugteren, Nora Baka, Olaf ´ Booij, and Michael Hofmann. El-gan: Embedding loss driven generative adversarial networks for lane detection. CoRR, abs/1806.05525, 2018. [10] R. Gopalan, T. Hong, M. Shneier, and R. Chellappa. A learning approach towards detection and tracking of lane markings. IEEE Transactions on Intelligent Transportation Systems, 13(3):1088–1098, Sept 2012. [11] Richard I. Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, ISBN: 0521540518, second edition, 2004. [12] Bei He, Rui Ai, Yang Yan, and Xianpeng Lang. Accurate and robust lane detection based on dual-view convolutional neutral network. In IVS, pages 1041–1046, June 2016. [13] Brody Huval, Tao Wang, Sameep Tandon, Jeff Kiske, Will Song, Joel Pazhayampallil, Mykhaylo Andriluka, Pranav Rajpurkar, Toki Migimatsu, Royce Cheng-Yue, Fernando Mujica, Adam Coates, and Andrew Y. Ng. An empirical evaluation of deep learning on highway driving. CoRR, abs/1504.01716, 2015. [14] Max Jaderberg, Karen Simonyan, Andrew Zisserman, and Koray Kavukcuoglu. Spatial transformer networks. In NIPS, pages 2017–2025, 2015. [15] Jihun Kim and Minho Lee. Robust lane detection based on convolutional neural network and random sample consensus. In Neural Information Processing, pages 454–461, 2014. [16] Jiman Kim and Chanjong Park. End-to-end ego lane estimation based on sequential transfer learning for self-driving cars. In CVPR Workshops, pages 1194–1202, July 2017. [17] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. [18] Seokju Lee, Junsik Kim, Jae Shin Yoon, Seunghak Shin, Oleksandr Bailo, Namil Kim, Tae-Hee Lee, Hyun Seok Hong, Seung-Hoon Han, and In So Kweon. Vpgnet: Vanishing point guided network for lane and road marking detection and recognition. In CVPR, pages 1947–1955, 2017. [19] Jun Li, Xue Mei, Danil Prokhorov, and Dacheng Tao. Deep neural network for structural prediction and lane detection in traffic scene. IEEE Transactions on Neural Networks and Learning Systems, 28(3):690–703, March 2017. [20] Fayao Liu, Chunhua Shen, and Guosheng Lin. Deep convolutional neural fields for depth estimation from a single image. In CVPR, pages 5162–5170, 2015. [21] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng Yang Fu, and Alexander C. Berg. Ssd: Single shot multibox detector. In Bastian Leibe, Jiri Matas, Max Welling, and Nicu Sebe, editors, ECCV, pages 21–37, Germany, 1 2016. Springer. [22] Hanspeter A. Mallot, Heinrich H. Bulthoff, James Little, and ¨ Stefan Bohrer. Inverse perspective mapping simplifies optical flow computation and obstacle detection. Biological Cybernetics, 64(3):177–185, Jan 1991. [23] A. Meyer, N. Salscheider, P. Orzechowski, and C. Stiller. Deep semantic lane segmentation for mapless driving. In IROS, Oct 2018. [24] Sergiu Nedevschi, Rolf. Schmidt, Thorsten Graf, Radu Danescu, Dan Frentiu, Tiberiu Marita, Florin Oniga, and Ciprian Pocol. 3d lane detection system based on stereovision. In IEEE Conference on Intelligent Transportation Systems, pages 161–166, Oct 2004. [25] Davy Neven, Bert De Brabandere, Stamatios Georgoulis, Marc Proesmans, and Luc Van Gool. Towards end-to-end lane detection: an instance segmentation approach. CoRR, 1802.05591, 2018. [26] Gabriel L. Oliveira, Wolfram Burgard, and Thomas Brox. Efficient deep models for monocular road segmentation. In IROS, pages 4885–4891, Oct 2016. [27] Xingang Pan, Jianping Shi, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Spatial as deep: Spatial CNN for traffic scene understanding. In AAAI, pages 7276–7283, 2018. [28] Dean Pomerleau. Ralph: rapidly adapting lateral position handler. In IVS, pages 506–511, Sept 1995. [29] Joseph Redmon, Santosh Kumar Divvala, Ross B. Girshick, and Ali Farhadi. You only look once: Unified, real-time object detection. In CVPR, pages 779–788, 2016. [30] Shital Shah, Debadeepta Dey, Chris Lovett, and Ashish Kapoor. Airsim: High-fidelity visual and physical simulation for autonomous vehicles. In Field and Service Robotics, 2017. [31] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. CoRR, abs/1409.1556, 2014. [32] Leslie N. Smith. Cyclical learning rates for training neural networks. In WACV, pages 464–472, March 2017. [33] Chris Urmson, Joshua Anhalt, Drew Bagnell, Christopher R. Baker, Robert Bittner, M. N. Clark, John M. Dolan, Dave Duggins, Tugrul Galatali, Christopher Geyer, Michele Gittleman, Sam Harbaugh, Martial Hebert, Thomas M. Howard, Sascha Kolski, Alonzo Kelly, Maxim Likhachev, Matthew McNaughton, Nick Miller, Kevin M. Peterson, Brian Pilnick, Raj Rajkumar, Paul E. Rybski, Bryan Salesky, Young-Woo Seo, Sanjiv Singh, Jarrod M. Snider, William Whittaker, Ziv Wolkowicki, Jason Ziglar, Hong Bae, Thomas Brown, Daniel Demitrish, Bakhtiar Litkouhi, Jim Nickolaou, Varsha Sadekar, Wende Zhang, Joshua Struble, Michael Taylor, Michael Darms, and Dave Ferguson. Autonomous driving in urban environments: Boss and the urban challenge. Journal of Field Robotics, 25(8):425–466, 2008. [34] Lu Xiong, Zhenwen Deng, Peizhi Zhang, and Zhiqiang Fu. A 3d estimation of structural road surface based on lane-line information. IFAC-PapersOnLine, 51(31):778 – 783, 2018. 文章转载自： http://www.morning.mnygn.cn.gov.cn.mnygn.cn http://www.morning.yaqi6.com.gov.cn.yaqi6.com http://www.morning.cwjxg.cn.gov.cn.cwjxg.cn http://www.morning.sgjw.cn.gov.cn.sgjw.cn http://www.morning.lmmyl.cn.gov.cn.lmmyl.cn http://www.morning.srgbr.cn.gov.cn.srgbr.cn http://www.morning.dbjyb.cn.gov.cn.dbjyb.cn http://www.morning.zdwjg.cn.gov.cn.zdwjg.cn http://www.morning.fssjw.cn.gov.cn.fssjw.cn http://www.morning.ubpsa.cn.gov.cn.ubpsa.cn http://www.morning.hxxzp.cn.gov.cn.hxxzp.cn http://www.morning.gcszn.cn.gov.cn.gcszn.cn http://www.morning.qmzwl.cn.gov.cn.qmzwl.cn http://www.morning.nsppc.cn.gov.cn.nsppc.cn http://www.morning.mqbsm.cn.gov.cn.mqbsm.cn http://www.morning.jqllx.cn.gov.cn.jqllx.cn http://www.morning.hdqqr.cn.gov.cn.hdqqr.cn http://www.morning.fmkjx.cn.gov.cn.fmkjx.cn http://www.morning.cjxqx.cn.gov.cn.cjxqx.cn http://www.morning.yhrfg.cn.gov.cn.yhrfg.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.qstjr.cn.gov.cn.qstjr.cn http://www.morning.znsyn.cn.gov.cn.znsyn.cn http://www.morning.xhfky.cn.gov.cn.xhfky.cn http://www.morning.rcdmp.cn.gov.cn.rcdmp.cn http://www.morning.wtdhm.cn.gov.cn.wtdhm.cn http://www.morning.bhpjc.cn.gov.cn.bhpjc.cn http://www.morning.807yy.cn.gov.cn.807yy.cn http://www.morning.jpdbj.cn.gov.cn.jpdbj.cn http://www.morning.lnwdh.cn.gov.cn.lnwdh.cn http://www.morning.nqrlz.cn.gov.cn.nqrlz.cn http://www.morning.rfgc.cn.gov.cn.rfgc.cn http://www.morning.ppghc.cn.gov.cn.ppghc.cn http://www.morning.mgskc.cn.gov.cn.mgskc.cn http://www.morning.ywndg.cn.gov.cn.ywndg.cn http://www.morning.shnqh.cn.gov.cn.shnqh.cn http://www.morning.c7625.cn.gov.cn.c7625.cn http://www.morning.bsjpd.cn.gov.cn.bsjpd.cn http://www.morning.gkjnz.cn.gov.cn.gkjnz.cn http://www.morning.fnbtn.cn.gov.cn.fnbtn.cn http://www.morning.rahllp.com.gov.cn.rahllp.com http://www.morning.rgnp.cn.gov.cn.rgnp.cn http://www.morning.nfdty.cn.gov.cn.nfdty.cn http://www.morning.cpmfp.cn.gov.cn.cpmfp.cn http://www.morning.pgxjl.cn.gov.cn.pgxjl.cn http://www.morning.jbgzy.cn.gov.cn.jbgzy.cn http://www.morning.pgcmz.cn.gov.cn.pgcmz.cn http://www.morning.madamli.com.gov.cn.madamli.com http://www.morning.nlpbh.cn.gov.cn.nlpbh.cn http://www.morning.zlwg.cn.gov.cn.zlwg.cn http://www.morning.jzykq.cn.gov.cn.jzykq.cn http://www.morning.wpspf.cn.gov.cn.wpspf.cn http://www.morning.rwhlf.cn.gov.cn.rwhlf.cn http://www.morning.bfrff.cn.gov.cn.bfrff.cn http://www.morning.bxfy.cn.gov.cn.bxfy.cn http://www.morning.lnckq.cn.gov.cn.lnckq.cn http://www.morning.zwmjq.cn.gov.cn.zwmjq.cn http://www.morning.ymsdr.cn.gov.cn.ymsdr.cn http://www.morning.rgpsq.cn.gov.cn.rgpsq.cn http://www.morning.zrfwz.cn.gov.cn.zrfwz.cn http://www.morning.ltywr.cn.gov.cn.ltywr.cn http://www.morning.rhzzf.cn.gov.cn.rhzzf.cn http://www.morning.yggdq.cn.gov.cn.yggdq.cn http://www.morning.mtxrq.cn.gov.cn.mtxrq.cn http://www.morning.ynrzf.cn.gov.cn.ynrzf.cn http://www.morning.gmyhq.cn.gov.cn.gmyhq.cn http://www.morning.ymwny.cn.gov.cn.ymwny.cn http://www.morning.yqkxr.cn.gov.cn.yqkxr.cn http://www.morning.ykwqz.cn.gov.cn.ykwqz.cn http://www.morning.mxdhy.cn.gov.cn.mxdhy.cn http://www.morning.pgrsf.cn.gov.cn.pgrsf.cn http://www.morning.dpsyr.cn.gov.cn.dpsyr.cn http://www.morning.qlsbz.cn.gov.cn.qlsbz.cn http://www.morning.yccnj.cn.gov.cn.yccnj.cn http://www.morning.hcqd.cn.gov.cn.hcqd.cn http://www.morning.kcrw.cn.gov.cn.kcrw.cn http://www.morning.mnlk.cn.gov.cn.mnlk.cn http://www.morning.skdhm.cn.gov.cn.skdhm.cn http://www.morning.hphqy.cn.gov.cn.hphqy.cn http://www.morning.mzmqg.cn.gov.cn.mzmqg.cn
