新开传奇手游网站大全,公司做网络营销,山东响应式网站开发,老网站备案密码错误目录
实验步骤与过程
1. 路沿检测方法设计
2. 路沿检测方法实现
2.1 视频图像提取
2.2 图像预处理
2.3 兴趣区域提取
2.4 边缘检测
2.5 Hough变换
2.6 线条过滤与图像输出
3. 路沿检测结果展示
4. 其他路沿检测方法
实验结论或体会 实…目录
实验步骤与过程
1. 路沿检测方法设计
2. 路沿检测方法实现
2.1 视频图像提取
2.2 图像预处理
2.3 兴趣区域提取
2.4 边缘检测
2.5 Hough变换
2.6 线条过滤与图像输出
3. 路沿检测结果展示
4. 其他路沿检测方法
实验结论或体会 实验内容针对给定的视频利用图像处理基本方法实现道路路沿的检测
提示可利用Hough变换进行线检测融合路沿的结构信息实现路沿边界定位图中红色的点位置。 实验步骤与过程
1. 路沿检测方法设计 图1 路沿检测方法思路图
对于路沿检测整体思路如上所示。首先利用opencv提取出视频中的每一帧然后对每一帧图像进行预处理。此处的预处理包含了灰度变换、图像二值化、均值滤波、再次二值化等其目的主要在于将图像处理成路沿较容易被识别出来的状态。对图像进行预处理后需要进行兴趣区域提取。此处的兴趣区域提取我首先根据图像的几何信息规定了一个大概的范围然后再通过Hough变换找出路基与路标线的区域最后将此区域作为最后的兴趣区域。最后再进行常规的边缘检测与hough变换并对结果进行过滤即可较好地检测出路沿。
2. 路沿检测方法实现
下面将根据上面的路沿检测方法的设计进行具体的实现。
2.1 视频图像提取
由视频属性说明
由于视频是由一帧一帧的图像所组成的所以对一个视频做路沿检测相当于对每一帧图像都做路沿检测。一般每秒中视频有24、25、30、60帧图像帧数越多视频越顺滑但是处理的数据量也越大。在本次实验提供的视频中根据属性查看可知其帧数为24帧/s其属性如下图图2所示。 图2 视频属性
opencv帧数提取
在opencv中提供了一个模块用于提取视频中的每一帧这个模块叫做Videocapture其拥有一个必要参数——视频的地址。在建立videocapture对象后调用其read函数其即可以以迭代器的方式返回每一帧图像。下面为videocapture的一个使用案例。 import cv2# 打开视频文件cap cv2.VideoCapture(./实验2实验数据/01.avi)# 逐帧读取视频while True: ret, frame cap.read() if not ret: break # 处理当前帧 cv2.imshow(Frame, frame) cv2.waitKey(1)# 释放资源cap.release()cv2.destroyAllWindows() 2.2 图像预处理
灰度变换
所提供的视频均为拥有RGB三通道的彩色视频而在检测边缘中或许只需要一个通道即灰度图即可。当通道变多时颜色信息或许作用并不大而且可能会影响边缘的判别。同时将图像变成灰度图还可以加快处理速度节省计算资源。因此此处将图像转变成灰度图[1]。此处可以使用下面公式进行灰度变换
Gray R*0.299 G*0.587 B*0.114
同时也可利用opencv自带的函数进行变换其原理一致案例代码如下。 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) 变换前后结果如下面两图所示可以看到去除颜色后更容易分辨道路的边界而去除周围无用信息的影响。 图3 灰度变换前 图4 灰度变换后
二值化
从图像中进行观察可以清晰地看到路沿有一个重要的特征就是拥有阴影与明显地轮廓特征表现为颜色微小地颜色变化。因此可以利用以上的特征对图像进行处理首先至少使得人眼可明显观察得到粗略的路沿区域。那么想到的方法是对图像进行二值化下面进行具体的试验。首先将阈值设置为一半即127可以看到结果如图x所示而将阈值设置为200时其结果如图x所示可以看到前者可以清晰看出近处的路沿而后者可以看到整条道路的路沿但是十分粗糙于是调整阈值以获得最佳值。 图5 二值化阈值为127时的图像 图6 二值化阈值为200时的图像
从120至200逐一调整后发现阈值为185时较佳其结果如下所示。 图7 阈值为185时的二值化图像
可以清晰看出路沿的轮廓但是其四周却存在部分阴影因此可以对其进行多次均值滤波后再次二值化去除其步骤见均值二值化处理。
均值滤波二值化
在前面的图中可以清晰看出路沿的轮廓但是轮廓周边却存在一些干扰的黑线如下图所示。 图8 轮廓周边的黑线
因此可以尝试对二值化后的图像进行均值滤波对这些黑边的灰度值进行弱化然后再进行一次二值化即可去掉黑边。
对整幅图像进行均值二值化处理并将参数调整至最佳其结果如下所示、 图9 均值二值化处理
可以发现四周的黑边去除了,但是同时远处的轮廓线也没了.因此对整张图进行均值滤波后再二值化会存在问题.于是考虑到在远处黑边的影响比较小,而且远处的宽容度无需太高,所以应该只要对右下角区域进行处理.
2. 对右下角区域进行处理首先提取处ROI区域其代码如下 # 获取图像的行数和列数rows, cols img_binary.shape[:2]# 指定右下角区域的起始和结束位置x_start, y_start int(cols * 0.5), int(rows * 0.5)x_end, y_end cols, rows# 提取右下角区域roi gray[y_start:y_end, x_start:x_end] 然后对其进行均值滤波并将roi区域幅值到整张图中。最后再次进行二值化操作此时阈值设置为160。 # 选定右小角区域做均值滤波blur cv2.blur(roi, (5, 5))# 将滤波后的区域复制回原图像的右下角img_binary[y_start:y_end, x_start:x_end] blur# 再次进行二值化操作_, img_binary cv2.threshold(img_binary, 170, 255, cv2.THRESH_BINARY) 其结果如下所示。 图10 ROI区域均值滤波与二值化处理结果图
可以发现近处的黑边已被去除而远方的轮廓线仍清晰可见。
2.3 兴趣区域提取
粗略提取
对上面的区域进行预处理后下一步就是提取兴趣区域也就是路沿所在的区域以排除其他区域的影响。从视频中可以看出路沿是在我们右手边的而在其他行驶条件中我国的道路一般也都是在右边.因此首先可以截取左向数起2/5区域作为兴趣区域。而再仔细观察可以发现路边与左边2/5处边界线成60度范围因此可以截取如下的区域作为兴趣区。 图11 兴趣区域示意图
兴趣区域提取的代码如下所示 def get_roi(img): # 获取图像大小 h, w img.shape[:2] # 计算多边形顶点 x1 int(w / 5 * 2) x2 int(w / 5 * 2) x3 int(w / 5 * 2 h*math.tan(math.pi/3)) y1 50 y2 int(h) y3 h pts np.array([(x2, y1), (x3, y2), (x3, y3), (x1, y3), (x1, y2), (x2, y1)]) mask np.zeros((rows, cols), dtypenp.uint8) # 填充多边形 cv2.fillPoly(mask, [pts], (255, 255, 255)) roi cv2.bitwise_and(img, img, maskmask) return roi 精确提取
在除此提取后发现左右两边的区域或许会产生影响因此下一步消除左右两边的边界。其思路如下图所示。主要的目的是在整个画面中只留下路沿而其他标志线的边界均去除其实现方法在于先提取标志线与路基边缘区域然后将此区域变成兴趣区进行截取然后将区域外的颜色均变为白色。那么最后结果就只剩下路沿线。 图12 精确提取思路图
在进行均值滤波与二值化后其结果如下所示。可以看到中间的路沿线已经去除方便进行边缘提取与霍夫变换。 图13 去除中间路沿线
在得到上面的图像后进行边缘提取最后使用掩膜进行变换得到下图。 图14 提取后的效果图
可以看到标志线与路基区域已经精确地截取得到。从图中可以看出可以形成三条边沿线而我们所需要的仅仅是中间的。因此将掩膜区域外的图像变为白色其结果如下。 图15 保留轮廓线
可以看到效果并不好因此尝试压缩范围以最后得到中间的黑线通过改变截距的大小来进行其代码如下。 def adjust_line_intercept(point1, point2, c): x1, y1 point1 x2, y2 point2 k (y2 - y1) / (x2 - x1) b y1 - k * x1 b c y1_new k * x1 b y2_new k * x2 b return [(int(x1), int(y1_new)), (int(x2), int(y2_new))] 然而却发现结果并不佳,因为随着图像的变化,较难找到最佳的截距参数.所以区域限制的方法无太大作用最后此方法未用到最终结果中。
2.4 边缘检测
在上面的过程中其实一直有涉及到边缘检测的部分,的边缘检测我选择了canny边缘检测。它是一种经典的边缘检测算法。通过高斯模糊、计算梯度、非极大值抑制、双阈值检测、边缘连接几个步骤对边缘进行检测。在此次实验中我参考了高等人[1]的方法设置了高低阈值即使用光照强度参数 BL的0.4倍作为低阈值1.2倍作为高阈值。最后还使用cv2.bitwise_and函数来将边缘图像edges和掩码mask进行按位与运算从而将边缘检测结果限制在指定的区域内。其代码如下。 bl cv2.mean(img)[0]canny_low int(0.4 * bl)canny_high int(1.2 * bl)edges cv2.Canny(img, canny_low, canny_high)edges cv2.bitwise_and(edges, edges, maskcv2.inRange(frame, (0, 0, 0), (200, 200, 200))) 2.5 Hough变换
霍夫变换是一种经典的图像处理算法一般它会配合边缘检测以提取出边缘的的坐标信息形成直线或圆。在此处的路沿检测中路沿一般是直线所以主要使用线条的hough变换即可。为了得到更好的效果我进行了多次调整参数。下表为调整threshold的结果统计默认参数为threshold100minLineLength100 maxLineGap100。
表1 threshold结果统计 threshold 结果说明 显示效果 150 边界线条较稀疏路沿线可能无法显示 100 边界线条可以正常显示 50 线条数量多较为稠密 下表为改变minLineLength最短线条长度的结果。
表2 minLineLength结果统计 threshold 结果说明 显示效果 150 边界线条可以正常显示 100 边界线条可以正常显示 50 线条变短
改变maxLineGap最大线条间隔的结果三者的改变对结果影响不大因此不展示统计表。因此最后参数均选择为100。
2.6 线条过滤与图像输出
上面的结果中包含了路沿的边界线但是同时也含有两侧路基边线与路标线。因此最终输出应该进行过滤在前面的兴趣区域提取中曾尝试过去除影响但是结果并不佳。同时在hough变换中会存在某些异常线条这些线条的斜率往往与路沿的差别很大。于是尝试使用斜率筛选与截距排序来对结果进行过滤。
斜率平均值
统计视频中线条的斜率平均值将每个视频中线条的斜率累加然后除以线条总数据以下为各视频线条斜率的统计结果。
表3 各视频路沿斜率统计 视频名称 斜率平均值 01.avi 2.48 02.avi 3.19 03.avi 1.56
三者平均值为 在此均值范围内加减其百分之50%作为范围即1.21~3.62。修改前后如下图所示可以看到异常的线条给去除了。 图16 斜率限定前 图17 斜率限定后
路沿截距
目前所能看到的图像虽然包含了路沿线但是也包含了其他的边界线因此需要过滤。人工统计三个视频中路沿线截距其结果如下表所示。
表4 各视频路沿截距统计 视频名称 截距范围 01.avi 550-600 02.avi 550-700 03.avi 400-500
因此根据以上的条件进行过滤。以02.avi为例其变化前后如下图所示可以看到改变前是很多条线的而处理后只有路沿存在线。然而这种做法却存在太大的主观性需要根据特定的视频进行定制无法通用存在极大的不便性。 图 18截距限定前 图 19截距限定后
3. 路沿检测结果展示
01.avi 图20 01.avi最终结果截图
02.avi 图21 02.avi最终结果截图
03.avi 图22 03.avi最终结果截图
从上面的图中可以看出其实对于此次实验的路沿检测基本是可以完成的但是细节上的内容还可以更进一步地完善。比如再进一步自适应兴趣区域自动识别路沿斜率范围等。
4. 其他路沿检测方法
在查阅文献时发现了还有很多针对路沿检测的方法这些方法主要分为两大类。第一类大多出现在10年前主要是利用hough变换、canny边缘检测等的传统方法来对路沿进行检测第二类则是使用深度学习的方法对对路沿进行检测。
传统方法介绍
对于第传统方法其研究主要集中在10年前如杨[2]等人提出了一种基于边缘的道路检测算法采用颜色和方差规则消除非道路边缘的干扰通过Hough变换确定道路边界的位置同时通过限定感兴趣区域进一步提高算法效率。高[1]等人提出了一种基于Canny算子和Hough变换的路缘识别和距离测量算法能够实时准确地检测不同类型的路缘并进行距离测量。徐[3]等人提出了一种基于直线模型的道路识别算法采用自然边界作为道路识别的依据可以应用在有或没有车道线的道路环境中。刘[4]等人提出了一种基于三维道路模型的道路检测和跟踪算法利用道路标志线的颜色突变来检测道路的边界线同时利用卡尔曼滤波来进行跟踪分析。Gao[5]等人提出了一种双阈值方法获取道路的二值图像并采用自适应Hough变换和SUSAN算法来获取道路边界。郭[6]等人采用自适应分离、模糊C均值和模糊规则来进行道路的识别同时采用Canny算子得到良好的车道线检测效果应对光照变化的情况。
深度学习方法介绍
以上传统的这些方法大多都是在深度学习受限于计算机性能无法得到较好发展的年代发表的这些算法都拥有较好的性能无需太多的计算资源。而如今随着深度学习的火热目前路沿检测也拥有很多的神经网络模型。下面介绍三种关于路沿检测的模型。
1. SCNN
SCNN是一种基于卷积神经网络的语义分割模型它使用了空洞卷积来增加感受野以便能够更好地捕捉图像中的长距离信息。为了能够处理不同尺度的图像SCNN使用了下采样和上采样的操作。其中下采样用于降低特征图的分辨率以便能够在更大的感受野范围内进行信息提取。在网络结构上SCNN采用了一种U-Net结构在特征提取和语义分割之间添加了一个对称的上采样模块以便能够恢复原始图像的尺寸。它还使用了交叉熵损失函数来优化网络参数同时还引入了一些额外的约束条件如边界损失和平滑损失以提高模型的鲁棒性和准确性。其效果图如下所示。 图23 SCNN效果图 转载于https://github.com/XingangPan/SCNN
2. LaneNet
LaneNet是一种用于车道线检测的深度学习模型可以实现实时、高精度的车道线检测和分割。LaneNet模型主要由两个部分组成Encoder网络和Decoder网络。Encoder网络是一个卷积神经网络CNN用于提取输入图像的特征。Decoder网络由两个分支组成一个分支用于车道线二值化分割另一个分支用于车道线实例分割。LaneNet通过将分割和实例分割任务组合在一起可以同时检测和分割多条车道线且可以区分同一车道线上的不同部分。LaneNet的优点在于在不同光照、天气等情况下具有较好的鲁棒性和准确性能够处理复杂的车道线形状和多车道情况模型参数相对较小可以在嵌入式设备上实现实时车道线检测。此模型的结构图如下所示。 图24 LaneNet结构图 转载于https://github.com/amusi/awesome-lane-detection
3. VPGNet
vpgnet在2017年的CVF会议上提出的它使用消失点作为特征值来引导对路沿线与车道线的检测。它将消失点和车道线的位置和宽度作为输入使用卷积神经网络对图像进行特征提取和车道线检测。其效果图如下 图25 VPGNet效果图 转载于https://github.com/SeokjuLee/VPGNet
vpgnet主要包含三个部分车道检测分支、路标检测分支和消失点回归分支。在训练过程中网络同时学习车道和路标的位置和类别信息以及消失点的位置信息最终通过单次前向传递预测车道和路标的位置和类别以及消失点的位置。此模型在不良天气条件下进行了有效的实现其具有高精度和鲁棒性且实时性较高。
参考文献
[1]高灿, 曾杨, 郑庆华. 基于机器视觉的路缘识别及距离测量方法研究[J]. 建设机械技术与管理, 2014 (10): 125-130.
[2]杨文杰, 胡明昊, 杨静宇. 一种快速的基于边缘的道路检测算法[J]. 计算机科学, 2006, 33(5):257-260.
[3]徐友春, 王荣本, 李克强,等. 一种基于直线模型的道路识别算法研究[J]. 中国图象图形学报A辑, 2004, 9(7):7.
[4]刘富强, 田敏, 胡振程. 智能汽车中基于视觉的道路检测与跟踪算法[J]. 同济大学学报自然科学版, 2007, 35(11):7.
[5]Dezhi GaoWei LiJianmin Duanetc. A Practical Method of Road Detection for Intelligent Vehicle[C]. In:Proceedings of the IEEE International Conference on Automation and LogisticsBeijingChina2009:980-985
[6]Jyungguo WangChengjian LinShy i m i ng Chen. Applying Fuzzy Method to Vision-Based Lane Detection and Departure Warning System[J]. Expert Systems with Applications201037:113-126.
[7]郭春钊山部尚孝三田诚一. 基于立体视觉平面单应性 的智能车辆可行驶道路边界检测[J]. 自动化学报2013 39(4):371-380
[8]Pan, X. SCNN [Source code]. v1.0. Retrieved from https://github.com/XingangPan/SCNN
[9]MaybeShewill-CV. (2018). lanenet-lane-detection [Source code]. GitHub. https://github.com/MaybeShewill-CV/lanenet-lane-detection
[10]Lee, Seokju, et al. VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition. IEEE Transactions on Image Processing 28.12 (2019): 6034-6046.
[11]https://github.com/amusi/awesome-lane-detection
[12]https://blog.csdn.net/weixin_51426083/article/details/127812799
实验结论或体会
在本次的实验中我使用了灰度变换、二值化、canny边缘检测以及hough变换等多种方法对视频的每一帧进行了处理最后成功地对三个视频的路沿线进行了识别。虽然在整个视频中存在某些帧无法正常识别以及线条偏离但是大部分的视频帧都能成功识别出路沿线。对于视频的处理以及方法的调用基本上使用的都是python的opencv库整个实验下来我对opencv的一些函数与使用方法有了更深入地了解。
在开始实验前我搜寻了很多关于路沿检测的文献了解了很多传统的处理方法以及近5年来最新的路沿检测模型。在实验过程中我并不是完全模仿前人的工作我还创新性地提出了我自己的想法并得以实现。我认为在此次的实验中的创新点在于多次使用二值化来放大路沿特征与兴趣区域以实现对路沿检测。总而言之此次的实验是对课上学到的知识地很好一次实践让我对理论知识拥有更好地了解受益无穷。 文章转载自： http://www.morning.ffgbq.cn.gov.cn.ffgbq.cn http://www.morning.zqfz.cn.gov.cn.zqfz.cn http://www.morning.csgwd.cn.gov.cn.csgwd.cn http://www.morning.ngmjn.cn.gov.cn.ngmjn.cn http://www.morning.zyrp.cn.gov.cn.zyrp.cn http://www.morning.xpqyf.cn.gov.cn.xpqyf.cn http://www.morning.dnbhd.cn.gov.cn.dnbhd.cn http://www.morning.bqmdl.cn.gov.cn.bqmdl.cn http://www.morning.yqkxr.cn.gov.cn.yqkxr.cn http://www.morning.yjmlg.cn.gov.cn.yjmlg.cn http://www.morning.qyrnp.cn.gov.cn.qyrnp.cn http://www.morning.bxsgl.cn.gov.cn.bxsgl.cn http://www.morning.lnyds.cn.gov.cn.lnyds.cn http://www.morning.tqhpt.cn.gov.cn.tqhpt.cn http://www.morning.kryr.cn.gov.cn.kryr.cn http://www.morning.crsqs.cn.gov.cn.crsqs.cn http://www.morning.nrgdc.cn.gov.cn.nrgdc.cn http://www.morning.rwdbz.cn.gov.cn.rwdbz.cn http://www.morning.grxyx.cn.gov.cn.grxyx.cn http://www.morning.qydgk.cn.gov.cn.qydgk.cn http://www.morning.kqxng.cn.gov.cn.kqxng.cn http://www.morning.zxxys.cn.gov.cn.zxxys.cn http://www.morning.xhsxj.cn.gov.cn.xhsxj.cn http://www.morning.pxspq.cn.gov.cn.pxspq.cn http://www.morning.htrzp.cn.gov.cn.htrzp.cn http://www.morning.mhpmw.cn.gov.cn.mhpmw.cn http://www.morning.ltrz.cn.gov.cn.ltrz.cn http://www.morning.tymnr.cn.gov.cn.tymnr.cn http://www.morning.wfspn.cn.gov.cn.wfspn.cn http://www.morning.ltrz.cn.gov.cn.ltrz.cn http://www.morning.nhgfz.cn.gov.cn.nhgfz.cn http://www.morning.yjxfj.cn.gov.cn.yjxfj.cn http://www.morning.kqxwm.cn.gov.cn.kqxwm.cn http://www.morning.bfjtp.cn.gov.cn.bfjtp.cn http://www.morning.zwxfj.cn.gov.cn.zwxfj.cn http://www.morning.kdnrp.cn.gov.cn.kdnrp.cn http://www.morning.beijingzy.com.cn.gov.cn.beijingzy.com.cn http://www.morning.swwpl.cn.gov.cn.swwpl.cn http://www.morning.hxbps.cn.gov.cn.hxbps.cn http://www.morning.pypbz.cn.gov.cn.pypbz.cn http://www.morning.kqgsn.cn.gov.cn.kqgsn.cn http://www.morning.rnjgh.cn.gov.cn.rnjgh.cn http://www.morning.tyjp.cn.gov.cn.tyjp.cn http://www.morning.dshkp.cn.gov.cn.dshkp.cn http://www.morning.npgwb.cn.gov.cn.npgwb.cn http://www.morning.hcxhz.cn.gov.cn.hcxhz.cn http://www.morning.nytgk.cn.gov.cn.nytgk.cn http://www.morning.bnmrp.cn.gov.cn.bnmrp.cn http://www.morning.xlbtz.cn.gov.cn.xlbtz.cn http://www.morning.wdpbq.cn.gov.cn.wdpbq.cn http://www.morning.cnxpm.cn.gov.cn.cnxpm.cn http://www.morning.jgncd.cn.gov.cn.jgncd.cn http://www.morning.qfbzj.cn.gov.cn.qfbzj.cn http://www.morning.bcnsl.cn.gov.cn.bcnsl.cn http://www.morning.yhjrc.cn.gov.cn.yhjrc.cn http://www.morning.yccnj.cn.gov.cn.yccnj.cn http://www.morning.kjkml.cn.gov.cn.kjkml.cn http://www.morning.fgkwh.cn.gov.cn.fgkwh.cn http://www.morning.rldph.cn.gov.cn.rldph.cn http://www.morning.bhrkx.cn.gov.cn.bhrkx.cn http://www.morning.wwklf.cn.gov.cn.wwklf.cn http://www.morning.prqdr.cn.gov.cn.prqdr.cn http://www.morning.hsrpc.cn.gov.cn.hsrpc.cn http://www.morning.gnmhy.cn.gov.cn.gnmhy.cn http://www.morning.lwxsy.cn.gov.cn.lwxsy.cn http://www.morning.nchlk.cn.gov.cn.nchlk.cn http://www.morning.lssfd.cn.gov.cn.lssfd.cn http://www.morning.cpfx.cn.gov.cn.cpfx.cn http://www.morning.tpnxj.cn.gov.cn.tpnxj.cn http://www.morning.zgqysw.cn.gov.cn.zgqysw.cn http://www.morning.njntp.cn.gov.cn.njntp.cn http://www.morning.lbhck.cn.gov.cn.lbhck.cn http://www.morning.ckfqt.cn.gov.cn.ckfqt.cn http://www.morning.cpljq.cn.gov.cn.cpljq.cn http://www.morning.rlbfp.cn.gov.cn.rlbfp.cn http://www.morning.ykklw.cn.gov.cn.ykklw.cn http://www.morning.qtbnm.cn.gov.cn.qtbnm.cn http://www.morning.prhqn.cn.gov.cn.prhqn.cn http://www.morning.jtnph.cn.gov.cn.jtnph.cn http://www.morning.lsjtq.cn.gov.cn.lsjtq.cn
