基于目标检测算法与迭代阈值分割的道路标线可视度评估

摘要

提出了一种基于目标检测与迭代阈值分割的道路标线分割算法。首先采用基于BiFormer改进的YOLOv5目标检测算法对道路标线区域进行快速定位与框选，然后运用快速迭代阈值分割对框选区域内的道路标线进行精细提取，最后对提取后的道路标线采用韦伯对比度进行人眼可视度评估。结果表明：该方法能够完成道路标线的快速准确提取，并实现对道路标线可视度的有效检测。

关键词

道路标线; 可视度评估; YOLOv5; 迭代阈值分割

道路标线是道路交通设施的重要组成部分，一般为施划或安装在路面上的各类图案、文字、实体标记、突起路标和轮廓标，为道路交通参与者提供道路交通相关信息，引导道路交通的有序进行^［1-2］。由于道路标线施工质量不稳定、维护更新不及时以及车辆行驶磨损等原因，随着道路服役年限的增长，道路标线不可避免地出现掉色、褪色、模糊、缺损、亮度损耗和涂料剥落等现象，严重影响驾驶员对道路情况的判断，干扰道路交通的正常运行^［3］，而且道路标线的可视度对车辆的辅助驾驶也有较大的影响^［4］。新版国标不仅对道路标线的尺寸、颜色有着明确的标准，还特别增添了道路标线在各种环境下的可视度要求^［5］。因此，道路标线破损以及可视度的有效评估和统计对于道路安全与维养有着极其重要的意义。

传统的道路标线检测主要采用人工测量方法，测量结果受人为因素影响较大，不利于道路标线规范化养护^［6］。随着数据自动采集技术以及计算机技术的发展，采用自动化处理方式对道路标线进行检测逐渐成为主流^［7］。常见的道路标线检测数据来源有平面激光数据^［8］、三维点云数据^［9］、立体像对^［10］以及二维图像数据^［11］。相较于其他数据形式，二维图像数据虽然无法获取道路标线的厚度等高程数据，但其无需专业设备采集，并且可以利用机器视觉算法实现较快的处理速度，目前已经广泛应用于道路病害^［12］以及其他基础设施^［13］的检测中。基于二维图像数据的道路标线检测主要利用道路标线相较于路面通常有着不同的图案以及较大的颜色差。已有研究采用传统机器视觉算法以及最近快速发展的深度学习算法对道路标线图像进行识别。章先阵^［14］采用阈值法对路面图像进行分割以获取道路标线区域，并通过区域像素计数自动获取纵向道路标线的破损率。刘新宇等^［15］采用动态阈值结合图像全局阈值的方法对道路标线进行分割，能够有效地抑制路面背景噪声，提取标线细节。介炫慧^［16］将最大类间方差阈值分割法（OTSU）应用于二维图像颜色空间 （HSI）中的各个颜色分量，融合获取道路标线分割区域。Yu等^［17］采用Sobel和Shen Jun边缘算子对道路标线进行提取。Zhang等^［18］提出了采用预设过滤器对标线区域进行灰度增强，再对增强后的图像进行阈值分割与图像匹配，以确定标线区域。传统的阈值分割以及边缘检测算法采用固定逻辑对图像进行检测，虽然适用性较好，但是由于其需要图像全局像素点进行计算，易对标线检测结果造成干扰。

深度学习算法在提高道路标线检测的可靠性和准确性上具有明显优势。Husan等^［19］使用卷积神经网络（CNN）对道路标线进行识别，训练的CNN可以准确地对损坏与正常的道路箭头标线进行分类。Tian等^［20］通过多级特征融合和锚框区域扩展对Fast R‒CNN进行优化，提升模型的道路标线识别速度以及对小目标的定位能力。Ye等^［21］使用YOLOv2算法对道路标线进行定位框选和粗略分类，并设计了一个补充分类网络对框选后的标线进行准确分类。Alzraiee等^［22］训练了一个基于Faster R‒CNN的模型，直接对破损的道路标线进行框选。基于深度学习的检测方法不仅能够对道路标线进行分类与定位，还可以获取与传统方法相同的准确道路标线区域。Tian等^［23］使用Mask R‒CNN实现了复杂交通环境下的道路标线分割。Muthalagu等^［24］设计了一个多阶段CNN网络用于分割车道标线。

虽然对于道路标线检测已有大量研究，但是大多数研究出发点是辅助车辆自动驾驶，关于道路标线损坏评估的研究较少，也极少涉及道路标线的可视度评估。因此，提出了一种联合目标检测和迭代阈值分割的道路标线精细提取方法，并以人眼灰度感知标准为参考，实现对道路标线区域可视度的快速评估。

1 道面标线提取

1.1　YOLOv5目标检测算法

2016年提出的YOLO算法是一种一阶段的目标检测算法^［25］，该算法在大幅提升识别速度的同时还能保持较高的准确性，具有更强的泛化能力，在目标检测中仅使用一个网络就可输出信息。与两阶段算法相比，YOLO算法的检测速率有着较大优势，基本上可以做到实时检测。YOLO算法将整个图像作为输入，并将输入图像分为若干个区域，在区域内分别检测目标，若检测到目标的中心点，则将目标统一归于中心点所在区域，在选中的区域内使用CNN网络对目标进行分类；由图像的特征直接回归出各个目标区域，并可以预测目标类别。因此，YOLO算法仅使用一个网络就能够全面推断和检测一张图像中的所有目标，实现端对端的检测。

YOLO算法从最初版本不断升级，衍生出v2、v3、v4、v5等版本。本研究将YOLOv5算法作为目标检测模型。相比于前代模型，YOLOv5进行一系列的主干网络优化、数据增强、多正样本匹配，提升了模型的训练速度和识别效果。YOLOv5网络结构可分为四部分：输入网络（Input）、主干网络（Backbone）、信息融合网络（Neck）与分类预测网络（Head）。输入网络主要进行图像数据增强与适应模型的图片变形处理；主干网络对物体提取基础特征；信息融合网络通过对主干网络提取到的基础特征进行多维度融合获取特征图，以提升检测效果；分类预测网络负责对上级网络输出的特征图进行多尺度目标检测，并输出结果。

1.2　基于BiFormer改进的YOLOv5算法

在路面图像采集时，道路标线这类小目标不可避免地出现压缩以及畸变等现象，因此需要优化模型来提高小尺寸样本的识别精度与区分度。将BiFormer^［26］的注意力机制与YOLOv5模型结合，可以学习图像中不同区域之间的关联关系，能够改善YOLOv5算法对小尺寸目标检测能力不足的缺陷，有效提升模型对道路标线的检测性能。

BiFormer是一种具有双向特征变换（Transformer）的神经网络模型，与原版Transformer模型不同，BiFormer包含2个Transformer编码器，一个从左到右地处理输入序列，另一个从右到左地处理输入序列，以捕捉序列中的前后依赖关系。此外，BiFormer还可以通过将2个编码器的输出进行拼接来捕捉更丰富的前后信息，进一步提高模型性能。

然而，BiFormer的设计目的并不是用于目标检测，本研究主要利用BiFormer注意力机制以提升YOLOv5的检测能力。注意力机制是指在任务处理时，检测模型能够将重点放在特定的信息上，而忽略其他无关或不重要信息的能力。BiFormer采用双向路由注意力（BiLevel Routing Attention），可以将每个位置的向量与其他位置的向量进行交互，并根据它们之间的相对重要性分配不同的权重。在BiLevel Routing Attention中，每个编码器都包含多个Transformer注意力头，这些Transformer注意力头并行计算，可以捕捉不同尺度和不同类型的信息，学习图像不同区域之间的关联关系，关注区域间的并集，利用稀疏性跳过最不相关的计算区域，减轻运算压力。

本研究将BiFormer的BiLevel Routing Attention模块嵌入YOLOv5的信息融合网络中的特征金字塔网络（FPN）路径，在尽可能减少参数量的前提下提升模型性能，自注意力模块改进如图1所示。

图1  自注意力模块改进

Fig.1  Self-attention module improvement

1.3　迭代阈值分割算法

根据道路标线与背景灰度差异较大的特点，本研究采用迭代阈值分割算法以降低算法硬件需求与运算时间，对YOLOv5算法提取后的分块图像进行阈值分割，获取道路标线的准确分割区域。

迭代阈值分割提取流程如下：

（1）通盘扫描全图灰度数组，得到全图灰度最大值与最小值，以两者中值作为初始阈值。

（2）根据计算阈值进行分割，将图像分为标线与路面两部分。

（3）遍历标线区域与路面区域的像素数量，并提取像素灰度。

（4）根据像素数量计算标线区域与路面区域的平均灰度，以两者中值更新阈值。

（5）重复步骤（2）—步骤（4）直至阈值不再变化，退出循环。对于分割后的道路标线二值化图像，通过坐标匹配获取标线原始图像，最后计算得到标线灰度平均值以及路面背景灰度平均值。

2 道路标线可视度评估

基于人眼视觉特性（human visual system， HVS）提出了一种基于二维图像的标线可视度评估方法。由HVS可知，人眼仅能在图像中分辨出灰度差异大于某一特定阈值的像素对，这种最小可感知的灰度差异被称为人眼临界可见偏差（JND）。在不同灰度背景下，JND的取值有所不同。JND曲线描述了各种灰度背景下JND取值变化。基于JND，可以进一步构建人眼感知图像灰度标准。范晓鹏等^［27］获取了人眼JND‒背景灰度关系，为了方便计算，对区间值进行了平均，最终使用的人眼JND‒背景灰度关系曲线如图2所示。

图2  人眼JND‒背景灰度关系

Fig.2  Relationship between JND of human eye and background grayscale

根据HVS理论，人眼对于图像灰度对比度比灰度差更为敏感，故采用标线的灰度对比度进行可见性评估^［28］。根据视觉阈值效应，在不同图像背景灰度条件下，当目标的对比度低于某特定值时，人眼将无法识别目标，这特定值通常称作视觉阈值，视觉阈值计算式如下所示^［29］：

$$C=\frac{∆I}{I}$$

（1）

式中：$C$为视觉阈值；$∆I$为灰度差；$I$为背景灰度。

对阈值分割得到的标线灰度平均值以及路面背景灰度平均值进行计算，获取道路标线的韦伯对比度，即道路标线的平均灰度与周围路面的平均灰度之差与周围路面的平均灰度的比值，计算式如下所示：

$$K=\frac{{\overline{I}}_{\mathrm{m}}-{\overline{I}}_{\mathrm{p}}}{{\overline{I}}_{\mathrm{p}}}$$

（2）

式中：$K$为道路标线对比度；${\overline{I}}_{\mathrm{m}}$为道路标线平均灰度；${\overline{I}}_{\mathrm{p}}$为道路标线周围路面平均灰度。

为了使人眼能够识别道路标线，标线对比度需要达到某一阈值要求，道路标线对比度视觉阈值‒背景灰度曲线可由人眼JND‒背景灰度关系图像经过下式计算转化得到：

$$K_{\mathrm{m}\mathrm{i}\mathrm{n}}=\frac{J_{\mathrm{N}\mathrm{D}}}{{\overline{I}}_{\mathrm{p}}}$$

（3）

式中：$K_{\mathrm{m}\mathrm{i}\mathrm{n}}$为此背景灰度下道路标线对比度最小值；$J_{\mathrm{N}\mathrm{D}}$为最小人眼临界可见偏差值。当道路标线对比度计算值高于曲线值时，则认为标线可视度合格，结果如图3所示。

图3  道路标线对比度‒背景灰度最小可视度曲线

Fig.3  Minimum visibility curve of road marking contrast and background grayscale

3 实验与结果分析

为保证模型测试的可靠性，模型训练与测试均在同一设备上进行，模型测试开发环境如表1所示。

表1  开发环境

Tab.1  Development environment

类型	型号
处理器	Intel Core i5 13600KF
显卡	RTX 4070Ti
内存	DDR4（3 600 MHz， 32 GB）
主板	ASUS B660M‒PLUS
开发语言	Python 3.8
操作系统	Win11专业版

3.1　道路标线框选提取

本研究基于CalTech Lanes数据集^［30］进行模型训练与测试。该数据集将车道线按照直行箭头线、左转箭头线、右转箭头线、斑马线4种类型进行标注，如图4所示。选取其中具有代表性的部分图片进行模型训练与测试，如表2所示。

图4  CalTech Lanes数据集中的各类道路标线

Fig.4  Road markings in CalTech Lanes dataset

表2  数据集样本量

Tab.2  Sample quantity of CalTech Lanes dataset

项目	各类型道路标线数
	直行箭头线	左转箭头线	右转箭头线	斑马线
训练集	912	572	442	605
验证集	209	90	121	127
测试集	22	19	21	18
合计	1 143	681	584	750

基于PyTorch框架搭建YOLOv5目标检测模型，首先加载预训练权重，并在此基础上进行训练。研究使用的YOLOv5预训练权重通过在COCO数据集^［31］上训练得到，该数据集包含超过33万张带有80个不同类别标签的图像。

研究中还增加了Attention^［32］、AttentionLePE^［33］ 2种常用注意力机制模块与迭代阈值分割模块进行比选。比选中仅对左转箭头线与右转箭头线进行训练测试，结果如表3所示。

表3  不同注意力模块改进测试结果

Tab.3  Test results of different attention module improvements

模型	左转箭头线检测精度	右转箭头线检测精度	平均精度
YOLOv5	0.484	0.475	0.479
YOLOv5+BiLevel Routing Attention	0.578	0.433	0.505
YOLOv5+Attention	0.482	0.449	0.466
YOLOv5+AttentionLePE	0.481	0.305	0.393

由模型比选结果可知，BiFormer注意力机制的加入提高了模型对于左转箭头线与右转箭头线这类小尺寸标线的检测能力，明显优于其他类型注意力机制，加入了一层BiFormer注意力机制模型的平均检测精度相较于原始模型提升了约6%。

此模型对于直行箭头线的检测精度为0.927，对于斑马线的检测精度为0.967，对于左转箭头线的检测精度为0.578，检测效果如图5所示。

图5  道路标线检测效果

Fig.5  Road marking detection results

YOLOv5模型可在生成检测框的同时一并生成检测目标的类别序号、中心点坐标位置、检测框尺寸、图像尺寸等信息。根据以上信息，可以完成道路标线的截取，并为道路标线的分割提供小尺寸图像。截取后图像如图6所示。

图6  裁剪后的道路标线图像

Fig.6  Cropped road marking images

3.2　道路标线分割

在完成对道路标线的检测框截取后，测试了迭代阈值分割算法对于道路标线区域的精确提取效果。图7是各类道路标线的提取图。结果显示，迭代阈值分割算法可以较准确地提取道路标线区域，并有较好的鲁棒性。直接使用迭代阈值分割算法对整张图片进行检测，在对100张图片进行处理时平均单张图片检测耗时达到160.145 ms，而在同样测试环境下，所提出的二阶段提取方法仅需127.23 ms，检测速度提升了20.5%。

图7  道路标线二值图

Fig.7  Road marking binary images

3.3　道路标线可视度评估

在CalTech Lanes数据集中随机抽取了100张样本图片对道路标线进行可视度评估，在100张图片中背景灰度最小值为34，最大值为96，对比度最小值为0.39，最大值为1.35。依据道路标线对比 度‒背景灰度最小可视度曲线进行道路标线可视度判定，结果如图8所示。结果表明，随机抽取的100张样本图片中道路标线均满足可视度评估要求。

图8  道路标线可视度评估

Fig.8  Road marking visibility evaluation

4 结论

（1）在原版YOLOv5模型的Neck结构中添加BiFormer注意力模块可以提升整体检测准确度，并且增强模型对箭头类小尺寸标线的检测能力。

（2）目标检测算法联合迭代阈值两阶段分割方法可以对道路标线进行快速精准提取，有效降低了道路标线提取的计算力需求以及处理时间。

（3）通过图像灰度韦伯对比度计算，以人眼灰度可视度为标准，实现了基于二维图像下的道路标线可视度检验。

作者贡献声明

董 侨：提出研究主题，指导研究思路设计，针对研究主题提出对策建议，对论文撰写做出指导。

林烨龙：构建研究框架，确定研究方法，进行数据分析。

王思可：参与研究框架设计，论文撰写与整理。

楚泽鹏：参与研究框架设计，论文撰写与整理。

陈雪琴：参与研究框架设计，对研究提出对策建议。

颜世傲：对研究提出对策建议，整理修正论文。