基于历史信息的路面表观损坏图像识别

摘要

在路面表观损坏图像识别方法中，为了解决现有方法准确度与速度不高的问题，利用历史检测结果这一历史信息，提出一种基于历史信息的路面表观损坏图像识别方法。首先，搭建了面向历史信息应用的算法框架，引入利用历史信息创建损坏识别的初始约束条件的机制。其次，训练VGG-16网络用于提取损坏特征。最后，利用历史信息建立初始种群以及设计特征参数，从而改进遗传算法。实验结果表明，该方法相较不运用历史信息的识别方法，能在不降低识别准确度的前提下显著提升识别速度，最快可较不运用历史信息的算法提升141.71倍速度。

关键词

道路工程; 损坏检测; 图像识别; 路面管理

交通基础设施管理.E-mail： [e-mail]

准确、快速检测路面损坏是道路养护管理的基础。传统人工检测和半自动检测存在诸多不足，如准确率不高、效率低下、受主观因素影响等，难以做到对路面损坏进行客观评价。随着计算机技术的快速发展，现阶段自动检测中运用图像识别技术检测路面表观损坏已成为道路工程领域的研究热点。

早期的研究采用经典的图像识别方法，如阈值分割法、边缘检测法、频域识别法。许多边缘检测器如Roberts、Prewitt^［1］、Sobel^［2］、梯度算子、拉普拉斯算子和Marr算子^［3］都被用于检测路面裂缝；频域识别法在路面表观损坏自动识别方法中具有代表性的有Wavelet变换^［4］及Ridgelet变换^［5］。但由于所采集的路面表观图像容易受到拍摄角度、光强等外界条件的影响，而经典图像识别方法受到外界的干扰较大，且只能提取浅层特征，故具有较大的局限性。

目前的识别方法大多基于深度学习技术，相较经典图像识别方法，能提取深度特征，一般认为，识别能力在很大程度上取决于训练模型。Zhang等^［6］采用了卷积神经网络算法对路面裂缝图片进行分类。李楠^［7］在路面图像数据集上使用Lenet-5进行图像分类任务，并对网络结构进行了一定的修改。车艳丽^［8］对AlexNet进行了改进。袁亚超^［9］、李伟^［10］、张宁^［11］、孙朝云等^［12］均将Faster R-CNN深度学习模型应用于路面损坏检测，识别了一部分路面损坏。Du等^［13］则是将YOLO模型应用于路面损坏的检测。深度学习方法直接基于训练样本学习，但该方法有一定固有缺陷，比如过拟合、维数灾难等，其根本原因在于难以得到海量的训练样本，并且特征与标签之间的映射关系受到数据集的规模或结构的影响。

人类的直觉和大脑皮层视觉神经的相应实验表明历史信息影响着视觉识别的整个过程^［14］，而损坏识别的初始约束条件很大程度上影响识别的准确度和速度。Lan等^［15］从图像距离和表示能力的角度提供了从不同角度提取历史先验知识的方法，改进了视觉识别分类器，证实了该分类器的性能优于几种最先进的分类器。Gao等^［16］将车牌的历史先验信息应用到车牌的定位、分割和识别过程中，结果表明改进算法在车牌严重退化的情况下的有效性。Wang等^［17］将混合水平集分割方法与融合的历史病理知识特征、形态学特征和纹理特征相结合，证实该方法相较于仅使用形态学和纹理特征的方法，明显提高了甲状旁腺结节的识别准确率和效率。Ding等^［18］在移动机器人室内目标识别方法研究中利用了先验颜色和历史场景信息，实验结果表明，该方法可以有效提高检测精度。基于视觉识别的理论以及其他领域中应用历史信息改进图像识别方法的经验，在路面表观损坏识别方法中引入基于历史信息建立初始约束条件的机制，是一个能够提高识别准确度和速度的可行方案。

本文基于历史信息创建损坏识别初始约束条件的设计理念，提出一种基于历史信息的路面表观损坏图像识别方法。首先搭建面向历史信息应用的总体算法框架，该框架主要包括图像预处理及改进的损坏检测算法。其次，以横缝识别为例，提出改进的损坏检测算法中的算法流程以及引入历史信息建立算法初始约束条件的方法。最后，通过损坏图像实例测试进行性能评价与分析。

1 基于历史信息的路面表观损坏识别算法框架

历史信息是指路面表观损坏识别之前已经获得的经验和历史资料。针对路面表观损坏识别的历史信息分类如图1所示。

图1  历史信息分类

Fig. 1  Prior information classification

经验主要为路面养护管理的一般常识，例如：路面在使用过程中，由于受到行车载荷和自然因素的影响，原有的表观损坏在其周围会出现不同程度的损坏发展，如裂缝宽度及长度扩展、坑槽面积增大；在路面养护维修后病害会减少；受重载交通作用，路面表观更易出现损坏等。

历史资料包括：历史图像及历史数据。路面损坏车载检测技术可以结合GPS对所采集图像位置进行定位，在下一次周期性检测中拍摄同一位置的图像；而随着摄像技术的发展，架设固定位置相机拍摄某一段路面从而监控损坏情况也成为可能。因此，可以追溯在同一位置过去所采集的路面表观历史图像。同时，随着路面养护管理的精细化水平提升，某一段路面的养护时间、维修措施等历史数据也能获得。

本文所提的基于历史信息的路面表观损坏识别算法框架如图2所示，该框架主要分为2个阶段：图像预处理以及改进的损坏检测算法。

图2  算法框架

Fig. 2  Algorithm framework

图像预处理：其为图像识别分析前的重要准备工作，原始路面表观图像由于受到光照等影响不能直接进行损坏识别，图像需要经过特征提取后，才能用于后续改进的损坏检测算法。

改进的损坏检测算法：人类的直觉和大脑皮层视觉神经的相应实验表明历史信息影响着视觉识别的整个过程，该理论为路面表观损坏识别方法提供了新的思路。传统的路面表观损坏识别方法初始约束条件往往随机生成，而损坏识别具有对初始约束条件敏感的特性，即初始约束条件很大程度上影响识别的准确度和速度。因此，引入基于历史信息建立初始约束条件的机制从而改进损坏检测算法是本研究的关键。

如图1所示，针对路面表观损坏识别的历史信息类别较多，限于篇幅，本文仅能做有限的仿真实验，现对仿真性能测试实验中待检测图像的历史信息做如下假设：①待检测图像中仅有一处损坏，②历史图像中仅有横缝损坏，③随着时间推移，横缝有可能会较历史图像中的横缝有所发展，在此基础上给出性能评价结果验证。

2 图像预处理

原始图像由2个车载相机所拍图像拼接而成，每个相机拍摄的图像尺寸为1 000像素×1 024像素，灰度值范围为0~255。图像预处理的目的是将原始图像转化为可以进行损坏检测的特征图，方法分为2步：①直方图均衡化，②建立并训练VGG-16网络模型。

2.1　直方图均衡化

由于路面图片的采集时间以及周边环境的差异，路面光照条件不尽相同，一部分图像像素的灰度值可能较小，而另一部分图像像素的灰度值可能较大，即图像灰度标准不统一，而且当光照偏暗的时候难以识别裂缝等损坏。

为解决上述问题，首先将图像进行裁剪，使每张图像中仅有一种损坏，其次采用直方图均衡化方法对图像进行处理。直方图均衡化即建立一个映射关系，对图像中像素点的灰度值进行转换，使灰度值分布更为均匀，从而消除光照以及环境不同的影响。直方图均衡化处理后的图像与相应的累计直方图如图3所示，可以看到，原始图像成像效果人工很难判别，其灰度值分布不均，而直方图均衡化后的成像效果人工可以清晰判别，并且灰度值分布均匀。

图3  直方图均衡化前后图像对比

Fig. 3  Comparison before and after histogram equalization

2.2　卷积神经网络VGG-16（Visual Geometry Group Network-16）

经过直方图均衡化的图像数据集样本数量统计如表1所示。每张图像中只存在一种损坏或没有损坏，损坏类型包括横缝、纵缝、修补、灌缝，而其他需要识别的对象包括车道线、交通标线、窨井。

表1  图像数据集样本数量

Tab. 1  Number of eight types of images

类别	训练集/个	测试集/个
标线	2 171	21
车道线	2 594	26
窨井	2 511	25
横缝	1 972	20
纵缝	1 836	20
修补	1 291	13
灌缝	2 056	20
完好	2 492	20

VGG-16（Visual Geometry Group Network-16）网络是卷积神经网络中性能优秀的网络模型^［19］，本文选用TensorFlow框架训练VGG-16网络用以提取横缝损坏特征，并选取效果最好的特征通道，该通道所输出的特征图作为后续研究改进的损坏检测算法的输入图像。

具体的网络示意图如图4，由于本文输入图像为灰度图像，则输入网络的图像为1 000像素×1 024像素，在卷积层采用3×3滤波器；在全连接层由3个连续的全连接进行组合，通道数分别为128、32、8个；池化方法选用平均池化方法，相较于最大值池化有着更好的平移不变性；激活函数选用Leaky ReLU函数，与ReLU函数的区别在于ReLU函数当中如果输入值小于等于零，则输出值一律为零，而Leaky ReLU函数如果输入值小于等于零，则输出值为0.05倍的输入值，避免了梯度为零而无法训练权重的情况。最后由具有8个标签的softmax分类器进行输出。

图4  VGG-16示意图

Fig. 4  Structure and parameters of VGG-16 convolution neural network model

VGG-16网络在测试集上的准确率与训练步数之间的关系如图5所示。随着训练时间的增加，VGG-16网络分类的准确率逐步上升且幅度较小，表明训练集和测试集的样本分布情况相似，直至训练结束并未出现过拟合现象，准确率高，为97.57%，该模型生成的特征图可用于后续研究。

图5  VGG-16训练过程

Fig. 5  Training process of VGG-16

VGG-16网络训练结束后，需要选取后续研究所用的特征通道，其选取方法为：首先，选择100张存在横缝损坏的图像，并人工采用黑色矩形框标记图像中横缝的区域，据此得到特征图上的相应损坏区域，标记方法如图6所示。

图6  损坏区域标记

Fig. 6  Marking of distress area

针对每张图像最终输出的64个特征图，计算损坏区域与背景区域的特征值差异度，计算结果为18号特征通道所输出的特征图的平均差异度（5.13）最高，其输出效果如图7所示，左侧一列为原始图像，右侧一列为经过18号通道处理后的特征图，可见18号通道能较好提取横缝特征，横缝区域与背景区域呈现较大差异，因此将其输出的特征图作为后续研究改进的损坏检测算法输入图像。在实际应用中，应选取更多的原始图像，并针对不同的损坏进行试算，但工作量巨大，且方法与步骤相同，而上述以横缝为例已经进行了细致的阐述，故限于篇幅，不再逐一举例。

图7  特征图输出效果

Fig. 7  Visualization of feature map

3 改进的损坏检测算法

如何引入基于历史信息建立初始约束条件的机制从而改进损坏检测算法是本研究的关键。遗传算法（GA）是一种借鉴生物进化的特征、模拟生物的自然选择和遗传机制的全局优化搜索算法，从初始种群出发，通过不断遗传和变异逐步改善当前解，对图像的识别区域进行开发，最终获得问题的最优解。在遗传算法中，初始种群及特征参数可以视为初始约束条件，而遗传算法的特征是能够基于历史信息创建初始种群并且设计特征参数，这是本文选择遗传算法的原因所在。

3.1　基于历史信息的遗传算法流程

基于历史信息的遗传算法流程如图8所示。

图8  基于历史信息的遗传算法流程

Fig. 8  Flowchart of genetic algorithm based on prior information

标准遗传算法其初始种群随机产生，同时，其适应度函数中的全部特征参数都需要优化，因此会出现收敛速度较慢和误检的问题，导致算法的适用性不强。

图8基于历史信息的遗传算法流程，在算法初始基于历史信息创建初始种群，提高初始种群的质量以及减少后续算法的搜索空间，并且基于历史信息设计适应度函数中需要优化的特征参数，减少函数中需要优化的特征参数数量，从而加快算法的迭代速度并减少误检率。

3.2　基于历史信息建立初始种群

本文假设了路面表观损坏的历史信息：①待检测图像中仅有一处损坏，②历史图像中仅有横缝损坏，③随着时间推移，待检测图像中的横缝有可能会较历史图像中的横缝有所发展。根据该假设，待检测图像中的损坏区域与历史图像中的损坏区域位置相近。因此在算法中，可将历史图像中的损坏区域设置为待检测图像识别的初始感兴趣区域，即将过去的检测结果（曾经的最优解）作为改进的损坏检测算法的初始种群，使初始感兴趣区域与待检测图像实际的损坏区域相近，个体尽可能生成在最优解可能存在的范围内。该算法相较于随机创建初始种群（初始感兴趣区域），能提高初始种群的质量，从而减少搜索空间，其初始感兴趣区域设置方法如图9。

图9  初始感兴趣区域设置方法

Fig. 9  Initial region of interest setting method

3.3　基于历史信息设计特征参数

在遗传算法程序运行中，需要为横缝设计特征参数，如图10所示，横缝为黑色实线，本文设计其特征参数为横缝的左端点x坐标、左端点y坐标、宽度w以及斜率k。

图10  横缝特征参数

Fig. 10  Characteristic parameters of transverse crack

历史图像中的横缝损坏出现在图像左（右）边缘时，假设横缝损坏可能会有所发展，则待检测图像中的横缝左（右）端点与历史图像中的横缝左（右）端点位置相同。当历史图像中的横缝损坏出现在图像中间时，可以假设待检测图像中的横缝中点与历史图像中的横缝中点相近，通过上述推理，可以减少算法中需要优化的特征参数。以下为具体特征参数设计方法：

参考图10的示意，假设初始的横缝特征参数分别为x₀、y₀、w₀、k₀，对图像进行损坏检测时各个体的基因分别为x、y、w、k。

横缝仅向右侧发展的情况下（历史图像中横缝位于图像左边缘），仅需优化w和k 这2个特征参数，x和y可以直接使用x₀和y₀赋值，如式（1）所示：

$$x=x_{\mathrm{0},}y=y_{\mathrm{0}}$$

（1）

横缝仅向左侧发展的情况下（历史图像中横缝位于图像右边缘），仅需优化w和k 这2个特征参数，x和y可以通过右端点不变的约束条件计算得到，如式（2）所示：

$$y=y_{\mathrm{0}}+w_{\mathrm{0}}{k}_{\mathrm{0}}-wk,x=x_{\mathrm{0}}+w_{\mathrm{0}}-w$$

（2）

横缝往两侧发展的情况下（历史图像中横缝位于图像中间），需要优化x、k和w这3个特征参数，y可以通过经过特定点的约束条件计算得到，如式（3）所示：

$$y=y_{\mathrm{0}}+\frac{w_{\mathrm{0}}{k}_{\mathrm{0}}}{\mathrm{2}}-\left(x_{\mathrm{0}}+\frac{w_{\mathrm{0}}}{\mathrm{2}}-x\right)\times k$$

（3）

3.4　适应度函数设计

在图8的流程中，计算适应度函数值是算法中的关键步骤，本节介绍适应度函数的设计方法。本文训练的VGG-16模型生成的特征图为63×64的矩阵，在该矩阵中，横缝所在区域元素的特征值分布在$-$20 ~ $-$10之间，且宽度为9个元素，其余背景区域元素的特征值分布在$-$1 ~ 0之间。

首先设计损坏检测框，该检测框中包含横缝中心区域（宽度为9个元素，特征值分布为$-$20 ~ $-$10）、横缝两侧区域（宽度各为4个元素，特征值分布为$-$1 ~ 0），如图11所示。

图11  区域划分方法

Fig. 11  Method of regional division

其次根据图11设计适应度函数T，目标为当横缝处于检测框中心时，T值最大，函数如式（4）所示：

$$T=\mathrm{\alpha }{\sum }_{j=\mathrm{1}}^n{V}_j-{\sum }_{i=\mathrm{1}}^m(V_i+\beta )$$

（4）

式中：m为特征图上位于中心区域的元素数量；n为特征图上位于两侧区域的元素数量；V_i为第i个位于中心区域的元素的特征值；V_j为第j个位于两侧区域的元素的特征值；α为修正参数，计算方法为8m/（9n）；β为修正参数，取0.227。

由于横缝中心区域宽度为9个元素、横缝两侧宽度共为8个元素，因此需要引入α参数进行修正，从而保证中心区域与两侧区域的元素权重相等，α的计算方法为8m/（9n）；由于背景区域的特征值分布在$-$1 ~ 0之间，因此需要引入参数β，使得背景区域元素的特征值加上β后为正数，而处于横缝区域元素的特征值加上β仍为负数，从而保证T值最大时，横缝处于检测框中心，在本研究中β参数的取值为100张横缝特征图中背景区域元素特征值的中位数绝对值0.227。

4 性能评价与分析

用于性能评价的实验数据采用3组横缝图像，如表2所示，图像中横缝分别为处于左边缘、右边缘、中间；图像采集的方法为拍摄固定路面，采集的时间顺序为从a至e；实验图像符合本文所预设的历史信息：①待检测图像中仅有一处损坏，②历史图像中仅有横缝损坏，③短时间车辆荷载作用后，待检测图像中的横缝有可能较历史图像中的横缝有所发展。由于原始图像缩小后横缝不易肉眼判别，故在表2中人工用黑框标记了横缝损坏区域。

表2  实验图像

Tab. 2  Experimental images

编号	横缝处于左边缘	横缝处于右边缘	横缝处于中间
a
b
c
d
e

设计3个实验方法，如表3，实验中不考虑确定初始约束条件的时间。实验目的主要分为2个方面：一是将本文所提的基于历史信息的路面表观损坏图像识别方法与未用历史信息的识别方法进行性能比较；二是在本文所提的算法框架的基础上验证历史信息创建初始约束条件的不同方法对算法性能的影响。

表3  实验方法

Tab. 3  Experimental methods

实验方法	运用本文所提的算法框架	基于历史信息建立初始种群	基于历史信息设计特征参数
方法1	×	×	×
方法2	√	√	×
方法3	√	√	√

方法1：不运用本文所提的基于历史信息的图像识别算法框架，随机创建初始约束条件。

方法2：运用本文所提的基于历史信息的图像识别算法框架，基于历史信息建立初始种群，即以先前横缝损坏识别的最优解作为遗传算法的初始种群（见3.2节）。

方法3：运用本文所提的基于历史信息的图像识别算法框架，不仅基于历史信息建立初始种群，而且基于历史信息设计特征参数，减少需要优化的特征参数数量（见3.2、3.3节）。

由于3种方法均能100%准确识别损坏，所以主要对检测速度进行比较，如表4。表中图像序号b的识别以图像序号a作为历史图像，以此类推。而图像序号a所使用的历史信息即为本身的损坏识别结果，反应了当检测间隔较短、损坏未发展的情况。

表4  检测时间对比

Tab. 4  Comparison of recognition time

裂缝图像	图像序号	方法1 检测时间/s	方法2		方法3
			检测时间/s	较方法1所提升检测速度的倍数	检测时间/s	较方法1所提升检测速度的倍数
向两侧发展	a	6.34	2.30	2.76	0.50	12.68
	b	9.38	9.81	0.96	2.22	4.23
	c	19.96	9.91	2.01	3.63	5.50
向左侧发展	a	6.94	2.30	3.02	0.14	49.57
	b	34.01	6.09	5.58	0.24	141.71
	c	25.86	8.00	3.23	0.33	78.36
	d	19.55	14.83	1.32	0.52	37.60
	e	21.01	8.28	2.54	0.32	65.66
向右侧发展	a	12.88	2.80	4.60	0.21	61.33
	b	15.09	5.57	2.71	0.22	68.59
	c	17.52	6.98	2.51	0.27	64.89
	d	19.65	14.84	1.32	0.59	33.31
	e	20.49	8.93	2.29	0.34	60.26

从表4中可知，方法1整体速度最慢；方法2相较方法1能减少检测时间，而且在大部分情况下可以明显减少检测时间，提升的速度为2~5倍，平均值为2.68倍；方法3用时最短，可以十分显著减少检测时间，最高可相较方法1提升141.71倍。

如图12所示，在3类图像实验（横缝向两侧发展、向左侧发展、向右侧发展）中，方法1的平均检测时间最长；方法2的平均检测时间较方法1已有显著缩短，并且较为稳定，处于7.34~7.90s的区间内；而方法3的表现最优，甚至在裂缝向左侧发展及向右侧发展的情况下只需0.31s及0.33s，所需时间也相近。

图12  平均检测时间

Fig. 12  Average detection time

分析原因为：方法1不使用本文所提的算法框架，随机创建初始约束条件，所以检测时间较长，且由于随机性，所需检测时间也不稳定；方法2及方法3都运用了本文所提的算法框架，基于历史信息创建了初始约束条件，而损坏识别具有对初始约束条件敏感的特性，即初始约束条件的设定能显著影响检测时间，所以2种方法都相较方法1大幅提升了检测速度；方法2以历史图像损坏识别的最优解作为遗传算法的初始种群，而初始种群与最优解距离较近，因此不仅相比方法1提升了检测速度，而且其检测时间在不同实验中也相对稳定；方法3不仅以历史图像损坏识别的最优解作为遗传算法的初始种群，而且减少需要优化的特征参数，通过在算法中增加了历史信息，则进一步减少了算法的复杂度，从而相较方法2大幅提升了检测速度；在方法3中，横缝向左侧发展和向右侧发展时的平均检测时间相近（0.31s和0.33s），且显著低于横缝向两侧发展的平均检测时间（2.21s），原因在于根据3.3节的设计方法共有4个特征参数，横缝向两侧发展时初始约束条件只确定了1个参数，而横缝向左侧发展或向右侧发展时初始约束条件确定了2个参数，进一步说明了在算法的初始约束条件中确定更多的历史信息能大幅提升检测速度。

5 结论

（1）历史信息影响着视觉识别的整个过程，现有的路面表观损坏图像识别方法都没有考虑到利用识别前已有的历史信息，而本文的基于历史信息建立路面表观损坏图像识别的方法，通过利用历史信息创建损坏识别的初始约束条件，提升了识别准确率与速率。

（2）提出了一种基于历史信息的路面表观损坏图像识别算法框架，该框架主要分为图像预处理及改进的损坏检测算法2个部分。实验证明，随着在改进的损坏检测中增加更多的历史信息用于创建初始约束条件能显著减少算法收敛时间，在不降低识别准确度的前提下提升识别速度，最快可较不运用历史信息的算法提升141.71倍速度。

（3）本文识别沥青路面横缝损坏，以历史图像、养护经验作为历史信息进行实验设计并进行性能评价与分析，尚未考虑不同损坏、不同历史信息在该识别方法中的具体应用，这些研究将在后续工作中展开。本文重在阐述基于历史信息改进路面表观损坏图像识别方法的思路与框架，以期为今后的识别方法设计提供新思路。

（4）现阶段车载流动检测的方式难以采集某一固定位置的沥青路面图像，即难以获得本研究中所指的历史图像。然而随着固定摄像技术的发展，历史图像的获取方法变得简易，则本研究所提方法的适用性将更广。

作者贡献声明

徐婷怡：设计框架、实验研究及论文撰写。

姜振天：数据采集及实验研究。

梁远路：实验研究及论文撰写

陈 长：技术指导及论文审定。

孙立军：技术指导及论文审定。