基于编码器-解码器结构的路面平整度预测

摘要

提出了基于编码器‒解码器结构的路面平整度预测模型。对比分析了不同网络层的表现，并比较了网络层个数、隐藏节点数、数据时间窗口对模型精度的影响。在美国交通部公开的LTPP（long-term pavement performance）数据库的基础上构建了国际平整度指数（IRI）数据集，并对模型进行了训练和评估。结果表明：采用门控循环单元（GRU）网络层的编码器‒解码器结构的预测性能最好，优于经典的机器学习模型XGBoost和单独长短期记忆（LSTM）网络。通过特征随机打乱的方式对不同输入特征的重要性进行了评估，结果显示路面结构和温度对于路面平整度预测比较重要，在数据库建设时应注意对这些数据的收集。

关键词

路面平整度预测; 编码器‒解码器结构; 长短期记忆（LSTM）网络; 门控循环单元（GRU）; 注意力机制

随着计算机技术和信息技术的发展，智能交通系统（ITS）的相关理念和实践在交通领域得到了蓬勃发展。在此背景下，智能路面概念得到了学者们的重视，其中一个技术支撑就是路面性能预测^［1］，路面性能的精准预测以大数据和人工智能技术为基础^［2］。在众多评估路面性能的指标中，平整度与行驶质量存在直接联系，因此路面平整度检测对于道路性能评估具有重要意义。

国际上通常使用国际平整度指数（IRI）评估路面平整度状态，该指数由世界银行组织的国际研究小组于1986年提出。目前在我国发布的《公路技术状况评定标准》（JTG 5210—2018）中路面行驶质量指数（RQI）也是由IRI计算得出的，因此路面平整度预测可以简化为对IRI的预测。

根据所采用工具的不同，路面性能预测方法可以分为三大类，分别是确定型方法、概率型方法和人工智能方法^［3］。确定型方法通过一个形式确定的函数关系对路面性能的发展趋势进行刻画，具有简洁、易于应用的优点。孙立军等^［4］将路面性能衰变过程划分为4个不同模式，通过指数形式对路面性能衰变进行刻画，将时间作为输入，并阐述了回归系数的物理意义；Guo等^［5］在研究路面养护决策不确定性时通过多项式形式预测IRI的变化，除了将时间作为输入外还引入了路段的年平均日交通量（AADT）和路面的面层厚度，提升了模型的泛化性能；周亮等^［6］在预测裂缝生成时则考虑了路面层的弹性模量。概率型方法通过状态转移矩阵对路面状态进行预测，给出的预测结果是道路状态的概率分布。Butt等^［7］将马尔可夫过程应用于道路性能预测模型中，可以取得相较于确定型模型更高的精度。由于马尔可夫链的无记忆性，概率型方法在预测时对历史数据的应用还不够充分；另外，状态转移矩阵具有静态特性，不能动态反映交通量和环境因素的变化。

为了更好地利用历史数据并刻画各因素对路面使用性能的动态影响，一些人工智能方法得到了应用。Karlaftis等^［8］综合利用遗传算法和多层感知器（MLP）网络预测采取养护措施之后的路面裂缝形成，并考虑了路面设计、养护类型、交通荷载、天气因素的影响；Gong等^［9］对比了随机森林和线性回归方法在IRI预测任务上的表现，随机森林方法取得了R²高于0.95的精度，不过由于将未来的病害信息作为输入，因此难以应用于工程实践；Alatoom等^［10］尝试使用神经网络（NN）对IRI进行预测，收集了244条路段的数据用于模型训练和测试，并在测试集上取得了R²为0.85的精度；Ziari等^［11］分析了支持向量机（SVM）方法下不同核函数对IRI预测精度的影响，发现采用Pearson型Ⅶ核函数预测精度最高；有学者在IRI和车辙预测任务上尝试了梯度提升决策树的方法，该方法表现均优于随机森林方法和人工神经网络方法^［12-13］。目前大部分研究中训练和验证的数据集规模都比较小，挖掘数据价值的能力有限，不能充分发挥大数据的优势，路面平整度预测的精度还有待进一步提升。

与传统的机器学习方法不同，深度学习方法可以自动获取不同特征的交叉信息，进而更好地学习不同影响因素对于路面平整度变化的耦合作用。Google团队于2014年提出了编码器‒解码器结构用于接收序列输入并输出目标序列信息^［14］，在翻译任务上取得了较高的精度。编码器‒解码器结构是一个通用的处理序列数据的端到端框架，考虑到路面IRI的变化过程是一个时间序列数据，将编码器‒解码器结构应用到路面平整度预测任务上具有可行性。同时，编码器‒解码器结构可以通过不同的神经网络层实现，通过试验对比可以筛选出更适合于路面性能预测的网络结构。

编码器‒解码器结构在土木交通领域中也有一些应用。Meng等^［15］使用编码器‒解码器结构预测饱和砂土的循环剪切应力和应变，并采用计划性采样方法优化预测模型的训练流程；Zhang等^［16］将编码 器‒解码器结构和图卷积神经网络应用到城市交通网中车辆速度的多步预测中，能够较好地捕捉城市道路网的时空特征；韩皓等^［17］在车辆变道轨迹预测任务上采用编码器‒解码器结构，并结合深度学习中的注意力机制（attention mechanism）进一步提升了模型的预测精度。然而，目前尚未有学者探究编码器‒解码器结构在路面性能预测上的应用。

以编码器‒解码器结构为基础搭建了路面平整度的深度学习预测模型，深度学习模型在处理大规模数据时更具优势，在道路相关数据越来越丰富的当下具有较大的研究价值。同时，尝试对路面平整度进行多步预测，不局限于先前研究的单步预测，使得预测模型能够更好地应用到长期路面养护决策中。首先，介绍了模型框架，并详细介绍了数据输入模块、深度学习网络预测模块和特征重要性评估模块的实现方法和作用；然后，对所提出的模型进行试验验证，设计深度学习网络的结构参数，并与传统机器学习算法和基础的深度学习模型进行对比；最后，筛选出对结果影响比较显著的输入特征。

1 模型框架

路面平整度预测方法的系统框架如图1所示。该模型包括3个模块，分别是数据输入模块、深度学习网络预测模块和特征重要性评估模块。数据输入模块用于提取对路面平整度发展有影响的特征，包括时间、路面结构、交通荷载和环境等4个方面，提取特征后可生成用于模型训练的数据集。预测时刻$T$的路面平整度，如图1所示，定义样本时间窗口数为$i$，可将$i$个相邻历史时刻$T-i,\dots ,T-\mathrm{2},T-\mathrm{1}$的特征序列作为输入，序列长度越长意味着历史信息越丰富。深度学习网络预测模块接收信息输入，通过编码器的网络架构将输入编码成上下文向量，通过解码器将上下文向量解码成需要预测的路面平整度信息。编码器和解码器的网络架构是可选的，在本研究中使用长短期记忆（LSTM）网络、双向长短期记忆（Bi-LSTM）网络、门控循环单元（GRU）等网络层，在解码器的最后添加全连接层（FC）以得到最终输出。为指导重要数据的收集，加入了特征重要性评估模块对不同输入特征的重要性进行评估。

图1  模型系统框架

Fig.1  System framework of the model

2 数据输入模块

2.1　特征选择

路面平整度的衰变主要受4种因素的影响，如下所示：

（1）时间。随着时间尺度的拉长，路面平整度的衰变将会越来越严重，因此相邻数据点之间的时间间隔需要予以考虑。

（2）路面结构。不同路面结构的性能衰变速率有所不同，取路面前3层的面层材料类型和厚度作为输入，面层材料采用独热编码。

（3）交通荷载。随着交通荷载的增加，路面性能的衰变速率越来越快，本模型中采用标准轴载当量作用次数（ESAL）刻画交通荷载情况。

（4）环境。路面材料在不同环境下有不同性能，进而影响到路面平整度表现，因此在预测模型中引入温度、湿度、降雨量、冰冻天数等因素。

需要注意的是，本模型选择的4种输入特征不包括道路病害。考虑到道路病害本身处于变化过程中，长期预测时不能获取病害的精准信息，引入道路病害作为输入将会降低模型的实际应用价值。

2.2　数据集生成

选取LTPP（long-term pavement performance）项目的数据库作为数据来源，构建数据集用于模型训练和测试。LTPP项目是美国公路联邦管理局资助的项目^［18］，该项目发起于20世纪80年代，至今已经积累了美国和加拿大部分地区30年来2 000多个观测站的历史数据。路面类型包括该项目所有的柔性路面和刚性路面。下载数据库后，除了提取IRI之外，还需要提取如2.1节所示的特征。为了生成数据集，还需要提取路段标号信息。此外，为了使模型可以迁移到新的路段中，在模型训练时隐藏了路段标号信息。一些连续型特征的描述性统计如表1所示。

表1  输入特征描述

Tab.1  Description of input features

特征名称	平均值	方差
国际平整度指数/（mm·km-1）	1.35	0.57
时间间隔/年	1.23	1.08
面层1厚度/mm	78.31	18.90
面层2厚度/mm	11.01	9.03
面层3厚度/mm	6.97	5.39
标准轴载当量作用次数	418.54	613.74
年平均最高湿度/%	89.75	2.45
年平均最低湿度/%	48.85	3.10
年降雨量/mm	931.02	211.61
年平均最高温度/℃	17.31	2.27
年平均最低温度/℃	4.82	2.12
年冰冻天数/d	121.05	25.10

从LTPP项目数据库提取相关数据字段后，为了保证数据质量，需要对数据进行预处理。数据预处理主要分为数据删除、数据独热编码、数据填充和数据归一化。对于不合理的数据需要删除，如某些路段未经过养护性能却有所提升，删除不合理数据后，可以得到21 687条IRI数据，每条数据含有45个特征，用于后续模型训练。对面层材料种类这一分类变量进行独热编码；由于数据采集覆盖率的限制，部分数据的某些连续型特征如标准轴载当量作用次数存在缺失，采用中值填充。为了解决不同数据字段数量级不同的问题，对数据进行归一化处理，并记录相关信息方便后续对预测结果进行反算。在后续模型训练过程中采用了最值归一化和Z-Score归一化2种方法，发现最值归一化的效果更好，其计算式如下所示：

$$x_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}=\frac{x-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}{x_{\mathrm{m}\mathrm{a}\mathrm{x}}-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}$$

式中：$x$为原始数据输入值；$x_{\mathrm{m}\mathrm{i}\mathrm{n}}$为原始数据输入的最小值；$x_{\mathrm{m}\mathrm{a}\mathrm{x}}$为原始数据输入的最大值；$x_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}$为原始数据归一化后的值。

3 深度学习网络预测模块

3.1　LSTM网络层和Bi-LSTM网络层

LSTM网络是一种特殊的循环神经网络（RNN）模型，在处理序列数据方面具有较好的表现。实践表明，传统的RNN模型在处理长序列数据时会出现梯度消失或梯度爆炸问题，而LSTM网络在RNN模型的基础上进行了改进，其在长序列任务上的表现更好^［19］。LSTM网络包括输入门控、输出门控和忘记门控，忘记门控可以使LSTM网络在训练过程中对不重要的信息进行选择性忘记，保留更加重要的信息。LSTM网络结构如图2所示。其中，${\mathit{x}}_t$是模型在第$t$步接收的输入，${\mathit{h}}_{t-\mathrm{1}}\mathrm{和}{\mathit{h}}_t$分别是模型在$t-\mathrm{1}$和$t$时刻的隐藏状态向量，${\mathit{C}}_{t-\mathrm{1}}\mathrm{和}{\mathit{C}}_t$分别是模型在$t-\mathrm{1}$和$t$时刻的细胞状态向量。sigmoid函数和tanh函数是深度学习中常用的激活函数，sigmoid函数和tanh函数的计算式分别如下所示：

$$\sigma (x)=\frac{\mathrm{1}}{\mathrm{1}+{\mathrm{e}}^{-x}}$$

$$\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(x)=\frac{{\mathrm{e}}^x-{\mathrm{e}}^{-x}}{{\mathrm{e}}^x+{\mathrm{e}}^{-x}}$$

图2  LSTM网络结构示意图

Fig.2  Schematic diagram of LSTM network structure

LSTM网络在建筑安全监控、交通流量预测、交通出行方式识别等领域都有应用。Hou等^［20］在建筑结构安全质量监控体系中使用LSTM网络对传感器得到的数据建模，进而实现自动报警功能，提升了建筑结构施工的安全保障能力。Luo等^［21］综合利用K近邻算法和LSTM网络进行路网交通流量预测，该方法明显优于经典的时间序列预测方法（自回归移动平均模型和支持向量机方法）。Friedrich等^［22］利用智能手机收集到的加速度等数据作为输入，采用卷积神经网络和LSTM网络对手机使用者的出行方式进行分类，并取得了较高的分类精度。

Bi-LSTM网络同时采用一个前向和一个后向的LSTM网络，可以从过去和未来的上下文中获取信息，模型结构更加复杂。

3.2　GRU网络层

类似于LSTM网络，GRU也存在一些门控，这些门控能够自适应地学习不同时间尺度下的信息，保证长序列中的重要特征不会丢失^［23］。与LSTM网络相比，GRU构造更加简单，在网络训练和测试时比较节省时间。GRU包含重置门控和更新门控，模型结构如图3所示。其中，${\mathit{x}}_t$是模型在第$t$步接收的输入，${\mathit{h}}_{t-\mathrm{1}}\mathrm{和}{\mathit{h}}_t$分别是模型在$t-\mathrm{1}$和$t$时刻的隐藏状态向量，模型中也采用了sigmoid函数和tanh函数作为激活函数。

图3  GRU结构示意图

Fig.3  Schematic diagram of GRU structure

GRU在结构分析和交通行为预测上有所应用。Wang等^［24］建立了一个端到端的基于深度学习方法的结构分析工具，使用GRU处理力学输入，能够预测不同结构的力学响应范围，计算效率达到了传统数值分析方法的1 000倍，预测结果也与试验数据具有较高的吻合度。Cui等^［25］将GRU应用到高速公路的匝道变道行为预测上，并取得了96.85%的准确率。

3.3　注意力机制

注意力模块被Google团队用于机器翻译任务中，以较小的计算代价取得了较高的精度^［26］。顾名思义，注意力机制的目的是让神经网络将更多的注意力放在重要特征上，给不同的特征分配不同的权重。注意力机制有几种不同的实现方式，本研究在神经网络中加入自注意力模块。自注意力机制的原理如图4所示。其中，$x_{\mathrm{1}}\mathrm{、}{x}_{\mathrm{2}}\mathrm{、}{x}_{\mathrm{3}}$是自注意力机制接收的输入，$q_{\mathrm{1}}\mathrm{、}{k}_{\mathrm{1}}\mathrm{、}{v}_{\mathrm{1}}$是对$x_{\mathrm{1}}$做线性变换得到的中间结果，$y_{\mathrm{1}}$是自注意力机制的输出，${\widehat{\alpha }}_{\mathrm{1,1}}$是输入$x_{\mathrm{1}}$对输出$y_{\mathrm{1}}$的影响程度。

图4  自注意力机制原理示意图

Fig.4  Schematic diagram of self-attention mechanism

注意力机制作为深度学习的重要方法，在土木交通领域也有所应用。Cui等^［27］在经典图片分割网络Unet的基础上引入注意力机制，用于从图片信息中提取道路裂缝信息，取得了相较于Unet更高的精度。Chen等^［28］使用注意力机制建模不同公交站之间的关系，并在此基础上使用深度学习网络预测公交站的客流量，注意力机制的加入提升了客流量的预测精度。

4 特征重要性评估模块

不同特征对于路面平整度预测的重要程度是不同的，在工程实践中需要注意对重要特征数据的质量控制。本研究采用的特征重要性评估方法流程如图5所示，主要分为以下3个步骤：

图5  特征重要性评估方法流程

Fig.5  Flowchart of feature importance evaluation method

（1）将数据中某列特征随机打乱，获取新的数据集。

（2）将新的数据集输入表现最好的深度学习预测网络，得到均方根误差。

（3）计算新的数据集相较于原始数据集均方根误差增加的比例，特征越重要，该比例越高。

5 试验与结果分析

5.1　模型初始化

基于编码器‒解码器结构的深度学习模型需要调整编码器和解码器的网络层堆叠方式和结构参数，其他设置可以初始化设定。

本研究采用了2层全连接层以获取最终输出，第1层全连接层输出维度为10，第2层全连接层输出维度为1，激活函数则选用tanh函数。为了评估模型的预测精度，误差函数采用均方损失函数。为了使得训练过程更加稳定快速，同时减少调参，采用Adam算法更新网络中梯度，该算法通过计算梯度的一阶矩估计和二阶矩估计自适应地调整学习率^［29］。在基本超参数确定后，将预处理得到的数据集划分为训练数据和测试数据。其中，训练数据占80%，测试数据占20%。将训练数据输入到神经网络预测模块进行训练，批尺寸为256，最大迭代次数为100。最终，将测试数据输入模型中以评估模型效果，评判指标采用均方根误差。

5.2　模型参数优化

为了获得高精度的预测模型，需要对模型的一些超参数进行优化。本节主要探讨隐藏神经元个数、网络层个数以及样本时间窗口个数对模型预测误差的影响，以下试验结果均是在预测时间步长为1的情形下得到的。

当编码器和解码器的网络层个数均为1且样本时间窗口数为2时，调整每个网络层中的隐藏神经元个数，3种网络层预测模型在测试数据上的误差如图6所示。可以发现，在一定范围内隐藏神经元个数对模型预测精度的影响不大。同时，LSTM、Bi-LSTM和GRU网络层的表现没有太大的差异。当隐藏神经元个数过高时，模型可能出现过拟合现象，导致模型在测试数据上的表现下降，误差增加。为减少模型复杂度，在后续模型训练过程中将网络层的隐藏神经元个数选为50。采用GRU网络层、隐藏神经元个数为50的预测模型表现最优，其均方根误差为0.141 8。

图6  隐藏神经元个数对模型结果的影响

Fig.6  Effect of hidden unit number on model’s performance

当编码器和解码器的隐藏神经元个数均为50且样本时间窗口数为2时，调整编码器和解码器的网络层个数，3种网络层预测模型在测试数据上的误差如图7所示。可以发现，在一定范围内网络层个数对模型预测精度的影响不大。随着网络层个数的增加，模型训练的时间花费也逐步提升。为了提升模型训练和计算的速度，在后续模型训练过程中将网络层个数选为2。采用2层LSTM网络层的预测模型表现最优，其均方根误差为0.141 5。

图7  网络层个数对模型结果的影响

Fig.7  Effect of layer number on model’s performance

当编码器和解码器的隐藏神经元个数均为50且网络层个数均为2时，调整数据输入的样本时间窗口数，3种网络层预测模型在测试数据上的误差如图8所示。可以发现，采用2个样本时间窗口作为输入时模型预测精度最高。当历史输入数据周期数为1时，历史数据不能得到充分利用，模型预测精度较低；当历史输入数据周期数过高时，有效训练数据规模下降，模型不能得到充分训练。同时需要注意到，历史输入数据周期数越小越易在工程实践中应用，因此该数值不宜过高。为了平衡模型精度和泛化性能，在后续模型训练过程中将样本时间窗口数选为2。采用GRU网络层的预测模型表现最优，其均方根误差为0.141 4。

图8  样本时间窗口数对模型结果的影响

Fig.8  Effect of sample time window number on model’s performance

根据上述分析，当预测模型网络层个数为2、隐藏神经元个数为50、样本时间窗口数为2时，模型的预测精度最高。在后续模型性能对比分析中将以此为基础。

5.3　模型性能分析

为了测试模型性能，以XGBoost和LSTM网络为基准模型^［30］，对比了2类模型在路面平整度预测上的表现。评判指标采用了均方根误差（e_RMSE）、平均绝对值误差（e_MAE）和R²，对比结果如表2所示。

表2  不同模型性能比较

Tab.2  Comparison of performance for different models

模型	网络层	eRMSE	eMAE	$R^2$
XGBoost		0.175 1	0.093 8	0.919 4
LSTM		0.154 1	0.093 2	0.927 3
本模型	LSTM	0.141 5	0.091 0	0.937 3
	LSTM+Attention	0.141 4	0.090 6	0.937 4
	Bi-LSTM	0.142 3	0.091 8	0.936 6
	Bi-LSTM+Attention	0.142 9	0.091 3	0.936 1
	GRU	0.141 4	0.089 7	0.937 4
	GRU+Attention	0.141 2	0.088 4	0.937 6

从表2可以看出，基于编码器‒解码器结构的模型在3项指标上均优于传统的机器学习模型XGBoost，也优于单独的深度学习模型LSTM。这表明深度学习模型可以更好地捕捉历史信息，进而提升路面平整度的预测精度；另外，相较于单独的深度学习模型LSTM，基于编码器‒解码器结构的模型表现更好。就网络层选取而言，LSTM和GRU网络层表现相近，均优于Bi-LSTM网络层，原因可能是Bi-LSTM网络层参数更多，容易发生过拟合现象，整体来看GRU网络层的表现最好；注意力机制给本模型带来的提升较弱。综合来看，表现最好的模型为加入注意力机制的GRU网络层模型，其均方根误差为0.141 2。最优模型的预测值和真实值的拟合程度如图9所示。

图9  IRI预测值和真实值对比

Fig.9  Comparison of IRI between actual values and predicted values

道路性能预测将被应用于道路养护决策中，而养护决策的周期较长，需要未来较长时间段的路面性能数据。定义预测步长为$j$，当预测步长为$j$时，根据$T-\mathrm{2}$和$T-\mathrm{1}$时刻的历史数据预测$T-\mathrm{1}+j$时刻的IRI数值。前文试验结果都是在预测步长为1的情况下得到的，调整预测步长，对比不同模型的表现，结果如图10所示。

图10  不同预测步长下模型结果对比

Fig.10  Comparison of performance between models at different prediction step sizes

图10中，Seq2Seq模型为采用GRU网络层和注意力机制的基于编码器‒解码器结构的模型。可以看出，随着预测步长的增加，模型的预测精度都出现了一定程度的下降，但Seq2Seq模型在1~5个预测步长下都能获得高于基准模型的精度。

5.4　特征重要性评估

采用4节中提到的方法对输入特征的重要性进行计算，结果如图11所示。从图11可以看出，道路本身的结构设计（包含不同面层材料类型和厚度）对路面平整度发展具有重要作用，之前的相关研究对于路面结构的建模需要进一步细化；就环境因素来看，温度对于路面平整度的影响较大，在道路养护数据库建设过程中需要注意对气象数据的收集。

图11  特征重要性评估

Fig.11  Evaluation of feature importance

6 结语

设计了一种基于编码器‒解码器结构的路面平整度预测模型，利用LTPP项目数据库提供的数据对模型进行训练和测试，并与基准模型XGBoost和LSTM网络进行对比。结果表明：该模型在各个预测步长下均能获得相较于基准模型更高的预测精度；不同特征在平整度预测中的作用不同，路面结构和气候因素发挥重要作用；样本时间窗口数的选择对于模型预测精度具有较为显著的影响。

在预测步长增加时，预测误差提升比较明显，这会给路面养护决策带来较大的不确定性，今后的研究工作将尝试进一步提升长期预测精度。

作者贡献声明

呙润华：确定整体研究思路和方法，对试验结论进行总结，提出论文修改建议。

于向前：原始数据处理和深度学习模型计算，论文初稿撰写与完善。