网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

考虑车辆间交互作用的驾驶意图预测方法  PDF

  • 范佳琦 1
  • 何钢磊 2
  • 张羽翔 1
  • 王玉海 1
1. 吉林大学 汽车仿真与控制国家重点实验室, 长春 130025; 2. 上汽乘用车有限公司 智能驾驶中心, 上海 201804

中图分类号: U461

最近更新:2022-08-11

DOI:10.11908/j.issn.0253-374x.22789

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

准确的意图预测可以帮助智能车辆更好地了解周围环境并做出更加安全的决策,从而提高自动驾驶的安全性,促进人机协同驾驶。为了对驾驶员未来的意图做出更加精准的预测,提出了一种交互式意图预测方法。首先,通过将隐马尔可夫模型(HMM)与高斯混合模型(GMM)相结合,在充分考虑周围场景信息后建立了行为识别模型,用于对当前的驾驶行为做出准确的判断。然后,考虑到交通场景复杂多变的特点,提出基于意图的轨迹预测方法规划出一条最佳的行驶轨迹,并采用最大期望效用理论对未来的驾驶行为进行推理。由于行为识别和意图推理模型综合考虑了交通态势的演变过程和车辆之间的交互作用,所以将两个模型得到的结果相结合可得到车辆最终预测出的驾驶意图。最后,在NGSIM数据集对所提出的方法进行验证,结果表明提出的行为识别模型能够提前0.2~0.3 s识别出车辆的换道意图,结合未来意图推理模型,能够更加准确地预测出车辆未来的驾驶行为,由此可提高车辆驾驶的安全性。

随着科学技术的发展,智能车辆在提高交通效率、减少交通事故、保障通行安全等方面显示出巨大的潜

1-2。智能车辆的关键功能之一就是预测周围交通参与者的驾驶意图和行3,准确的驾驶意图预测可以更好地评估潜在风险,从而有助于智能车辆做出安全且符合社会规范的决策行为,在不过于保守的情况下显著提高驾驶安全性。此外,车辆驾驶意图预测还可以提供大量关于周围交通状况的动态信息,不仅能更好地了解周围环境,并且也是是进行精确决策和轨迹规划的前4

用于驾驶意图推断的信息主要可以分为3类,分别是交通情境信息、车辆动力学信息以及驾驶员行为信

5。其中:交通情境信息是驾驶意图的主要刺激因素,对其的深刻理解可以提高意图推断准确6;车辆转向角、刹车踏板位置以及速度等车辆动力学信息,是对驾驶员控制动作的直接回7;而驾驶员行为信息,如眼睛和头部的运动,可以给出关于驾驶意图的早期线8。近年来,人们在车辆驾驶意图识别和预测领域已经展开了众多的研究,如支持向量9,多层感知10, 逻辑回11等机器学习算法已经被广泛应用。Tang等12建立了交叉口轨迹预测模型和驾驶员心理决策过程预测模型,对交叉口驾驶员危险行为进行预测,实现了对车辆个体动态化的轨迹预测。Lefèvre等13提出了一种基于两层隐马尔可夫模型的通用概率交互预测方法,通过计算多个交互主体间的联合分布来对车辆行为进行建模,然而在长期预测方面存在很大局限性。Gindele等14提出了一种基于动态贝叶斯网络的意图预测模型,该模型通过使用因子状态将车辆之间的因果关系建模为局部情境上下文的函数,从而大大降低了计算复杂度。Hou等15提出了一种结构化的长短时记忆网络,它能自动学习多个交互车辆之间高级依赖关系。然而,这些方法很少考虑车辆间的交互作用同时可解释性差,为了得到更加准确的预测结果,充分考虑车辆之间的交互作用十分必要。

为了更好地考虑周围交通场景对驾驶意图的影响,本文提出了一种交互式意图预测方法。首先,将隐马尔可夫模型(hidden Markov model, HMM)与高斯混合模型(Gaussian mixture model, GMM)相结合,全面考虑周围场景信息,建立驾驶行为模型。然后,对美国联邦高速公路管理局的NGSIM数据集进行样本数据提取以及行为状态标记,从而完成模型参数的学习。再后,采用基于意图的轨迹预测方法对车辆未来的运动轨迹进行预测,选取最优轨迹作为评判因素并综合考虑行驶安全性等多个指标来模拟驾驶员的决策过程,求解出概率最大的驾驶意图。车辆最终驾驶意图预测是当前行驶环境和未来交通发展状况的综合衡量。

1 问题描述

本文只考虑车辆在标准结构化道路下的换道工况,采用的3车道换道场景如图 1所示。图中车1是观测车辆,即需要预测意图的车辆,车2—6是以观测车辆为中心配置的周围车辆,而车3是智能车辆主车,它需要准确预测出观测车辆的意图。

图1  典型换道场景示意图

Fig.1  Schematic diagram of typical lane change scene

在换道场景中,每个车辆都有3种可选的行为,即行为集合Ω={LK, LLC, RLC}中的行为分别代表车道保持LK、左换道LLC和右换道RLC。考虑到实际道路条件约束,有些行为可能会受到限制,如最右车道上的车辆不能进行右换道行为等。本文目标是考虑车辆之间的交互作用,结合场景信息以及车辆自身的历史行驶信息,实现车辆意图的合理预测,即综合各类信息确定观测车辆的未来将采取什么样的行为。

受Deo等

16提出的框架启发,本文整体框架如图2所示,主要包括行为识别和意图推理两大模块。首先,本文进行行为识别和意图推理的信息主要来自于周围道路场景信息和车辆历史状态信息。其中,对车辆的行为识别是基于当前行驶环境和场景信息进行的判断,代表着对当前正在实施行为操作的认知,本文同时使用隐马尔科夫模型和高斯混合模型计算车辆各种可能行为的概率值。而意图推理则采用对驾驶意图建模,考虑了未来交通态势的演变发展,基于对未来行驶轨迹进行的预测。最终的意图预测结果是两者的结合,具体的实现方法将在下面章节具体阐述。

图2  算法整体框图

Fig.2  Overall block diagram of proposed algorithm

2 研究方法

2.1 行为识别模型建立

隐马尔可夫模型(HMM)是概率图模型的一种,由于其描述动态过程和推断未知状态的强大能力,目前已被广泛应用在模式辨识、行为识别以及故障诊断分析等众多领

17。本文首先采用隐马尔可夫模型进行车辆行为识别,在换道场景中车辆有3种可选行为,分别是向左换道、向右换道和车道保持,因此定义状态量为s={s1,s2,s3},分别代表车辆的上述3种状态。车辆驾驶意图无法通过观测直接得到,需要利用一些可观测变量对其进行推测,本文选取了横向速度vx,侧向偏移dy和侧向速度vy这些车辆自身信息作为一部分观测变量。同时,车辆行为还受到周围交通环境的影响,考虑相关的场景信息可以有效提升行为识别的准确性,因此在观测变量中加入了周围车辆的信息。

观测变量O具体可以表示为4类变量的组合如下:

O=(vx,dy,vy),(vt,s,xt,s),(vt,r,xt,r),(vt,l,xt,l)T (1)

式中:第一项代表车辆自身信息;后3项代表周围的场景信息,分别是观测车辆与其同车道前车、右车道前后车、左车道前后车之间的速度差和距离差。通过对状态量和观测量的具体设计,建立了行为识别模型。采用高斯混合模型对隐马尔可夫模型输出的观测概率分布进行建模,得到车辆各种行为的预测概率,具体形式为:

biO=m=1McimN(O|μim,σim2) (2)

式中:biO为观测变量O在状态i下的输出概率值;M是所用高斯分布的个数;m是所用的第m个高斯分布,取值为1,2,…,Mcim是状态i下的第m个高斯分布对应的权重;N表示正态分布;μimσim2分别是高斯分布的均值和协方差。

由于3个高斯分布混合就能达到很好的拟合效果,因此本文选用高斯分布的个数为3个,即每个状态下的输出观测概率都由3个高斯分布的线性组合表示。

2.2 意图推理模型建立

2.2.1 基于意图的轨迹预测

本文在进行未来行为推理时,首先对驾驶员的意图目标进行建模,对未来的行驶轨迹进行预测。本文采用基于意图的轨迹预测方法对未来交通发展态势进行模拟,它采用以道路中心线为参考曲线的自然坐标系,由切向和法向两个方向组成,从而实现横纵向解耦简化。假设车辆在最终状态下沿着预定车道的中心线行驶,并在完成操作的整个过程中保持恒定的纵向加速度,车辆的横向轨迹d(t)关于时间t的曲线采用五次多项式进行拟合,对纵向轨迹s(t)采用四次多项式进行拟合,即

dt=f5t5+f4t4+f3t3+f2t2+f1t+f0 (3)
st=b4t4+b3t3+b2t2+b1t+b0 (4)

其中系数fi(i=0,1,2,3,4,5)bi(i=0,1,2,3,4)可以通过多项式求解得到。对行为的持续时间进行采样可以获得一系列轨迹簇,受文献[

18]启发,综合考虑时间和舒适性的损失函数来进行最优轨迹的选取,即通过计算每个轨迹的损失函数值,最低损失值对应的轨迹即为最优轨迹,损失函数计算如下:

LossTj=max at+τ·t  j,  j=1,2,,K (5)

式中:第一项代表整个操作过程中的最大加速度,反映乘坐舒适性,过大的加速度会显著降低舒适性;后一项中τ是加权系数,t  j代表第j条轨迹的操作持续时间,驾驶时总是倾向于以较少的时间完成预期操作同时也不希望降低过多的舒适性。通过上式就可以求得各个轨迹成本代价值,从而得到最优轨迹。

基于意图的轨迹预测符合车辆的运动模式,能够对未来一段时间车辆轨迹进行合理准确预测,可以取得较好的预测结果。

2.2.2 最大期望效用理论

首先,本文对意图目标进行建模时,认为换道行为决策是一个不断追求收益最大化的过程,具体考虑了前向可行驶空间、碰撞安全系数和安全舒适性系数这3方面,建立了关于这3个指标的收益函数。其中,前向可行驶空间κ是观测车辆与目标车道前车的距离,碰撞安全系数ε为观测车辆与周围车辆在一段预测时域内的最近距离,舒适性系数γ定义为预测时域内加速度四次方积分值的负数。最终的总收益u是这3个指标值的加权和,如式(6)所示,其中ε1ε2ε3是相应的加权系数。

u=ε1κ+ε2ϵ+ε3γ (6)

根据期望最大化理论,在有风险的情况下,人们总是会考虑所有可能的后果然后再做出决策。期望效用是场景收益和对应行为概率的乘积,以车辆右换道为例,对应于图1,该行为的期望效用如下:

U1RLC=m2,iΩm6,kΩp(m2,i)pm6,k×u(m1,RLC,m2,i,,m6,k) (7)

式中:U1RLC代表车辆1采取右换道RLC的期望效用;mj,k代表车辆j采取k行为,对于其他车辆,期望效用的计算也采用同样的方式。未来行为推理概率值p2(mj,k)可以通过对上述期望效用归一化得到,如式(8)所示。

p2mj,k=eUj(k)zΩeUj(z) (8)

式中:Ujk表示第j辆车采取k行为时的期望效用;Ujz表示第j辆车采取z行为时的期望效用;Ω表示所有可能采取的行为集合。

当前行为识别过程更好地反映出当前的驾驶过程,同时,最大期望效用理论的应用又能反映出车辆未来行为的推理过程,二者综合考虑了交通态势的演变过程和车辆之间的交互作用。因此,当车辆j采取k行为(mj,k)时,本文最终的意图预测结果是将当前行为识别和未来意图推理结果相结合,即

pmj,k=ω1p1mj,k+ω2p2mj,k (9)

式中:p1p2分别是对于某一种车辆行为(mj,k)分别采用行为识别模型和意图推理模型计算得到的概率值;ω1ω2分别是行为识别和意图推理对应的权重系数,二者之和为1。

3 仿真验证

3.1 行为识别模型验证

本文选择NGSIM数据集对提出的交互式意图预测方法进行仿真验证,该数据集收集了详尽且高质量的交通数据,是目前交通领域最全面的公共交通数据

19。对原始数据集进行滤波降噪处理后,根据NGSIM数据集的数据记录形式,以车辆序号和时间帧为标准采用局部分块的方法进行数据特征提取,同时根据时空关系确定周围车辆的配置从而获得车道变换和车道保持样本的完善场景信息。获得数据样本后,还需要对车辆的状态进行标记。采用式(10)的车辆位置信息计算车辆的航向角θ,采用3点计算可以提高航向角计算的准确性。从换道点开始反向遍历时间轴,如果车辆航向角小于预先设定的初始阈值,那么第一个满足该条件的点就是换道开始点,类似地可以确定换道结束点从而得到车辆的状态。

θt=arctanyt-yt-3xt-xt-3 (10)

式中:xtyt分别代表车辆的横纵向位置。

获取训练数据后通过学习方式确定行为模型参数,就可以进行具体车辆行为的识别。每一时刻都提取相同长度的一段信息作为观测数据,以此作为车辆行为模型的输入,这样的好处是充分利用历史信息,便于对数据的实时更新。将该观测序列输入基于隐马尔可夫模型的行为识别模型就可以得到各状态变量的概率值,将概率最大的状态作为当前行为识别的结果。

图3是一个右换道行为识别实例。从图3中的仿真结果可以发现,随着观测车辆临近换道点,其右变道行为识别概率不断增加并在跨越车道线前就已经上升为1。车辆跨越车道线后其右变道的识别概率仍维持在最高水平(概率为1),直至车辆逐渐接近目标车道中心线,其右变道的识别概率开始下降而车道保持概率急速上升。由于车辆始终没有向左运动的状态表现,所以整个过程中其左换道的概率始终为0。仿真结果表明,本文综合考虑完善场景信息的行为识别方法可以提前一段时间识别出车辆的换道意图,从而提前预知相应的风险,进一步提高驾驶安全性。相比较于只考虑车辆自身信息的行为识别方法,本文的行为识别模型可以平均提前0.2~0.3 s识别出车辆的换道意图,从而为驾驶员预留出更多的反应时间,展现了本算法的优越性。

图3  右换道场景行为识别结果

Fig.3  Behavior recognition results of right lane-change scene

3.2 意图推理模型验证

图4为从该数据集中选取的车辆右换道场景示意图。在这个场景中,除观测主车外既有变道车辆又有保持直行的车辆,车辆间的交互深刻。其中,点线代表观测车辆的运动情况,实线表示周围五辆车的运动轨迹随时间的变化关系。

图4  右换道场景车辆时空位置关系图

Fig.4  Vehicle space-time position diagram of right lane-change scene

首先,采用意图推理模型,根据未来交通态势的演变发展对周围车辆的未来运动做出初步的预测,再根据收益函数公式(6)-(9)计算该场景下观测车辆3种行为(左换道、右换道、车道保持)的具体收益值,计算结果如图5a所示。通过将车辆行为的期望效用归一化,可以得到各行为的未来推理概率,结果如图5b。行为收益和推理概率曲线的走向大致相同,说明车辆的行为收益在一定程度上体现了选择该行为的概率,收益越大期望效用越大,选择该行为的几率也越大。

其次,采用行为识别模型计算该场景下每种车辆行为对应的概率值。最后,结合这两种模型计算的结果,得出该换道场景下观测车辆最终的意图预测结果,如图6所示。图中P1为行为识别模型计算出的车道保持或换道的概率值,P2为意图推理方法计算出的概率值,P为两种方法概率值的加权结果。

a  场景收益曲线

b  场景行为推理概率曲线

图5  场景意图推理结果

Fig.5  Intention reasoning results of scenario

图6  场景观测车辆意图预测结果

Fig.6  Intention prediction results of observation vehicle in scenario

图6结果表明:观测车辆最开始保持直行,由于观测车辆当前速度大于前方车辆的速度,前向可行驶空间不断减小,两车不断接近存在碰撞风险,车道保持行为的收益不断降低。此时,由于车辆右前方有较大的可行驶空间且观测车辆速度大于右后方车辆,预测不存在安全风险,因此右换道行为的可行驶空间不断增大。当某一时刻右换道行为的收益足以克服换道带来的舒适性损失同时又不存在碰撞安全风险时,右换道期望效用最高,车辆选择右换道行为。

4 结语

本文提出了一种交互式意图预测方法,首先将隐马尔可夫模型与高斯混合模型相结合,全面考虑周围场景信息建立了行为识别模型。之后,对NGSIM数据集进行样本数据提取,完成模型参数的学习,将换道行为决策看作是一个不断追求收益最大化的过程,进行意图推理。车辆最终驾驶意图预测是当前行驶环境和未来交通发展状况的综合衡量。仿真试验结果表明,本文的意图预测方法可以很好地考虑车辆间的交互关系,建立的行为识别模型可以提前辨识出车辆的驾驶意图,从而提前预知周围车辆将采取的操作,同时也能够得到更加准确地预测结果,从而提高了驾驶安全性。

参考文献

1

陈虹郭露露边宁. 对汽车智能化进程及其关键技术的思考[J]. 科技导报20173511): 52. [百度学术] 

CHEN HongGUO LuluBIAN Ning. On automobile intelligentization and key technologies[J]. Science & Technology Review20173511): 52. [百度学术] 

2

LI JMA HZHAN Wet al. Generic probabilistic interactive situation recognition and prediction: From virtual to real[C]// 21st International Conference on Intelligent Transportation Systems (ITSC). PiscatawayIEEE20183218. [百度学术] 

3

LEFÈVRE SVASQUEZ DLAUGIER C. A survey on motion prediction and risk assessment for intelligent vehicles[J]. ROBOMECH Journal201411): 1. [百度学术] 

4

HU YZHAN WTOMIZUKA M. Probabilistic prediction of vehicle semantic intention and motion[C]// 2018 IEEE Intelligent Vehicles Symposium(IV). PiscatawayIEEE2018307. [百度学术] 

5

XING YLV CWANG Het al. Driver lane change intention inference for intelligent vehicles: Framework, survey, and challenges[J]. IEEE Transactions on Vehicular Technology2019685): 4377. [百度学术] 

6

VAHIDI AESKANDARIAN A. Research advances in intelligent collision avoidance and adaptive cruise control[J]. IEEE Transactions on Intelligent Transportation Systems200343): 143. [百度学术] 

7

BERNDT HEMMERT JDIETMAYER K. Continuous driver intention recognition with hidden Markov models[C]// 11th International IEEE Conference on Intelligent Transportation Systems. PiscatawayIEEE20081189. [百度学术] 

8

JANG Y MMALLIPEDDI RLEE M. Identification of human implicit visual search intention based on eye movement and pupillary analysis[J]. User Modeling and User-Adapted Interaction2014244): 315. [百度学术] 

9

KAVITHA SVARUNA SRAMYA R. A comparative analysis on linear regression and support vector regression[C]// 2016 Online International Conference on Green Engineering and Technologies (IC-GET). PiscatawayIEEE20161. [百度学术] 

10

RAMCHOUN HIDRISSI M A JGHANOU Yet al. Multilayer perceptron: architecture optimization and training[J]. IJIMAI201641): 26. [百度学术] 

11

TOLLES JMEURER W J. Logistic regression: relating patient characteristics to outcomes[J]. Jama20163165): 533. [百度学术] 

12

唐克双杨博文许凯. 基于车辆轨迹数据的交叉口危险驾驶行为预测[J]. 同济大学学报(自然科学版)20174510): 1454. [百度学术] 

TANG KeshuangYANG BowenXU Kaiet al. Prediction of driver's risky behaviors based on vehicle trajectory data at signalized intersections[J]. Journal of Tongji University (Natural Science)20174510): 1454. [百度学术] 

13

LEFÈVRE SLAUGIER CIBAÑEZ-GUZMÁN J. Evaluating risk at road intersections by detecting conflicting intentions[C]// 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. PiscatawayIEEE20124841. [百度学术] 

14

GINDELE TBRECHTEL SDILLMANN R. A probabilistic model for estimating driver behaviors and vehicle trajectories in traffic environments[C]// 13th International IEEE Conference on Intelligent Transportation Systems. PiscatawayIEEE20101625. [百度学术] 

15

HOU LXIN LLI S Eet al. Interactive trajectory prediction of surrounding road users for autonomous driving using structural-LSTM network[J]. IEEE Transactions on Intelligent Transportation Systems20192111): 4615. [百度学术] 

16

DEO NRANGESH ATRIVEDI M M. How would surround vehicles move? a unified framework for maneuver classification and motion prediction[J]. IEEE Transactions on Intelligent Vehicles201832): 129. [百度学术] 

17

RABINER LJUANG B. An introduction to hidden Markov models[J]. IEEE Assp Magazine198631): 4. [百度学术] 

18

HOUENOU ABONNIFAIT PCHERFAOUI Vet al. Vehicle trajectory prediction based on motion model and maneuver recognition[C]// 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. PiscatawayIEEE20134363. [百度学术] 

19

COIFMAN BLI L. A critical evaluation of the next generation simulation (NGSIM) vehicle trajectory dataset[J]. Transportation Research Part B: Methodological2017105362. [百度学术]