网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

路侧多传感器融合中的联合标定优化设计  PDF

  • 佘锋 1
  • 杨贵永 1
  • 刘建虎 2
  • 王平 2
1. 吉利汽车研究院,浙江 宁波 315336; 2. 同济大学 电子与信息工程学院,上海 201804

中图分类号: U495

最近更新:2024-10-30

DOI:10.11908/j.issn.0253-374x.23408

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

在路侧感知中,交通场景复杂多变,单类传感器无法满足全天候、全天时工作的要求,多传感器融合逐渐成为发展趋势,而多传感器融合的前提是实现传感器之间的联合标定。在激光雷达和相机的共视区内摆放标定物,从而获得特征点的点云坐标和对应像素坐标,再使用EPnP(Efficient Perspective-n-Points)算法求得激光雷达和相机之间的外参;对激光雷达路面的点云进行上采样,根据联合标定的外参矩阵生成对应的像素坐标,然后采用决策树回归、随机森林回归算法训练模型;根据激光雷达标定的结果实现像素坐标到WGS84坐标的转换,该方法不需要将激光雷达和相机集成在一起。最后,经实验验证该联合标定方案的有效性。

车路协同通过路侧感知提供更大范围的感知信息,可以有效弥补单车感知能力的不足,因此路侧感知信息融合已经成为研究热点。路侧多传感器融合是指部署在路侧的雷达、摄像头等传感器采集交通环境信息,然后将交通数据发送到边缘计算单元,边缘计算单元进行目标识别、定位与跟踪,得到交通参与者精确的类型、位置、尺寸和速度等信息,最后通过V2X将信息传递到车辆OBU(on board unit),车辆接收到整个路口或道路上的环境信息,用于决策与控制。

路侧多传感器融合的前提是实现空间上的精准同步。激光雷达和摄像头输出的数据格式不同,激光雷达输出的是三维(3D)点云坐标,摄像头输出的是二维(2D)像素坐标,求取2个坐标系转换关系的过程就是多传感器的联合标定。

激光雷达和相机的联合标定是求取激光雷达和相机之间对应点关系的外参。目前,针对自动驾驶车辆激光雷达和相机联合标定的方法可分为2种:在线标定法和离线标定法。在线标定法是指在车辆行驶过程中根据传感器视野内的参照物实时调整传感器之间的外参,用以修正车辆在行驶过程中造成的传感器偏差。Heidarsson

1、Rodriguez-Garavito2从航空影像中寻找符合标定要求的特征物体,收集标定数据,用来校准车辆不同传感器之间的外参,取得了较准确的结果。离线标定法可分为棋盘格标定法和特征点匹配标定法。文献[3-8]中提出了利用棋盘格进行激光雷达和相机外参标定的方法。使用棋盘格标定板选取特征点,通过随机采样一致性等方法对采集到的点云进行拟合,得到对应的三维点云坐标;根据约束条件求解激光雷达和相机的外参,再采用非线性方法优化迭代得到激光雷达和相机之间的外参。特征点匹配标定法的中心思想是:采集多组特征点在激光雷达点云中的坐标和对应的像素坐标,然后计算相机中像素坐标系和激光雷达三维点云坐标系的单应性矩阵,即相机位姿估计中的PnP(Perspective-n-Point)问题。文献[9-14]中设计了一种三角形标定板,针对32线激光雷达,通过拟合扫描在三角形标定板上的点云,求出三角形标定板3条边的直线方程,然后通过直线方程求解三角形标定板的3个角点在点云中的坐标,在对应相机图像中采用角点检测方法求出三角形标定板3个角点的像素坐标,最后转换成PnP问题求解得到激光雷达和相机之间的外参。文献[15-19]中采用球形标定板、盒子标定板等作为标定物体,提取特征点进行计算,最后转换为PnP问题求解联合标定的外参。

激光雷达和相机的联合标定本质上是求取激光雷达坐标系到相机坐标系的转换矩阵,也是一个三维刚体变换。在路侧感知中,相机和激光雷达的安装位置通常较高,且两者安装位置不同,所以目前针对路侧传感器联合标定的研究较少。

本文设计了贴有高反射率反光条的角锥标定物,将一定数量的标定物放置在激光雷达和相机的共视区内,获取标定物在激光雷达坐标系中的坐标和在相机坐标系中的坐标,通过EPnP(Efficient Perspective-n-Point

20算法获得激光雷达和相机之间的转换矩阵;通过点云上采样算法增加点云密度,将上采样后的稠密点云投影到图像,获得点云‒像素坐标点对;采用决策树和随机森林的机器学习算法拟合点云‒像素坐标点对,实现二维像素坐标到三维点云坐标的精确转换。

1 联合标定优化设计

1.1 EPnP算法原理

PnP问题是求解三维点对到二维点对的方法,当知道n个三维空间点的坐标及其在相机中的投影时,可求解相机姿态。PnP问题求解方法有很多,包括直接线性变换、P3P(Perspective-3-Point)、非线性优化、EPnP等方法,其中EPnP方法为一种非迭代算法。

PnP问题的已知条件为:①n个世界坐标系中的三维参考点;②与①中n个三维参考点对应的二维参考点;③相机的内参矩阵K。EPnP算法将世界坐标系中的三维坐标表示为一组虚拟控制点的加权和,一般情况下,EPnP算法要求4个控制点,而且要求4个控制点不能在一个平面内。已知4个控制点在相机坐标系下的坐标后,就可以求得相机的位姿。

EPnP算法可以将参考点的坐标用加权和的形式表示出来,第i个三维参考点在世界坐标系中的坐标为Pi,w,在相机坐标系中的坐标为Pi,c,确定4个控制点,且4个控制点不在同一个平面内,第j个控制点在世界坐标系中的坐标为cj,w,在相机坐标系中的坐标为cj,c,可得

Pi,w=j=14aijcj,w,j=14aij=1 (1)

式中,aij为齐次重心坐标。相机中存在同样的加权关系:

Pi,c=j=14aijcj,c (2)

设相机的外参为RtRt分别为世界坐标系到相机坐标系的旋转矩阵和平移向量,则世界坐标系控制点和相机坐标系控制点的关系为

cj,c=Rtcj,w1 (3)

EPnP算法将参考点坐标用控制点坐标的加权和表示出来,可以得到:

Pi,c=RtPi,w1=Rtj=14aijcj,wj=14aij=
j=14aijRtcj,w1=j=14aijcj,c (4)

求解控制点在相机坐标系下的坐标时,通过相机标定获得相机内参矩阵。设相机内参矩阵为K,参考点坐标为ui,参考点的深度信息为ωi,在相机坐标系中的坐标为Pi,c,可得

ωiui1=KPi,c=Kj=14aijcj,c (5)

cj,c=(xj,c,yj,c,zj,c)T代入式(5),并将参考点坐标ui和相机内参K展开可得

ωiuivi1=fu000fv0ucvc1j=14αijxj,cyj,czj,c (6)

式中:fufvx轴和y轴方向上焦距的长度;ucvc为主点的实际位置;uivi为参考点ui的坐标参数。从式(6)可以推导出2个线性方程:

j=14aijfuxj,c+aij(uc-ui)zj,c=0j=14aijfvyj,c+aij(vc-vi)zj,c=0 (7)

把标定所得的n个点放入式(7)中,可以得到一个线性方程组:

M2n×12X12×1=0X=(c1,cT,c2,cT,c3,cT,c4,cT)T (8)

式中:M为推导后的系数;X为控制点在相机坐标系中的坐标,是一个12×1的向量。X位于M的右零空间内部,其中vkM的第k个零特征值对应的第k个右奇异向量,βk则为相应的特征值线性系数。对于第i个参考点可得

X=k=1Nβkvkci,c=k=1Nβkvk,i (9)

式中,vk,i为特征向量vk的第i个向量。由此可以推导得出

ci,c-cj,c2=ci,w-cj,w2k=1Nβkvk,i-k=1Nβkvk,j2=ci,w-cj,w2 (10)

为了求出控制点在相机坐标系下的坐标,还需要求解出系数α,缩小世界坐标系和相机坐标系下控制点的间距差。利用高斯‒牛顿

20迭代优化系数β,目标函数为

minα=(i,j),i <jci,c-cj,c2-ci,w-cj,w22 (11)

综上,计算控制点在相机坐标系中的坐标和3个参考点在相机坐标系下的坐标后,利用奇异值分解三维世界坐标到图像坐标的单应性矩阵,最后计算得到世界坐标系到相机坐标系的旋转矩阵R和平移向量t

1.2 激光雷达点云上采样算法

在路侧多传感器融合中,相机检测到目标并获取目标中心的像素坐标,再将目标中心的像素坐标转换到点云坐标。激光雷达点云坐标转换到像素坐标可以通过外参和内参的矩阵运算实现,但是在运算过程中会丢失像素的深度信息,在未知像素深度信息的情况下,此过程是不可逆的。因此,采用机器学习的方法训练模型实现像素坐标到点云坐标的转换。在激光雷达点云中提取路面点云,对于点云的稀疏性,将提取出的点云进行上采样,增加点云密度,然后通过激光雷达‒相机联合标定的外参和相机内参将点云坐标转换到像素坐标,生成点云‒像素坐标点对。

激光雷达路面点云上采样主要有以下4个步骤:

(1) 采集到激光雷达路面点云数据后,采用可视化工具显示点云,观察点云横截面情况,再根据点云横截面平坦与否将点云分区,点云平坦的部分被划为一个点云分区,使得划分完成后每个点云分区的点云近似于一个平面。

(2) 将激光雷达路面点云分好区后,选取每个点云分区的角点坐标。

(3) 根据每个点云分区的角点坐标,提取对应点云分区的点云数据,并根据点云坐标剔除点云分区中的噪声点,然后采用最小二乘法用平面逐个拟合每个点云分区。

(4) 在每个点云分区内,根据分区拟合的平面方程,以1 cm填充细度对三维点云数据进行上采样填充,增加三维点云的数据样本密度。

1.3 像素-点云坐标映射算法

由于缺少像素的深度信息,因此像素坐标到点云坐标难以实现高精度的转换,采用决策树和随机森林回归算法将像素坐标转换到点云坐标。获得激光雷达路面点云后,对点云进行分区拟合,生成点云数据,并对点云进行上采样;根据激光雷达‒相机联合标定得到的转换矩阵生成点云‒像素坐标点对,点云‒像素点对具有一一对应的关系;使用决策树和随机森林回归算法拟合点云‒像素点对,输入为二维像素坐标,输出为三维点云坐标,进行多元回归,实现像素坐标到点云坐标的转换。

从二维像素坐标到三维点云坐标的映射中缺少了一个维度的信息,需要用模型对第三维信息进行补偿,即通过训练数据提取其中蕴含的三维映射关系。决策树和随机森林回归算法则恰好适用于该应用场景,通过坐标样本的不同位置对坐标样本进行样本子集细分,将每个叶子节点中的二维坐标对应到一个平均三维坐标,控制叶子节点细分粒度足够小,即可将整个二维坐标样本集精确映射到三维坐标样本集,完成二维像素坐标到三维点云坐标的转换。

2 联合标定测试分析

为了验证所提出的联合标定算法的可行性,使用了2套设备进行实验,第1套设备是1台RS‒Ruby Lite 80线激光雷达和1台元戎相机,第2套设备是1台Pandar 64激光雷达和1台元戎相机。

2.1 联合标定预处理

2.1.1 激光雷达外参标定

激光雷达外参标定的目的是将激光雷达坐标转换到WGS84坐标。车路协同需要构建统一的坐标系,WGS84坐标系是车路协同的基础。激光雷达三维点云坐标系转换到东北天坐标系是三维直角坐标系的刚性变换,转换式为

XENUYENUZENU1=n11n12n21n22n13n14n23n24n31n32n41n42n33n34n43n44XLidarYLidarZLidar1 (12)

式中:(XENU,YENU,ZENU)为东北天坐标系中某点的坐标;(XLidar,YLidar,ZLidar)为对应点在激光雷达坐标系下的坐标。激光雷达外参的标定即求取式(12)中的转换矩阵,获取至少4个点在2个坐标系中的对应关系后,即可利用最小二乘法求取该转换矩阵。

东北天坐标系转换为WGS84坐标系可直接通过数学运算得到,设东北天坐标系原点的经纬度为(t0,n0),东北天坐标系中某点的坐标为(x,y),则此点的WGS84坐标为

t1=yR180π+t0n1=xRcost0180π180π+n0 (13)

式中:R为地球半径;t1为此点的纬度:n1为此点的经度。

2.1.2 相机内参标定

联合标定中需要用到相机内参,通过已知目标物点和图像像素点的公共控制点信息计算获得相机内参。这里采用Zhang

21提出的棋盘格标定法对采集的棋盘格图像进行处理,计算出相机的内参矩阵和畸变系数,并利用求得的畸变系数对图像进行去畸变处理。

2.1.3 标定数据采集

在相机和激光雷达共视区内放置标定物,摆放位置如图1所示。标定物为贴有高反射率反光条的角锥,如图2所示。反光条对激光有更强的反射效果,在激光雷达点云中可以更精准地获取反光条的点云坐标。同时,记录激光雷达点云数据和图像数据,采集了多个特征点用于激光雷达和相机标定参数的求解。

图1  联合标定标定物摆放位置

Fig.1  Calibrator placement of joint calibration

图2  标定物

Fig.2  Calibrator

2.2 激光雷达-相机联合标定结果与讨论

2.2.1 点云坐标转换到像素坐标

获取到特征点集在激光雷达坐标系和相机坐标系下的坐标后,采用EPnP算法求解,得到激光雷达‒相机联合标定结果,如图3所示。Pandar 64激光雷达‒元戎相机联合标定选取26个特征点,平均重投影误差为1.71个像素;RS‒Ruby Lite 80线激光雷 达‒元戎相机联合标定选取22个特征点,平均重投影误差为1.45个像素。可见,投影误差较小,这表明激光雷达‒相机联合标定方案的合理性。

图3  联合标定转换矩阵及误差

Fig.3  Joint calibration conversion matrix and error

2.2.2 像素坐标转换到WGS84坐标

将像素坐标转换到WGS84坐标,首先要将像素坐标转换到点云坐标,再从点云坐标转换到WGS84坐标。提取出点云路面数据后,采用最小二乘法对平面点云进行分区拟合,部分拟合结果如图4所示。其中,黑色圆点表示激光雷达路面的点云,网格表示拟合出的平面。

图4  激光雷达路面点云拟合部分结果

Fig.4  Partial results of lidar pavement point cloud fitting

对点云分区拟合完成后,根据拟合平面生成点云数据,对点云进行上采样,增大点云密度。图5为路面点云上采样结果。可以看到,经过上采样后点云数量明显增多,点云密度变大。

图5  激光雷达路面点云上采样结果

Fig.5  Up-sampling results of lidar pavement point cloud

对路面点云进行上采样后,根据激光雷达‒相机联合标定求解外参矩阵,将上采样后的路面点云坐标转换为像素坐标,转换后的二维像素坐标如图6所示。

图6  激光雷达路面点云对应的像素坐标

Fig.6  Corresponding pixel coordinate of lidar pavement point cloud

获取到点云‒像素坐标点对后,使用决策树回归、随机森林回归算法拟合数据并训练模型,实现像素坐标到点云坐标的转换,再根据激光雷达标定的结果,转换到WGS84坐标系,最终实现像素坐标到WGS84坐标的转换,转换误差如表1所示。

表1  像素坐标到WGS84坐标转换误差
Tab.1  Conversion error from pixel coordinates to WGS84 coordinates
设备像素坐标到点云坐标转换方法平均误差/m最大误差/m最小误差/m标准差/m

RS‒Ruby Lite 80线激光雷达‒

元戎相机

随机森林 0.182 6 0.609 9 0.035 7 0.180 2
决策树 0.189 9 0.600 6 0.035 4 0.179 4
Pandar 64激光雷达‒元戎相机 随机森林 0.145 1 0.313 8 0.017 2 0.094 1
决策树 0.134 3 0.304 4 0.019 6 0.092 3

对于第1套设备RS‒Ruby Lite 80线激光雷达‒元戎相机,采用随机森林回归算法的平均误差为0.182 6 m,标准差为0.180 2 m,采用决策树回归算法的平均误差为0.189 9 m,标准差为0.179 4 m;对于第2套设备Pandar 64激光雷达‒元戎相机,采用随机森林回归算法的平均误差为0.145 1 m,标准差为0.094 1 m ,采用决策树回归算法的平均误差为0.134 3 m,标准差为0.092 3 m。可以看出,第2套设备的平均误差比第1套小,且标准差也小,误差更稳定。如图7所示,像素坐标转换到GPS坐标的误差随与激光雷达原点的距离越长误差越大,误差最大的点出现在距离较远的地方。这是由于:在距离远的地方,激光雷达点云产生跳变,点云精度降低;根据相机小孔成像原理,越远的点在相机中成像越模糊,导致选取特征点时产生误差。总体而言,2套设备像素坐标到WGS84坐标的转换误差都较小,验证了本文激光雷达‒相机联合标定方案的可行性。

图7  像素坐标到GPS坐标误差随与激光雷达坐标原点距离的变化

Fig.7  Plot of pixel coordinate to GPS coordinate error as a function of distance from lidar coordinate origin

3 结语

对路侧多传感器融合中的联合标定方法进行了讨论。在将像素坐标转换到WGS84坐标时,提取出激光雷达的路面点云数据,通过分区平面拟合对路面点云进行上采样,根据激光雷达‒相机联合标定的结果将上采样后的点云数据转换为像素坐标,获得点云‒像素坐标点对;使用决策树回归、随机森林回归算法训练模型,将像素坐标转换到点云坐标,再根据激光雷达标定的结果将点云坐标转换为WGS84坐标,完成像素坐标到WGS84坐标的转换;最后通过实验验证了联合标定方案的有效性。由于激光雷达的路面点云是曲面,对路面点云分区后用平面拟合会导致一定的误差,后续可以考虑用曲面方程如二次曲面等对激光雷达路面点云进行拟合,减小拟合误差。

作者贡献声明

佘 锋:构建整体思路,完成实验,撰写并修改论文。 杨贵永:提出选题,设计测试思路,参与论文修改。 刘建虎:实验实施,参与论文修改。 王 平:参与实验实施,论文修改。

参考文献

1

HEIDARSSON H KSUKHATME G S. Active online calibration of multiple sensors for autonomous surface vessels[M]. BerlinSpringer International Publishing2016. [百度学术] 

2

RODRIGUEZ-GARAVITO C HPONZ AGARCIA Fet al. Automatic laser and camera extrinsic calibration for data fusion using road plane[C]// 17th International Conference on Information Fusion. PiscatawayIEEE20141-6. [百度学术] 

3

ZHANG QPLESS R. Extrinsic calibration of a camera and laser range finder (improves camera calibration) [C]// 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). PiscatawayIEEE20042301-2306. [百度学术] 

4

VASCONCELOS FBARRETO J PNUNES U. A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder[J]. IEEE Transactions on Software Engineering20123411): 2097. [百度学术] 

5

SANG U PCHUNG M J. Extrinsic calibration between a 3D laser scanner and a camera using PCA method[C]// International Conference on Ubiquitous Robots & Ambient Intelligence. PiscatawayIEEE2013527-528. [百度学术] 

6

项志宇郑路. 摄像机与3D激光雷达联合标定的新方法[J]. 浙江大学学报(工学版)2009438): 5. [百度学术] 

XIANG ZhiyuZHENG Lu. A new method for joint calibration of camera and 3D lidar[J]. Journal of Zhejiang University (Engineering Edition)2009438):5. [百度学术] 

7

PARK YYUN SWON Cet al. Calibration between color camera and 3D LIDAR instruments with a polygonal planar board[J]. Sensors2014143):5333. [百度学术] 

8

陈凯阳李航彭程.一种三维激光雷达与双目相机的联合标定方法[J].软件导刊20212012):152. [百度学术] 

CHEN KaiyangLI HangPENG Chenget al. A joint calibration method of 3D LiDAR and binocular camera[J]. Software Guide20212012):152. [百度学术] 

9

ZHOU LLI ZKAESS M. Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). PiscatawayIEEE20185563-5569. [百度学术] 

10

DHALL ACHELANI KRADHAKRISHNAN Vet al. LiDAR-camera calibration using 3D-3D point correspondences[J]. arXiv preprint arXiv:1705.097852017. [百度学术] 

11

许小徐黄影平胡兴. 智能汽车激光雷达和相机数据融合系统标定[J]. 光学仪器2019416):8. [百度学术] 

XU XiaoxuHUANG YingpingHU Xing. Calibration of LIDAR and camera data fusion system for smart vehicles[J]. Optical Instruments2019416):8. [百度学术] 

12

PEREIRA MSILVA DSANTOS Vet al. Self calibration of multiple LIDARs and cameras on autonomous vehicles[J]. Robotics and Autonomous Systems201683326. [百度学术] 

13

王鑫李伟梁炜.单目相机‒IMU‒机械臂的空间联合标定方法[J].仪器仪表学报202142221. [百度学术] 

WANG XinLI WeiLIANG Weiet al. Spatial joint calibration method of monocular camera-IMU-mechanical arm[J]. Journal of Instrumentation202142221. [百度学术] 

14

薛艺舟. 面向自动驾驶的激光雷达与相机联合标定方法研究[D]. 北京北京建筑大学2021. [百度学术] 

XUE Yizhou. Research on the joint calibration method of LiDAR and camera for automatic driving [D]. BeijingBeijing Architecture University2021. [百度学术] 

15

DEBATTISTI SMAZZEI LPANCIROLI M. Automated extrinsic laser and camera inter-calibration using triangular targets[C]// Intelligent Vehicles Symposium (IV). PiscatawayIEEE2013. DOI: 10.1109/IVS.2013.6629548. [百度学术] 

16

VASCONCELOS FBARRETO J PNUNES U. A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder[J]. IEEE Transactions on Software Engineering20123411): 2097. [百度学术] 

17

PEREIRA MSILVA DSANTOS Vet al. Self calibration of multiple LIDARs and cameras on autonomous vehicles[J]. Robotics and Autonomous Systems201683326. [百度学术] 

18

PUSZTAI ZHAJDER L. Accurate calibration of LiDAR-camera systems using ordinary boxes[C]// IEEE International Conference on Computer Vision Workshop. PiscatawayIEEE2018394-402. [百度学术] 

19

黄强潘常春裴凌.基于可重构标定板的激光与视觉联合标定方法[J].导航定位与授时202183):27. [百度学术] 

HUANG QiangPAN ChangchunPEI Linget al. Joint laser and vision calibration method based on reconfigurable calibration plate[J]. Navigation, Positioning and Timing202183):27. [百度学术] 

20

LEPETIT VMORENO-NOGUER FFUA P. EPnP: an accurate On) solution to the PnP problem[J]. International Journal of Computer Vision200981155. [百度学术] 

21

ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations[C]// Seventh IEEE International Conference on Computer Vision. PiscatawayIEEE1999666-673. [百度学术]