摘要
在路侧感知中,交通场景复杂多变,单类传感器无法满足全天候、全天时工作的要求,多传感器融合逐渐成为发展趋势,而多传感器融合的前提是实现传感器之间的联合标定。在激光雷达和相机的共视区内摆放标定物,从而获得特征点的点云坐标和对应像素坐标,再使用EPnP(Efficient Perspective-n-Points)算法求得激光雷达和相机之间的外参;对激光雷达路面的点云进行上采样,根据联合标定的外参矩阵生成对应的像素坐标,然后采用决策树回归、随机森林回归算法训练模型;根据激光雷达标定的结果实现像素坐标到WGS84坐标的转换,该方法不需要将激光雷达和相机集成在一起。最后,经实验验证该联合标定方案的有效性。
车路协同通过路侧感知提供更大范围的感知信息,可以有效弥补单车感知能力的不足,因此路侧感知信息融合已经成为研究热点。路侧多传感器融合是指部署在路侧的雷达、摄像头等传感器采集交通环境信息,然后将交通数据发送到边缘计算单元,边缘计算单元进行目标识别、定位与跟踪,得到交通参与者精确的类型、位置、尺寸和速度等信息,最后通过V2X将信息传递到车辆OBU(on board unit),车辆接收到整个路口或道路上的环境信息,用于决策与控制。
路侧多传感器融合的前提是实现空间上的精准同步。激光雷达和摄像头输出的数据格式不同,激光雷达输出的是三维(3D)点云坐标,摄像头输出的是二维(2D)像素坐标,求取2个坐标系转换关系的过程就是多传感器的联合标定。
激光雷达和相机的联合标定是求取激光雷达和相机之间对应点关系的外参。目前,针对自动驾驶车辆激光雷达和相机联合标定的方法可分为2种:在线标定法和离线标定法。在线标定法是指在车辆行驶过程中根据传感器视野内的参照物实时调整传感器之间的外参,用以修正车辆在行驶过程中造成的传感器偏差。Heidarsson
激光雷达和相机的联合标定本质上是求取激光雷达坐标系到相机坐标系的转换矩阵,也是一个三维刚体变换。在路侧感知中,相机和激光雷达的安装位置通常较高,且两者安装位置不同,所以目前针对路侧传感器联合标定的研究较少。
本文设计了贴有高反射率反光条的角锥标定物,将一定数量的标定物放置在激光雷达和相机的共视区内,获取标定物在激光雷达坐标系中的坐标和在相机坐标系中的坐标,通过EPnP(Efficient Perspective-n-Point
PnP问题是求解三维点对到二维点对的方法,当知道n个三维空间点的坐标及其在相机中的投影时,可求解相机姿态。PnP问题求解方法有很多,包括直接线性变换、P3P(Perspective-3-Point)、非线性优化、EPnP等方法,其中EPnP方法为一种非迭代算法。
PnP问题的已知条件为:①n个世界坐标系中的三维参考点;②与①中n个三维参考点对应的二维参考点;③相机的内参矩阵。EPnP算法将世界坐标系中的三维坐标表示为一组虚拟控制点的加权和,一般情况下,EPnP算法要求4个控制点,而且要求4个控制点不能在一个平面内。已知4个控制点在相机坐标系下的坐标后,就可以求得相机的位姿。
EPnP算法可以将参考点的坐标用加权和的形式表示出来,第个三维参考点在世界坐标系中的坐标为,在相机坐标系中的坐标为,确定4个控制点,且4个控制点不在同一个平面内,第个控制点在世界坐标系中的坐标为,在相机坐标系中的坐标为,可得
(1) |
式中,为齐次重心坐标。相机中存在同样的加权关系:
(2) |
设相机的外参为,和分别为世界坐标系到相机坐标系的旋转矩阵和平移向量,则世界坐标系控制点和相机坐标系控制点的关系为
(3) |
EPnP算法将参考点坐标用控制点坐标的加权和表示出来,可以得到:
(4) |
求解控制点在相机坐标系下的坐标时,通过相机标定获得相机内参矩阵。设相机内参矩阵为,参考点坐标为,参考点的深度信息为,在相机坐标系中的坐标为,可得
(5) |
将代入
(6) |
式中:和为x轴和y轴方向上焦距的长度;和为主点的实际位置;和为参考点的坐标参数。从
(7) |
把标定所得的n个点放入
(8) |
式中:为推导后的系数;为控制点在相机坐标系中的坐标,是一个12×1的向量。位于的右零空间内部,其中为的第个零特征值对应的第个右奇异向量,则为相应的特征值线性系数。对于第个参考点可得
(9) |
式中,为特征向量的第个向量。由此可以推导得出
(10) |
为了求出控制点在相机坐标系下的坐标,还需要求解出系数,缩小世界坐标系和相机坐标系下控制点的间距差。利用高斯‒牛顿
(11) |
综上,计算控制点在相机坐标系中的坐标和3个参考点在相机坐标系下的坐标后,利用奇异值分解三维世界坐标到图像坐标的单应性矩阵,最后计算得到世界坐标系到相机坐标系的旋转矩阵和平移向量。
在路侧多传感器融合中,相机检测到目标并获取目标中心的像素坐标,再将目标中心的像素坐标转换到点云坐标。激光雷达点云坐标转换到像素坐标可以通过外参和内参的矩阵运算实现,但是在运算过程中会丢失像素的深度信息,在未知像素深度信息的情况下,此过程是不可逆的。因此,采用机器学习的方法训练模型实现像素坐标到点云坐标的转换。在激光雷达点云中提取路面点云,对于点云的稀疏性,将提取出的点云进行上采样,增加点云密度,然后通过激光雷达‒相机联合标定的外参和相机内参将点云坐标转换到像素坐标,生成点云‒像素坐标点对。
激光雷达路面点云上采样主要有以下4个步骤:
(1) 采集到激光雷达路面点云数据后,采用可视化工具显示点云,观察点云横截面情况,再根据点云横截面平坦与否将点云分区,点云平坦的部分被划为一个点云分区,使得划分完成后每个点云分区的点云近似于一个平面。
(2) 将激光雷达路面点云分好区后,选取每个点云分区的角点坐标。
(3) 根据每个点云分区的角点坐标,提取对应点云分区的点云数据,并根据点云坐标剔除点云分区中的噪声点,然后采用最小二乘法用平面逐个拟合每个点云分区。
(4) 在每个点云分区内,根据分区拟合的平面方程,以1 cm填充细度对三维点云数据进行上采样填充,增加三维点云的数据样本密度。
由于缺少像素的深度信息,因此像素坐标到点云坐标难以实现高精度的转换,采用决策树和随机森林回归算法将像素坐标转换到点云坐标。获得激光雷达路面点云后,对点云进行分区拟合,生成点云数据,并对点云进行上采样;根据激光雷达‒相机联合标定得到的转换矩阵生成点云‒像素坐标点对,点云‒像素点对具有一一对应的关系;使用决策树和随机森林回归算法拟合点云‒像素点对,输入为二维像素坐标,输出为三维点云坐标,进行多元回归,实现像素坐标到点云坐标的转换。
从二维像素坐标到三维点云坐标的映射中缺少了一个维度的信息,需要用模型对第三维信息进行补偿,即通过训练数据提取其中蕴含的三维映射关系。决策树和随机森林回归算法则恰好适用于该应用场景,通过坐标样本的不同位置对坐标样本进行样本子集细分,将每个叶子节点中的二维坐标对应到一个平均三维坐标,控制叶子节点细分粒度足够小,即可将整个二维坐标样本集精确映射到三维坐标样本集,完成二维像素坐标到三维点云坐标的转换。
为了验证所提出的联合标定算法的可行性,使用了2套设备进行实验,第1套设备是1台RS‒Ruby Lite 80线激光雷达和1台元戎相机,第2套设备是1台Pandar 64激光雷达和1台元戎相机。
激光雷达外参标定的目的是将激光雷达坐标转换到WGS84坐标。车路协同需要构建统一的坐标系,WGS84坐标系是车路协同的基础。激光雷达三维点云坐标系转换到东北天坐标系是三维直角坐标系的刚性变换,转换式为
(12) |
式中:为东北天坐标系中某点的坐标;为对应点在激光雷达坐标系下的坐标。激光雷达外参的标定即求取
东北天坐标系转换为WGS84坐标系可直接通过数学运算得到,设东北天坐标系原点的经纬度为,东北天坐标系中某点的坐标为,则此点的WGS84坐标为
(13) |
式中:R为地球半径;为此点的纬度:为此点的经度。
联合标定中需要用到相机内参,通过已知目标物点和图像像素点的公共控制点信息计算获得相机内参。这里采用Zhang
获取到特征点集在激光雷达坐标系和相机坐标系下的坐标后,采用EPnP算法求解,得到激光雷达‒相机联合标定结果,如

图3 联合标定转换矩阵及误差
Fig.3 Joint calibration conversion matrix and error
将像素坐标转换到WGS84坐标,首先要将像素坐标转换到点云坐标,再从点云坐标转换到WGS84坐标。提取出点云路面数据后,采用最小二乘法对平面点云进行分区拟合,部分拟合结果如

图4 激光雷达路面点云拟合部分结果
Fig.4 Partial results of lidar pavement point cloud fitting
对点云分区拟合完成后,根据拟合平面生成点云数据,对点云进行上采样,增大点云密度。

图5 激光雷达路面点云上采样结果
Fig.5 Up-sampling results of lidar pavement point cloud
对路面点云进行上采样后,根据激光雷达‒相机联合标定求解外参矩阵,将上采样后的路面点云坐标转换为像素坐标,转换后的二维像素坐标如

图6 激光雷达路面点云对应的像素坐标
Fig.6 Corresponding pixel coordinate of lidar pavement point cloud
获取到点云‒像素坐标点对后,使用决策树回归、随机森林回归算法拟合数据并训练模型,实现像素坐标到点云坐标的转换,再根据激光雷达标定的结果,转换到WGS84坐标系,最终实现像素坐标到WGS84坐标的转换,转换误差如
设备 | 像素坐标到点云坐标转换方法 | 平均误差/m | 最大误差/m | 最小误差/m | 标准差/m |
---|---|---|---|---|---|
RS‒Ruby Lite 80线激光雷达‒ 元戎相机 | 随机森林 | 0.182 6 | 0.609 9 | 0.035 7 | 0.180 2 |
决策树 | 0.189 9 | 0.600 6 | 0.035 4 | 0.179 4 | |
Pandar 64激光雷达‒元戎相机 | 随机森林 | 0.145 1 | 0.313 8 | 0.017 2 | 0.094 1 |
决策树 | 0.134 3 | 0.304 4 | 0.019 6 | 0.092 3 |
对于第1套设备RS‒Ruby Lite 80线激光雷达‒元戎相机,采用随机森林回归算法的平均误差为0.182 6 m,标准差为0.180 2 m,采用决策树回归算法的平均误差为0.189 9 m,标准差为0.179 4 m;对于第2套设备Pandar 64激光雷达‒元戎相机,采用随机森林回归算法的平均误差为0.145 1 m,标准差为0.094 1 m ,采用决策树回归算法的平均误差为0.134 3 m,标准差为0.092 3 m。可以看出,第2套设备的平均误差比第1套小,且标准差也小,误差更稳定。如

图7 像素坐标到GPS坐标误差随与激光雷达坐标原点距离的变化
Fig.7 Plot of pixel coordinate to GPS coordinate error as a function of distance from lidar coordinate origin
对路侧多传感器融合中的联合标定方法进行了讨论。在将像素坐标转换到WGS84坐标时,提取出激光雷达的路面点云数据,通过分区平面拟合对路面点云进行上采样,根据激光雷达‒相机联合标定的结果将上采样后的点云数据转换为像素坐标,获得点云‒像素坐标点对;使用决策树回归、随机森林回归算法训练模型,将像素坐标转换到点云坐标,再根据激光雷达标定的结果将点云坐标转换为WGS84坐标,完成像素坐标到WGS84坐标的转换;最后通过实验验证了联合标定方案的有效性。由于激光雷达的路面点云是曲面,对路面点云分区后用平面拟合会导致一定的误差,后续可以考虑用曲面方程如二次曲面等对激光雷达路面点云进行拟合,减小拟合误差。
作者贡献声明
佘 锋:构建整体思路,完成实验,撰写并修改论文。 杨贵永:提出选题,设计测试思路,参与论文修改。 刘建虎:实验实施,参与论文修改。 王 平:参与实验实施,论文修改。
参考文献
HEIDARSSON H K, SUKHATME G S. Active online calibration of multiple sensors for autonomous surface vessels[M]. Berlin: Springer International Publishing, 2016. [百度学术]
RODRIGUEZ-GARAVITO C H, PONZ A, GARCIA F, et al. Automatic laser and camera extrinsic calibration for data fusion using road plane[C]// 17th International Conference on Information Fusion. Piscataway: IEEE, 2014:1-6. [百度学术]
ZHANG Q, PLESS R. Extrinsic calibration of a camera and laser range finder (improves camera calibration) [C]// 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2004:2301-2306. [百度学术]
VASCONCELOS F, BARRETO J P, NUNES U. A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder[J]. IEEE Transactions on Software Engineering, 2012, 34(11): 2097. [百度学术]
SANG U P, CHUNG M J. Extrinsic calibration between a 3D laser scanner and a camera using PCA method[C]// International Conference on Ubiquitous Robots & Ambient Intelligence. Piscataway: IEEE, 2013:527-528. [百度学术]
项志宇, 郑路. 摄像机与3D激光雷达联合标定的新方法[J]. 浙江大学学报(工学版), 2009, 43(8): 5. [百度学术]
XIANG Zhiyu, ZHENG Lu. A new method for joint calibration of camera and 3D lidar[J]. Journal of Zhejiang University (Engineering Edition),2009,43(8):5. [百度学术]
PARK Y, YUN S, WON C, et al. Calibration between color camera and 3D LIDAR instruments with a polygonal planar board[J]. Sensors, 2014, 14(3):5333. [百度学术]
陈凯阳,李航,彭程,等.一种三维激光雷达与双目相机的联合标定方法[J].软件导刊,2021,20(12):152. [百度学术]
CHEN Kaiyang, LI Hang, PENG Cheng, et al. A joint calibration method of 3D LiDAR and binocular camera[J]. Software Guide,2021,20(12):152. [百度学术]
ZHOU L, LI Z, KAESS M. Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences[C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2018:5563-5569. [百度学术]
DHALL A, CHELANI K, RADHAKRISHNAN V, et al. LiDAR-camera calibration using 3D-3D point correspondences[J]. arXiv preprint arXiv:1705.09785, 2017. [百度学术]
许小徐, 黄影平, 胡兴. 智能汽车激光雷达和相机数据融合系统标定[J]. 光学仪器, 2019, 41(6):8. [百度学术]
XU Xiaoxu, HUANG Yingping, HU Xing. Calibration of LIDAR and camera data fusion system for smart vehicles[J]. Optical Instruments, 2019, 41(6):8. [百度学术]
PEREIRA M, SILVA D, SANTOS V, et al. Self calibration of multiple LIDARs and cameras on autonomous vehicles[J]. Robotics and Autonomous Systems, 2016, 83: 326. [百度学术]
王鑫,李伟,梁炜,等.单目相机‒IMU‒机械臂的空间联合标定方法[J].仪器仪表学报,2021,42:221. [百度学术]
WANG Xin, LI Wei, LIANG Wei, et al. Spatial joint calibration method of monocular camera-IMU-mechanical arm[J]. Journal of Instrumentation, 2021, 42:221. [百度学术]
薛艺舟. 面向自动驾驶的激光雷达与相机联合标定方法研究[D]. 北京:北京建筑大学,2021. [百度学术]
XUE Yizhou. Research on the joint calibration method of LiDAR and camera for automatic driving [D]. Beijing: Beijing Architecture University, 2021. [百度学术]
DEBATTISTI S, MAZZEI L, PANCIROLI M. Automated extrinsic laser and camera inter-calibration using triangular targets[C]// Intelligent Vehicles Symposium (IV). Piscataway: IEEE, 2013. DOI: 10.1109/IVS.2013.6629548. [百度学术]
VASCONCELOS F, BARRETO J P, NUNES U. A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder[J]. IEEE Transactions on Software Engineering, 2012, 34(11): 2097. [百度学术]
PEREIRA M, SILVA D, SANTOS V, et al. Self calibration of multiple LIDARs and cameras on autonomous vehicles[J]. Robotics and Autonomous Systems, 2016, 83: 326. [百度学术]
PUSZTAI Z, HAJDER L. Accurate calibration of LiDAR-camera systems using ordinary boxes[C]// IEEE International Conference on Computer Vision Workshop. Piscataway: IEEE, 2018: 394-402. [百度学术]
黄强,潘常春,裴凌,等.基于可重构标定板的激光与视觉联合标定方法[J].导航定位与授时,2021,8(3):27. [百度学术]
HUANG Qiang, PAN Changchun, PEI Ling, et al. Joint laser and vision calibration method based on reconfigurable calibration plate[J]. Navigation, Positioning and Timing,2021,8(3):27. [百度学术]
LEPETIT V, MORENO-NOGUER F, FUA P. EPnP: an accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81: 155. [百度学术]
ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations[C]// Seventh IEEE International Conference on Computer Vision. Piscataway: IEEE, 1999: 666-673. [百度学术]