摘要
针对轨道交通全自动无人驾驶列车轨道障碍物检测领域中的轨道区域分割问题,提出一种基于视觉传感器的非接触式轨道区域检测算法。算法使用帧间差分阈值和灰度分布特征提取方法完成对视频图像数据的场景识别和标记;基于图像场景识别结果能够自适应调整参数输入的自适应边缘检测模块完成对图像的预处理和轨道轮廓的边缘检测;基于类滑动窗格的轨道区域边界搜寻模块构建滑动窗格搜索子模块和通带搜索子模块完成对轨道轮廓曲线的提取,最后使用卡尔曼滤波器提升检测结果的准确性和鲁棒性。实验结果表明该算法具备良好的检测性能。
轨道交通领域全自动无人驾驶成为新的发展趋势,截至2022年底我国城市轨道交通运营线路总长10 287 km,包含15座城市的30条全自动无人驾驶线路,运营总里程达716 km,总体呈明显的上升趋势。全自动无人驾驶列车运行控制系统集成了列车自动运行系统(ATO)、列车自动防护系统(ATP)等功能,具有先进的移动授权管
现有轨道障碍物检测方法根据检测原理的不同可分为接触式检测和非接触式检测两大类。接触式障碍物检测,如使用检测车在轨道上移动,当发生碰撞时,则表示该处存在障碍物,此方法原理简单,但检测成本高,检测效率低。非接触式轨道障碍物检测方法使用视觉传感器、激光雷
轨道区域分割经常作为轨道障碍物检测的预处理步骤,通过算法定位出警戒区、预警区和安全
基于类滑动窗格的轨道区域检测算法流程如

图1 基于类滑动窗格的轨道区域检测算法流程
Fig. 1 Process of track boundary detection algorithm based on sliding pane-like approach
在进行图像处理之前,对列车运行场景进行粗分类,可以方便算法参数的设置和调整,让算法在进行图像处理时更有针对性。场景识别具体是指对列车运行场景进行划分,使用灰度直方分布特征识别列车的运行场景。
基于图像灰度直方分布特征的场景划分策略为
(1) |
(2) |
式中:为灰度值大于等于阈值的像素点数目;为像素点总数;为图像的场景类别标记;为场景划分分段阈值。经过实验验证,设置,,将场景划分为0、1两类时,即可实现场景划分的目的,同时还能保证算法性能。
根据图像场景识别结果,首先进行图像预处理,具体包括图像灰度化、透视变换和感兴趣区域标定等步骤。对经过预处理后的图像进行自适应边缘检测,以得到含有轨道轮廓曲线特征的二值化图像。
灰度化是指将RGB通道的彩色图像转化为单通道的灰度图像,其转化公式为
(3) |
式中:为单通道灰度值为红色通道灰度值为绿色通道灰度值为蓝色通道灰度值。透视变换的本质是将图像投影到一个新的视平面,其通用变换公式为
(4) |
(5) |
式中:为原始图像像素点的齐次坐标;为经透视变换之后的图像像素点的齐次坐标。
使用X方向的Sobel算子对经过预处理后的灰度图像进行边缘检测,期望提取出纵向的轨道轮廓特征。在此过程中,可通过添加灰度梯度阈值,剔除部分明显不是轨道轮廓的干扰像素点,实现对轨道轮廓像素点的粗筛。选择3×3大小的卷积核与灰度图进行卷积运算,并对图像中的每个像素点得到的卷积结果取绝对值,即得到像素点所在位置的灰度梯度,在得到每个像素点所在位置的灰度梯度后,根据场景识别结果,自适应地选择相应的灰度阈值集合,对该像素点进行二值化处理,最终得到边缘检测二值化图像序列。
如

图2 像素点边缘检测二值化处理示意
Fig. 2 Pixel dot binarization process
多次重复实验表明,场景0灰度梯度阈值组设置为,场景1灰度梯度阈值组设置为时,可以得到较好的关于轨道轮廓特征的边缘检测效果。
原始图像经自适应边缘检测后,得到的二值化图像还存在一些轨道附近设施设备边界的干扰像素点。设计基于类滑动窗格的轨道区域边界搜寻模块,筛选轨道轮廓候选像素点,以此滤除轨道附近的干扰像素点。基于类滑动窗格的轨道区域边界搜寻模块在算法的具体实现上分为基于当前帧的滑动窗格搜索和基于历史帧的通带搜索2个子模块,2种搜索算法旨在搜索边缘检测二值化图像中的轨道轮廓像素点,并基于搜索到的坐标序列通过最小二乘法拟合二次曲线得到最终的轨道曲线。
基于当前帧的滑动窗格搜索子模块也是轨道线提取的初始化过程,当算法未接收到轨道线提取的历史帧数据或当历史帧轨道线提取返回失败时,算法即调用滑动窗格搜索子模块。
基于当前帧的滑动窗格搜索子模块算法步骤如下:① 人工标定图像下边界处的轨道轮廓中轴线像素点坐标作为轨道的生长基点,同时标定图像平行轨道间距。② 基于标定的轨道下边界生长基点,确定初始滑动窗格位置,具体方式是将基点坐标作为滑动窗格下边缘的中点坐标,并设置滑动窗格的宽度为,高度为。③ 根据步骤②确定的初始滑动窗格位置坐标,搜索矩形框内的白像素点(灰度值为255),并将这些白像素点的图像坐标记录到轨道轮廓候选坐标集合中,同时统计窗格内的白像素点数目。④ 预设窗格内白像素点数目判断阈值,比较与以确定滑动窗格向图像上边缘生长方法。当时,计算窗格内所有白像素点横坐标平均值,作为下一个滑动窗格下边框中点横坐标,而当窗格内白像素点数目过少()时,不足以用来表示轨道的轮廓特征,则仍以当前窗格的下边框横坐标作为下一个滑动窗格的下边框中点横坐标,滑动窗格每向上生长一次,生长出的新滑动窗格下边框与生长前滑动窗格上边框的纵坐标相同。⑤ 迭代,滑动窗格向上生长后,重复步骤③和④,直至矩形滑动窗格上边框到达图像上边界处,迭代结束。⑥ 采用最小二乘法对轨道边界候选坐标序列拟合二次曲线,并得到关键参数。由于轨道在较短距离(相机拍摄有效距离<200 m)内不会出现驻点,因此采用二次曲线拟合轨道线既符合实际,同时又能提高算法效率。
多次重复实验表明,设置、、时,检测效果最好。

图3 滑动窗格搜索子模块轨道轮廓像素点搜索示意
Fig. 3 Schematic of sliding pane track outline pixel point search
基于历史帧的通带搜索子模块作为基于当前帧的类滑动窗格搜索子模块的补充,既能保证轨道轮廓候选像素点筛选效果,同时又能在一定程度上提升算法检测效率。相机在极短时间内拍摄到的相邻帧图像中的轨道线坐标不会发生突变,基于此,可在上一帧检测的轨道线临近区域搜索当前帧的轨道轮廓像素点。当算法接收到轨道线提取的历史帧数据时,算法即调用通带搜索子模块。
基于历史帧的通带搜索子模块算法步骤如下:① 输入上一帧轨道线拟合结果参数,并在当前帧图像中确定上一帧拟合轨道线所在位置。② 以上一帧拟合的轨道线结果,分别向图像左侧和右侧平移固定距离,形成一条以上一帧拟合轨道线为中轴线的等宽通带,通带宽度为,本研究设置;③ 搜索通带在边缘检测二值化图像中所覆盖的白像素点并记录坐标生成候选坐标集合。④ 使用最小二乘法对坐标集合拟合二次曲线,得到关于当前帧的轨道轮廓曲线参数。

图4 通带搜索子模块轨道轮廓像素点搜索示意
Fig. 4 Schematic of passband track outline pixel point search
得到逐帧的轨道轮廓曲线参数后,给算法装载滤波模块,用以降低连续视频帧轨道线提取的波动,提高轨道轮廓曲线提取的稳定性和可靠性。先后使用中值滤波器、递推平均滤波器、一阶滞后滤波器和卡尔曼滤波器等方法对轨道轮廓曲线进行滤波平滑处理,实验结果显示卡尔曼滤波器综合效果最优。
卡尔曼滤波器是一种最优化自回归数据处理方法,具有良好的实时性和准确性,其基本思想是利用前一时刻状态,根据状态空间模型,得到当前时刻估计值,并结合当前时刻观测值更新对当前状态的估计,从而得到满足最小均方差的当前状态
针对轨道曲线提取结果滤波所构建的卡尔曼滤波器相关参数如下。轨道曲线的系统动态空间描述为
(6) |
卡尔曼滤波状态更新方程为
(7) |
结合动态空间方程的轨道曲线预测结果为
(8) |
式中:为当前时刻预测量;为上一时刻状态量;为当前时刻状态量;为系统转移矩阵;为控制变量矩阵;为观测量;为状态量到观测量的转移矩阵;和分别为高斯白噪声;为卡尔曼增益,又称状态更新矩阵;为预测量的协方差;和分别为状态量和的协方差;和分别为系统预测噪声和测量噪声的协方差矩阵;为单位矩阵。卡尔曼滤波器的状态向量为轨道线拟合参数。

图5 轨道轮廓曲线提取卡尔曼滤波示意
Fig. 5 Schematic of Kalman filter for track outline curve extraction
为验证本文算法,在某地铁线路采集了一段列车在地面、高架和隧道运行过程中的视频数据,视频帧率为30 fps,分辨率为1 080 p,视频数据的有效帧数为20 270帧。浏览整段视频数据,列车所处的运行场景主要有光照较为充足的高架区间、光照缺乏的隧道区间以及存在明显光影变化的站台区间,视频数据中列车运行时所处的弯道和光照存在明显变化的节点等特殊场景是算法效果验证的重点关注区域。
算法运行的实验平台配置为:CPU Inter(R) Xeon(R) E-2224G, CPU主频3.50 GHz,内存7.6 GiB,GPU NVIDIA GeForce GTX 1030,使用的操作系统为Ubuntu18.04,编程语言为C++。
将整段视频数据输入算法进行处理,得到如图

图6 高架区域检测结果
Fig. 6 Results of elevated area detection

图7 隧道区域检测结果
Fig. 7 Results of tunnel area detection

图8 站台区域检测结果
Fig. 8 Results of platform area detection
数据属性 | 总帧数 | 区间数 | 场景0和1数量比例 | 跟踪丢失次数 | 丢失指数/% | 丢失重检帧数 | 检测异常帧数 | 准确检测帧数 | 平均检出率/% |
---|---|---|---|---|---|---|---|---|---|
隧道区间 | 7 300 | 22 | 7 100 ∶ 200 | 84 | 1.15 | 181 | 240 | 7 060 | 96.70 |
高架区间 | 4 010 | 9 | 70 ∶ 3 940 | 8 | 0.2 | 18 | 18 | 3 992 | 99.50 |
隧道站台 | 6 420 | 21 | 5 710 ∶ 710 | 66 | 1.03 | 320 | 461 | 5 959 | 92.80 |
高架站台 | 2 540 | 7 | 220 ∶ 2 320 | 13 | 0.51 | 45 | 66 | 2 474 | 97.40 |
对采集到的视频数据全程进行算法运行时耗分
析,其结果如

图9 算法运行时耗分析
Fig. 9 Analysis of algorithm runtime consumption
提出了一种面向全自动无人驾驶列车的基于视觉传感器的轨道区域检测算法,设计基于类滑动窗格的轨道区域边界搜寻模块搜索边缘检测二值化图像中的轨道轮廓像素点,完成对列车前方轨道区域的检测。主要结论如下:
(1)基于帧间差分阈值和灰度分布特征提取的场景识别算法,完成对视频图像数据的场景特征识别和标记;自适应边缘检测算法基于图像场景识别结果自适应调整参数输入,完成对图像的预处理和轨道轮廓的边缘检测。
(2)基于类滑动窗格的轨道区域检测算法,构建基于当前帧的滑动窗格搜索子模块和基于历史帧的通带搜索子模块搜索轨道轮廓像素点,完成对轨道轮廓曲线的提取;最后使用卡尔曼滤波器提升检测结果的准确性和鲁棒性,完成对列车前方轨道区域的检测。
(3)实验结果表明,算法在列车运行时所处的各种复杂场景和背景下,其轨道区域检出率均在90%以上,算法平均时耗为5.57 ms,实现了良好的轨道区域检测效果和检测性能。
实验表明算法能够准确、快速、稳定的跟踪检测运行列车前方的轨道区域,并且具有内存占用小、推理延迟短,轻量化的优点,对降低障碍物检测的虚警率,提高异物入侵检测的准确性,保障行车安全,提高列车运行效率具有一定的实际意义。
算法轨道区域检测准确性强依赖于光照条件,后续进一步研究可考虑使用多源传感器融合检测的方式,如使用红外图像与可见光图像融合、雷达点云数据与图像数据融合等方式以提升算法检测的环境适应性和准确性。
作者贡献声明
盛 峰:实验思路构建,初稿撰写。
沈 拓:算法思路构建。
谢远翔:算法设计与编程。
张 颖:实验验证。
曾小清:算法设计指导。
朱明昌:数据处理。
张轩雄:实验装置设计。
参考文献
SONG Haifeng, SHEN Tuo, WANG Weiyang. Train-centric communication-based close proximity driving train movement authority system[J]. IEEE Intelligent Transportation Systems Magazine, 2018, 10(3): 22. [百度学术]
沈拓, 钱沿佐, 谢兰欣, 等. 考虑反射强度的全自动运行列车障碍物检测算法研究[J]. 同济大学学报(自然科学版), 2022, 50(1): 6. [百度学术]
SHEN Tuo, QIAN Yanzuo, XIE Lanxin, et al. Obstacle detection algorithm of fully automatic train considering reflection intensity[J]. Journal of Tongji University (Natural Science), 2022, 50(1): 6. [百度学术]
SUAIF A, GANI F Q. Implementation of ultrasonic sensor as a radar for obstacle detection[J]. Andalas Journal of Electrical and Electronic Engineering Technology, 2021, 1(1): 12. [百度学术]
CHEN Y, ZHU N, WU Q, et al. MRSI: A multimodal proximity remote sensing data set for environment perception in rail transit[J]. International Journal of Intelligent Systems, 2022, 37(9): 5530. [百度学术]
黄希, 姚连璧, 杨璐璟. 基于移动激光扫描的轨道交通建筑限界一体化检测[J]. 测绘通报, 2023(3): 84. [百度学术]
HUANG Xi, YAO Lianbi, YANG Lujing. Integrated detection of rail transit building limit based on mobile laser scanning[J]. Surveying and Mapping Bulletin, 2023(3): 84. [百度学术]
郭保青, 马学志, 余祖俊, 等. 基于PTZ相机极向投影的铁路限界自动识别方法[J]. 铁道学报, 2018, 40(11): 62. [百度学术]
GUO Baoqing, MA Xuezhi, YU Zujun, et al. Automatic railway clearance recognition method based on polar projection of PTZ camera[J]. Journal of Railway, 2018, 40(11): 62. [百度学术]
HE Zhengwei, TANG Peng, JIN Weidong, et al. Deep semantic segmentation neural networks of railway scene[C]//2018 37th Chinese Control Conference (CCC). Wuhan: IEEE, 2018: 9095-9100. [百度学术]
LI Xingxin, Zhu Liqiang, YU Zujun, et al. Vanishing point detection and rail segmentation based on deep multi-task learning[J]. IEEE Access, 2020, 8: 163015. [百度学术]
WANG Yang, ZHU Liqiang, YU Zujun, et al. An adaptive track segmentation algorithm for a railway intrusion detection system[J]. Sensors, 2019, 19(11): 2594. [百度学术]
YE Tao, ZHANG Xi, ZHANG Yi, et al. Railway traffic object detection using differential feature fusion convolution neural network[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(3): 1375. [百度学术]
张林, 沈拓, 张轩雄. 城市轨道交通小型障碍物检测[J]. 上海理工大学学报, 2021, 43(5): 468. [百度学术]
ZHANG Lin, SHEN Tuo, ZHANG Xuanxiong. Detection of small obstacles in urban rail transit[J]. Journal of University of Shanghai for Science and Technology, 2021, 43(5): 468. [百度学术]
GONG Xiao, CHEN Xi, ZHONG Zhangdui, et al. Enhanced few-shot learning for intrusion detection in railway video surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8): 11301. [百度学术]
王洋. 高速铁路场景分割与识别算法研究[D]. 北京:北京交通大学, 2019. [百度学术]
WANG Yang. Research on segmentation and recognition algorithm for high-speed railway[D]. Beijing: Beijing Jiaotong University, 2019. [百度学术]
尹爱军, 朱文浩, 戴宗贤, 等.模糊推理和深度学习数模融合的卡尔曼滤波腐蚀预测[J]. 电子测量与仪器学报, 2023, 37(4): 27. [百度学术]
YIN Aijun, ZHU Wenhao, DAI Zongxian, et al. Kalman filter corrosion prediction based on data and physical model fusiondriven using fuzzy reasoning and deep learning[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(4): 27. [百度学术]