摘要
针对轨道施工车辆自主定位需求,提出一种基于车载前视相机拍摄百米标视频的轨道车辆自主定位方法。该方法首先对YOLOX-s网络进行改进并构建了百米标的目标检测模型,完成对百米标的目标检测;其次,当检测到百米标后,结合图像预处理和卷积循环神经网络(CRNN)网络构建百米标数字文本识别模型,提取百米标的数字文本信息,从而实现对轨道施工车辆的定位。经实验验证该方法能够快速准确定位轨道施工车辆的位置信息。
车辆定位技术作为列车运行控制系统中的一项关键技术,为高速铁路列车运行控制系统实时提供可靠的速度和位置信息,其定位精度将影响列车运行效率、安全性和服务质量。将车辆定位技术用于高速铁路施工车辆定位,现有轨道车辆定位方式,主要是以“车载+轨旁”测量方式来实现“误差累积+复位”。该定位模式强依赖于轨旁设备和信号系统,不仅存在轨道交通线路建设难度大,维修成本高等问题,而且列车长期运行会出现因轨旁设备或信号系统故障,导致传输过程中列车定位失效,从而影响轨道交通的运营秩序。此外,地铁的运行环境多为地下长隧道,因此全球导航卫星系统(global navigation satellite system,GNSS)等精准定位方法不具有适用性。现行轨道车辆定位方法主要有轨道电路定位方法、查询应答器/信标定位方法、无线扩频定位方法、全球卫星导航定位和地图匹配方法,但这些方案依赖信号系统传输数据,易受干扰和控制,且无法避免特殊环境如大量长隧道运行环境下卫星信号较差的局限性。随着下一代高速铁路列控系统中的列车测速定位系统精确性、实时性,可靠性等应用需求越来越高,“车载中心化”的列车自主定位方式已成为新的研究发展方向。
基于视觉的前方目标定位测速测距方法因具有远量程、非接触和高精度等特点,很多学者致力于使用单幅图像来实现车辆路径的保持和跟踪,车辆导航和定位等。轨道交通的视觉定位研究主要有基于人工标志的定
为适应全自动运行列车技术的发展和推广,并能够满足负责调车作业和抢险救援等的轨道工程车的自主定位需求,本研究提出一种基于列车前视相机拍摄百米标视频的轨道车辆自主定位方法。百米标是设置在轨道线路旁的一类标识,表示正线每百米距离该线路起点的长度。因此,利用视频识别到轨旁百米标数字编号即可确定百米标的位置信息,从而实现对线路运行列车定位。该方法分别构建了百米标目标检测模型和百米标数字文本识别模型。首先针对轨道交通环境复杂、轨旁标识多样、百米标成像小和定位性能要求,使用单阶段类型的YOLOX目标检测算法并进行改进,实现复杂环境下的百米标检测;其次,在检测到百米标之后,为解决百米标文本倾斜模糊、光线不均等问题,提出一种结合图像预处理的改进卷积循环神经网络(convolutional recurrent neural network,CRNN)百米标文本识别算法,实现对百米标的线路位置信息提取,从而完成对轨道车辆的定位。最后通过实验验证了算法的有效性和环境适应性。
YOLO算法是由旷视科技于2021年提出的新一代YOLO系列目标检测算法。YOLOX网络在提升检测速度的同时兼具相当的检测精度,正被广泛应用于各个领域对的目标检测任务中。YOLOX网络主要由4个模块构成,分别是输入模块Inputs、网络主干模块Backbone、特征增强模块Neck以及预测模块Prediction。
针对前文所述的百米标检测存在的问题,本研究选取综合性能最好的YOLOX-s网络进行改进并构建百米标目标检测模型,来完成百米标检测的任务。在进一步提高识别准确率的同时,保持原模型的轻量化和检测速度。首先在Mixup和Mosaic图像增强的基础上继续增加随机改变亮度、对比度、旋转以及加入高斯噪声等方式完成数据增强,以适应轨道交通光线变化范围广的复杂环境。然后,改进原YOLOX-s网络结构以提升检测速率和精度,具体方法为:基于原YOLOX-s框架,在主干网络CSPDarknet的CSPLayer结构中引入注意力机制(efficient channel attention,ECA),增强重要特征;引入自适应空间特征融合(adaptive spatial feature fusion,ASFF),使得提取后的三个特征层自适应地学习各尺度特征,增强特征融合效果;最后对损失函数进行优化,以提高模型精度和加快收敛速度。
注意力机制的原理可简单地描述成通过某些网络来学习特征权重,得出各特征图重要程度,以及基于上述计算的重要程度,给各特征图赋予权重值。以便于让神经网络把注意力集中在重要的特征图上,通过增强重要特征向量且削弱不重要特征向量来优化模
(1)首先输入特征图x,维度是;
(2)对输入特征图进行空间特征压缩,使用全局平均池化(global average pooling,GAP)方法,得到的特征图;
(3)对压缩后的特征图进行通道特征学习;采用自适应内核尺寸(设卷积核大小为k)的一维卷积方式实现局部跨通道的信息交互,通过Sigmoid激活函数,此时输出的维度还是;
卷积和自适应函数定义如下:
(1) |
式中: 表示距离t最近的奇数;和是线性参数,分别取值为2和1。
(4)完成通道注意力结合,将通道注意力的特征图、原始输入特征图进行逐通道乘,最终输出具有通道注意力的特征图,维度是。
特征金字塔网络(feature pyramid network,FPN) 结构会导致检测结果受不同层的特征影响,如果目标在某一层中被判断为正类后,其他层会将其判断为负类。然而当特征融合时,判别为负类的无用信息可能也会被融合,从而产生大量冗余信息。因此本研究在路径聚合特征金字塔网络(path aggregation feature pyramid network,PAFPN)尾部添加自适应空间特征融合ASFF机
将PAFPN中的三个不同尺度的特征图通过ASFF机制,学习融合权重,理解不同特征尺度在预测特征图中的贡献程度,最后融合成对应尺度的三个特征图。以ASFF3为例,经过PAFPN得到的三个不同尺度的特征层Level 1~3,通过分别与权重参数相乘,然后相加,就得到了ASFF3,上述过程可描述如下:
(2) |
式中:为通过ASFF特征融合得到的新特征图;分别为第1、2、3层到第层特征层的特征向量;分别为三个不同特征层的权重参数。
由于求和公式要求各层特征维度保持一致,因此还需要通过下采样且调整通道数的方式对各层特征进行降维。对于权重参数,经过拼接之后通过softmax函数使其范围都在[0,1]内,并且和为1,上述过程可由式(3)来描述(表示与网络的第层相关的一个超参数,用于调整softmax函数中指数的尺度):
(3) |
YOLOX-s网络会生成大量检测帧,大多数的检测帧都是负样本。损失函数中负样本数量过多会导致正样本权重较小,从而对网络最终训练效果造成影响。对此,本研究对于损失函数的改进方法如下:
(1)对象置信度损失函数改进
对象损失函数利用置信度来判断边界框内的目标是否为正负样本,若超过置信度阈值,则判定为正样本,若小于置信度阈值,则判定为负样本(即背景)。由于百米标检测场景下,被检测目标较小,会存在大量负样本,若使用二元交叉熵损失函数对目标置信度进行回归,很难克服YOLOX-s因负样本过多而导致权重不平衡的问题。因此,本研究试图对YOLOX-s算法中的置信度损失函数进行改进,把函数改进为函数,该损失函数能够降低负样本所占权重,以确保网络训练过程更加专注于正样本。损失函数公式如下:
(4) |
式中:平衡参数,用于解决正负样本数量不均的问题,将其设置为0.35;为预测目标的置信度;是调制因子,将其设置为2。
关于对象类型的确定,仍沿用 计算方法。计算公式如下:
(5) |
(2)边界框回归损失函数改进
YOLOX-s算法采用函数对检测目标边界框进行回归。是计算框(prediction box, P)和真实框(ground truth box, G)的交并比,用于衡量P和G之间的距离,的计算公式为
(6) |
如

图1 两种IoU交并比计算情况
Fig. 1 Calculation of two IoU cross-combination ratios
而除函数外,常用的还有、、等损失函数。
,首先计算P与G的最小封闭区域面积,然后再采用 减去封闭区域中不含两个框的区域在封闭区域中的占比,损失函数计算公式为
(7) |
清楚反映出两框的重合程度。但也存在问题:当P完全包含G时G在P内的分布位置不同或者当P完全被包含G时,P在G内的分布位置不同,仍然相同,此时也无法反映出各自回归效果。
,通过约束这个最小封闭区域面积和预测框、真实框中心点的位置,让网络学习移动P向G靠近。但还存在一种问题:没有考虑P与G的长宽比。损失函数公式为:
(8) |
式中:表示预测框与目标框中心点之间的欧几里得距离;为能同时包含预测框和真实框的最小矩形对角线长度;代表了预测框和真实框的中心点。
因此,本研究在基础上把长宽比考虑进来,得到,即同时考虑了覆盖面积、中心点距离和长宽比三种情形。计算公式为
(9) |
式中:为P与G长宽比(为框长,为框宽)的距离,计算公式为
(10) |
是一个权重系数,计算公式为
(11) |
计算损失函数的公式为
(12) |
理论上说,效果最好,因此,本研究将原YOLOX-s算法边界框回归损失函数使用的函数改为函数。
轨道交通线路上有设置指示线路状态和位置的线路标识,包括公里标、百米标、曲线标、坡度标等;也有设置指示司机完成相关作业的信号标识,包括警冲标、站界标、驾驶员鸣笛标、停车位置标等,这些线路标志的外形十分相似。因此,为防止百米标误检、漏检,需要把其他标识考虑在目标检测范围内。鉴于已有公开数据集并没有可以有效囊括轨道工况的数据,无法满足轨道环境检测应用需求。为适应本研究的百米标检测需要,采集某线路上列车前视相机拍摄的各类天气全天候运行视频,截取视频中高架、隧道、阴天、夜间等场景的视频帧制成图像数据集。
(1)图像数据增强
由于人工采集数据工作量大,并且数量仍然不充分。对此首先增加了大量基于实测轨道为背景的正、负样本数据;并且通过图像增强方法对数据集进行扩充,包括图像翻转、旋转、裁剪、缩放、颜色变换等,使用扩充后的数据集训练模型能够增强模型的鲁棒性和泛化能力。
(2)图像数据标注
本研究使用labeLImg工具标注出被探测目标所属类别和目标区域,标签设为5类常见标识:hundred、speedlimit、stationname、curve、warning,分别代表百米标、限速标、站牌、曲线标、警冲标。最后按照8:1:1的比例将数据集划分为训练集、测试集和验证集。
本研究将图像尺寸统一为640*640,Epoch迭代次数设置为1 000,batch_size设置为118,初始学习率为0.01,选择余弦退火衰减(Cosine annealing scheduler)动态学习策略,最低学习率为0.000 1,IoU阈值设置为0.5。训练过程中Loss损失如

图2 YOLOX-s训练过程Loss曲线
Fig. 2 Loss curves of YOLOX-s training process

图3 改进YOLOX-s训练过程Loss曲线
Fig. 3 Loss curves of improvement of YOLOX-s training process
检测到图像中含有百米标后,继续对百米标进行文本识别,以提取百米标的线路位置信息。文本识别的算法主要分为传统光学字符识别(optical character recognition,OCR)方法和基于深度学习OCR算法两种。传统OCR处理流程包括图像预处理、基于连通域的文本行检测、字符分割并提取特征、基于分类器的单字符识别和后处理输出5个步骤。在背景简单的前提下能够精准识别文本序列,但在复杂环境下文本识别效果较差。
本研究需要识别的百米标数字序列存在运动模糊、噪声点多、目标小和文本倾斜等问题,因此本研究选择实际应用中效果更好的基于深度学习的OCR算法。其中,CRNN+CTC(connectionist temporal classification,连接主义时序分类)识别算法具有可以识别任意长度的文本,识别速度快,准确率高的优点,广泛应用于各个领域的识别任务中。因此本研究针对轨道交通特殊环境,使用图像预处理+改进CRNN+CTC方法,来完成百米标的文本识别任务,提取百米标的位置信息。首先针对百米标进行图像预处理,便于提高后续CRNN网络识别速率和准确率;然后使用CRNN+CTC文本识别方法对百米标文本进行识别,提取出百米标的线路位置信息。
由于图像检测到的百米标文本序列存在运动模糊、目标小和文本倾斜等问题。因此,在使用CRNN网络进行文本识别之前,先对带有噪声的百米标图像进行处理。文本预处理流程如

图4 文本图像预处理流程
Fig. 4 Preprocessing process of text image
本研究选择的文本识别CRNN网络依次使用了CNN结构和RNN结构。

图5 CRNN网络结构
Fig. 5 Structure of CRNN network
原CRNN算法的特征提取的主干网络为VGG16网络,会存在梯度消失以及多层卷积之后信息丢失严重的问题,因此,本研究在VGG16网络的第3层和第4层加入如

图6 残差单元结构
Fig. 6 Structure of residual cell
残差学习模块有两种形式:两层结构称为BasicBlock(
此种残差单元结构将学习的内容由变为的残差,由于残差的值是接近0的,故模型学习比VGG每层堆叠更加高效,并且能解决训练集随着网络深度的增加误差反而增大的退化问题。
ResNet中任意一层的计算公式为
(13) |
式中:为层的特征信息;为比层浅一层的特征信息;为残差函数。
百米标文本图像的预处理流程及对应的效果如

图7 百米标文本图像预处理流程
Fig. 7 Preprocessing process of 100-metre sign text image
可以看到,此时的百米标不再倾斜,文本更加清晰,极大地降低了后续文本识别算法的计算量。在依次进行了图像裁剪、灰度化、二值化、倾斜检测与校正、图像平滑与图像规范化之后,生成的标准百米标图像作为后续CRNN网络的输入。
本研究参照ICDAR2015文本识别数据集格式,制作百米标文本识别数据集。标注文件如

图8 图像文本标注示例
Fig. 8 Annotation example of image text
其中,表示的是按顺时针方向标注文本位置的4个顶点坐标,“”代表文本内容。
由于数字文本数量较少,可适当降低模型训练迭代次数,节省训练时间和消耗。本研究将模型参数batch_size设置为32,学习率设置为0.001,权重衰减系数为0.001,epoch设置为300。CRNN网络训练的Loss损失过程如

图9 文本识别网络训练过程的Loss曲线
Fig. 9 Loss curves of text recognition network training process
在PC机中基于Pytorch完成百米标线路位置信息提取所需的模型训练和测试,该框架可通过GPU加速优化,结构清晰,并且可移植性强,可以在嵌入式设备上使用。PC机具体配置见
硬件配置 | 软件配置 | ||
---|---|---|---|
操作系统 | 64位WIN11 | CUDA | CUDA 11.0;CUDNN 8.0.4 |
处理器 | 2.4 GHz Intel Core i5-11350 | 框架 | Pytorch 1.7.1 |
显卡 | NVIDIA GeForce RTX 3060 | 编程环境 | Python 3.7 |
内存 | 16 GB | 软件 | VS Code |
本研究在相同的实验环境下以同样的方式进行训练,对改进YOLOX-s算法和原始YOLOX-s算法的百米标检测效果进行对比。结果如
算法 | AP /% | mAP/% | FPS/(帧· | |||||
---|---|---|---|---|---|---|---|---|
百米标 | 曲线标 | 坡度标 | 站名标 | 警冲标 | 限速标 | |||
YOLOX⁃s | 98.21 | 80.00 | 98.95 | 99.98 | 97.75 | 93.61 | 94.24 | 51 |
改进YOLOX⁃s | 99.12 | 79.73 | 99.01 | 99.98 | 97.99 | 96.75 | 96.60 | 52 |

图10 改进YOLOX-s算法百米标检测效果
Fig. 10 Improvement of YOLOX-s algorithm for detecting 100-metre markers
本研究设置检测百米标是否有效的AP判断阈值为80 %,当被检测百米标AP值大于等于80 %,则判断该目标为有效目标,送入文本识别模型中。
本研究在相同的实验环境下以相同的训练方式进行训练,对CRNN算法和改进CRNN算法的百米标文本识别效果进行对比。结果如
算法 | PR/% | RR/% | F1值 | 测试时间/s |
---|---|---|---|---|
CRNN(VGG) | 93.24 | 93.20 | 0.932 | 12.5 |
改进CRNN(ResNet) | 96.76 | 96.68 | 0.966 | 12.3 |
CRNN文本识别网络的输出结果由6种元素组成,其输出格式为:。其中,前4个元素为文本框的顶点坐标信息,为分类结果,为文本框置信度分数。

图11 改进CRNN文本识别结果
Fig. 11 Text recognition results of improved CRNN
本研究提出了一种适用于轨道交通复杂环境的基于百米标视频的轨道施工车辆自主定位方法。介绍以下流程:首先分析轨道交通复杂的轨旁环境特点和百米标成像特点;然后,针对轨道复杂环境、小目标检测和定位性能要求,选择YOLOX-s网络做改进并构建百米标目标检测算法,完成百米标的目标检测;若检测出图像含有百米标,则针对百米标文本倾斜模糊、光线不均等特点,结合图像预处理方法和改进CRNN算法构建百米标数字文本识别模型,实现对百米标的文本识别,输出百米标的线路位置信息,从而实现对轨道车辆的定位。实验结果表明该方法能够快速准确定位轨道施工车辆的位置信息。
作者贡献声明
沈 拓:建模,初稿撰写。
谢远翔:数据分析,修订论文。
盛 峰:方法思路,需求分析。
谢兰欣:数据搜集。
张 颖:算法测试。
安雪晖:框架建议。
曾小清:技术应用分析。
参考文献
曹海燕, 张大维. 基于机器学习算法的交通标志图像智能识别[J]. 微型电脑应用, 2021,37(1):19. [百度学术]
CAO Haiyan, ZHANG Dawei. Intelligent recognition of traffic sign images based on machine learning algorithm[J]. Microcomputer Applications, 2021,37(1):19. [百度学术]
WELZEL A, REISDORF P, WANIELIK G. Improving urban vehicle localization with traffic sign recognition[C]//2015 IEEE 18th International Conference on Intelligent Transportation Systems. [S.l.]:IEEE, 2015: 2728-2732. [百度学术]
张善彬. 基于标准路牌的单目视觉车辆自定位[D]. 青岛:山东大学, 2020. [百度学术]
ZHANG Shanbin. Monocular vision vehicle self-localisation based on standard road signs [D]. Qiaodao:Shandong University, 2020. [百度学术]
郭保青. 基于图像特征的列车自主定位方法研究[D]. 北京:北京交通大学, 2008. [百度学术]
GUO Baoqing. Research on autonomous train positioning method based on image features [D]. Beijing:Beijing Jiaotong University, 2008. [百度学术]
曹蜜, 胡凌燕, 熊彭文, 等. 基于PROSAC算法与ORB-SLAM2的RGB-D相机室内视觉定位研究[J]. 传感技术学报, 2019,32(11):1706. [百度学术]
CAO Mi, HU Lingyan, XIONG Pengwen, et al. Research on indoor visual localisation of RGB-D camera based on PROSAC algorithm and ORB-SLAM2[J]. Journal of Sensing Technology, 2019,32(11):1706. [百度学术]
谢家浩, 刘延飞, 姚二亮. 基于视觉SLAM的拾取目标定位方法研究[J]. 电子设计工程, 2019,27(23):189. [百度学术]
XIE Jiahao, LIU Yanfei, YAO Erliang. Research on pickup target localisation method based on visual SLAM[J]. Electronic Design Engineering, 2019,27(23):189. [百度学术]
POLLEFEYS M, GOOL L V, VERGAUWEN M, et al. Visual modeling with a hand-held camera[J]. International Journal of Computer Vision, 2004,59(3):207. [百度学术]
HAN G, LI T, LI Q, et al. Improved Algorithm for insulator and its defect detection based on YOLOX[J]. Sensors, 2022,22(16):6186. [百度学术]
HU J, QIAO P, LV H, et al. High speed railway fastener defect detection by using improved YoLoX-Nano model[J]. Sensors, 2022,22(21):8399. [百度学术]