基于建筑信息模型数据驱动的铁路设备运维多模态知识图谱构建

摘要

铁路信号设备是保障行车安全、提高运输效率的核心装备，加强信号设备智能运维是降低铁路运行风险的必要基础保障。目前，针对我国基于建筑信息模型（BIM）的智能运维平台存在不能精准映射各设备的行为规律和相互之间互馈作用的机理，须同时依靠经验知识进行推断等问题。首先构建了铁路设备运维文本知识图谱；其次构建卷积神经网络（CNN） ‒ 团组图卷积神经网络（cgGCN）模型对BIM图像模态数据进行处理，完成对20种铁路信号设备零件图信息的标注，实验结果表明模型准确率达到95.38 %，精确率和召回率的调和平均值F1达到95.58 %；最后将BIM图像信息以视觉模态嵌入运维文本知识图谱，利用Neo4j图数据库实现多模态知识图谱可视化展示，从而精准映射各信号设备相互之间互馈作用的机理，为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。

关键词

铁路信号设备; 建筑信息模型（BIM）; 运维; 多模态; 知识图谱

随着我国高速铁路网的快速发展^［1］，高速铁路运营现状呈大运量、高速度、高密度等特点。铁路信号设备作为高速铁路安全可靠运营的核心设备，具有结构复杂、各设备内部构件之间的关联性强等特点，传统以现场人员密集型作业为主的运维模式逐渐难以适应现有复杂运维场景下的故障高效分析与处理。近年来，建筑信息模型（building information model，BIM）在铁路行业得到了广泛应用。在运维管理阶段，BIM主要用于支持运维工作流程的自动化，如铁路四电BIM工程设备管理系统构建了朔黄铁路全生命周期管理的基础设施智能运维技术体系^［2］，有效增强了运维信息交互和模数共享能力。尽管BIM为信号设备运维信息管理提供了媒介和技术，通过建模获得的表征数据可反映设备实体之间的结构特征，但不能精准映射其行为规律和相互之间互馈作用的机理，尤其是当获得的表征数据不够完备、不够精细、不够准确、不够及时的时候，须同时依靠模型知识进行推断^［3］。因此，如何将BIM可视化三维图像数据和专家经验知识及运维文本数据有机集成融合，实现数据的多维呈现，对提高铁路信号设备运营维护效率具有十分重要的意义。

知识图谱（knowledge graph，KG）作为表示结构化知识的描述框架，能够以简洁的形式表达描述性数据和实例数据。目前已被广泛应用于电力^［4］、航空^［5］、医疗^［6］、金融^［7］等各大领域。在铁路领域，文献［8-9］以铁路信号设备相关文本数据为研究对象，研究相关知识抽取、知识融合技术，为基于知识图谱的各类应用提供数据支撑，但并未将这些知识进行高效的组织管理以服务于高速铁路故障诊断、智能运维等下游应用。文献［10］构建面向列控车载设备的故障知识图谱，为车载设备故障智能维护提供支持。文献［11］使用基于知识图谱的拓扑分析来探索铁路运营事故。文献［12］以英国铁路事故报告为研究对象，建立面向铁路安全事故的知识图谱进而应用于铁路风险评估。上述研究均为单一文本信息来源的单模态数据驱动的方法，对铁路数据中可挖掘的信息量存在一定局限性，并不能满足铁路设备运维高质量需求。多模态知识图谱（multi-modal knowledge graph，MMKG）可以在传统知识图谱的基础上嵌入多种模态的实体^［13］，并构建多模态实体间的语义关系，实现数据‒模型‒知识的集成融合与可视化。例如Xiong等^［14］针对甲骨文信息处理构建了多模态知识图谱，该MMKG能够更好地组织和管理基础数据，为甲骨文信息处理研究服务。Fan等^［15］通过本体驱动的方式，构建了集音频、文本、图像为一体的中国戏曲多模态知识图谱，为用户提供多维交互。上述研究说明，通过构建多模态图谱可实现多源异构数据的高效组织管理与应用，且能取得比单模态图谱更优的效果。

综上，本文从实际应用出发，提出基于BIM和数据驱动的铁路设备运维多模态知识图谱构建方法。首先利用已有的铁路信号设备运维文本数据，构建运维文本知识图谱；接着以铁路四电BIM工程设备管理系统获取的图像模态数据为研究对象，构建卷积神经网络（convolutional neural networks，CNN）‒团组图卷积神经网络（clique group graph convolutional neural networks，cgGCN）模型对BIM图像数据进行信息标注；最后将图像信息以视觉模态嵌入到运维文本知识图谱中，完成BIM图像数据与运维文本数据的集成融合，构建铁路设备运维多模态知识图谱，为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。

1 铁路设备运维多模态知识图谱构建总体框架

本文提出的铁路信号设备运维多模态知识图谱构建总体框架如图1所示，主要包括运维文本知识图谱构建、铁路设备BIM图像模态知识抽取以及多模态知识图谱构建及可视化展示与应用。

图1  铁路设备运维多模态知识图谱构建总体框架

Fig. 1  Overall framework of multimodal knowledge graph construction for railway equipment operation and maintenance

1.1　文本知识图谱构建

由于铁路信号设备运维数据具有强专业性，故采用自顶向下与自底向上相结合的方法构建知识图谱。首先根据不同类型数据的结构化特征，自顶向下形成对应的概念节点和关联关系，然后自底向上构建相应的数据层，利用知识源之间的数据冗余性进行知识抽取，文本模态的知识抽取操作主要包括实体、关系抽取和知识融合。

首先，针对铁路信号设备非结构化运维文本数据命名实体识别任务识别精度低、识别不全问题，采用BERT-BiLSTM-CRF（bidirectional encoder representations from transformers-bi-directional long short-term memory-conditional random fields）模型进行实体抽取：由BERT将文本数据转为字符级嵌入向量，送入BiLSTM提取上下文特征信息，CRF学习标签之间的内部关系以获取最优标签序列。然后，基于BERT-CNN模型进行关系抽取，将文本数据送入BERT中进行编码生成词向量，然后送入CNN中进行训练，最后添加全连接层和softmax层抽取出目标实体之间的关系。由于运维文本数据记录方式存在差异，对同一设备、故障现象、处理措施等内容的描述不同，导致知识重复抽取，例如“密贴检查器”和“密检器”实际为同一设备实体。为避免知识图谱中构建重复节点，本文基于铁路信号设备运维数据中的实体构建词典，针对抽取实体采用cosine相似度算法在词典中进行实体匹配，将抽取实体链接到对应实体上。

最后，将非结构化的源文本数据转化为结构化的知识三元组数据并存储至Neo4j图数据库，完成运维文本知识图谱的构建。

1.2　图像模态知识抽取

铁路领域存在诸多专有名词，在实际运维环境中，基于BIM的铁路信号设备运维平台可对信号设备进行三维几何信息的可视化。将此类BIM图像模态数据表征和关联在知识图谱中，能更直观形象地显示铁路设备内部的上下游关系，实现故障发生后的快速定位。对于BIM图像模态数据，本文借助计算机视觉处理技术进行表征，其流程如下所述。

1.2.1　自适应图的构造

为了从输入的铁路设备BIM图像中自动学习具有代表性的图数据，将原始图像送入CNN进行自适应图的构造，过程如图2所示，具体工作机理如下。

图2  自适应图的构造过程

Fig. 2  Process of adaptive graph construction

首先给定输入的铁路设备图像$I\in R^{H\times W\times \mathrm{3}}$，H和W分别为图像高度和宽度，采用CNN网络对其进行高维特征的学习，由卷积层和池化层生成多通道的特征图$I_m\in R^{H^{\text{'}}\times W^{\text{'}}\times C}\left(H^{\text{'}}<<H\mathrm{和}{W}^{\text{'}}<<W\right)$，$H^{\text{'}}$和$W^{\text{'}}$分别为特征图的高度和宽度，C为通道数。接着将多通道特征图中相同空间位置的像素拼接起来，形成特征向量，该向量被视为一个图节点，代表原始图像中的一个空间区域。最后将多通道特征映射调整为节点嵌入矩阵$\mathit{X}\in R^{N\times C}$，其中N为节点数。基于节点嵌入，由k近邻法（k-nearest neighbor，kNN）根据节点特征之间的距离生成边来构造图。

kNN中评价两个节点之间相似度的距离函数$D\left(\cdot ,\cdot \right)$，计算方式为

$$D\left(v_i,v_j\right)=v_i-v_{j\mathrm{2}}$$

（1）

其中：v_i和v_j分别为第i和第j个节点嵌入，$i,j\in \left\{\mathrm{1,2},\cdot \cdot \cdot ,N\right\}$。然后，选择离每个节点最近的k个节点作为相邻节点。

图的边可以计算为

$$e_{ij}=\left\{\begin{array}{l}\mathrm{1},\mathrm{若}{v}_j\in \mathrm{k}\mathrm{N}\mathrm{N}\left(v_i\right)\\ \mathrm{0},\mathrm{否则}\end{array}\right.$$

（2）

其中：如果图中第i和第j个节点之间有边连接，则为e_ij=1，e_ij=0则为无边连接。

由于自适应图的构造嵌入到整个图像分类模型框架中，因此在训练过程中，节点特征和边缘连接都会随着整个网络的优化而更新。因此，图可以自适应更新和构造，随后图卷积网络可以学习更有效的图表示进行分类。

1.2.2　cgGCN

对构建的图数据进行图卷积，进一步学习铁路设备图像的空间特征。采用cgGCN替代传统的GCN，以捕捉节点间强大的空间相关性，学习有效的空间特征用于分类任务。

（1） cGCN

cGCN通过循环反馈网络（Clique Net）最大化信息流，进而有效重用高维图像特征，引导分层特征的细化。具体过程如图3所示。cGCN有三个图卷积层，任意两层之间都采用反馈和反向连接。特征传播过程可分为两个阶段，即阶段I和阶段II。

图3  cGCN结构示意图

Fig. 3  Illustration of clique graph convolution structure

在阶段I中，输入层通过单向连接初始化所有层。更新后的层被串联起来以更新下一层。cGCN正向传播中第i层的图卷积可以表示为

$${{\mathit{X}}_{\mathrm{i}}}^{\left(\mathrm{1}\right)}=\sum _{l<i}\left(H\left({\mathit{X}}_l^{\left(\mathrm{1}\right)},{\mathit{W}}_{li}\right)\right)+H\left({\mathit{X}}_{\mathrm{0}},{\mathit{W}}_{\mathrm{0}i}\right)$$

（3）

其中：X₀为cGCN的输入；${\mathit{X}}_i^{\left(\mathrm{1}\right)}$为阶段I中第i个图卷积层的输出；W_ij为连接第i层和第j层的权值矩阵。

在阶段II中，各层开始交替更新。除了顶层待更新外，所有的图卷积层都作为底层串联，对应的参数也进行串联。cGCN的反馈过程可以表示为

$${\mathit{X}}_i^{\left(\mathrm{2}\right)}=\sum _{l<i}H\left({\mathit{X}}_l^{\left(\mathrm{2}\right)},{\mathit{W}}_{li}\right)+\sum _{m>i}H\left({\mathit{X}}_m^{\left(\mathrm{1}\right)},{\mathit{W}}_{mi}\right)$$

（4）

其中：${\mathit{X}}_i^{\left(\mathrm{2}\right)}$表示阶段II中第i个图卷积层的输出。

具有f维节点特征向量的cGCN输出图表示${\mathit{Y}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in R^{N\times F}$可以表示为

$${\mathit{Y}}_{\mathrm{o}\mathrm{u}\mathrm{t}}=\left\{{\mathit{X}}_{\mathrm{3}}^{\left(\mathrm{1}\right)},{\mathit{X}}_{\mathrm{3}}^{\left(\mathrm{2}\right)}\right\}$$

（5）

其中“｛｝”表示将向量进行拼接。

（2） gGCN

利用gGCN来减少冗余信息，并在相邻层之间的特征传播过程中进一步隐式地选择更优的特征表示。其结构如图4所示。cgGCN中gGCN的工作原理描述如下。

图4  gGCN结构示意图

Fig. 4  Illustration of group graph convolution structure

首先，${\mathit{G}}_{\mathrm{i}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}}$表示gGCN的输入，将其分成两个子图G₁和G₂，分别经过图卷积运算后产生线性图特征${\mathit{G}}_{\mathrm{1}}^{\text{'}}$和${\mathit{G}}_{\mathrm{2}}^{\text{'}}$，计算过程如式（6）所示：

$$\left\{\begin{array}{l}{\mathit{G}}_{\mathrm{1}}^{\text{'}}=G\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left({\mathit{G}}_{\mathrm{1}}\right)+b_{\mathrm{1}}\\ {\mathit{G}}_{\mathrm{2}}^{\text{'}}=G\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left({\mathit{G}}_{\mathrm{2}}\right)+b_{\mathrm{2}}\end{array}\right.$$

（6）

其中：b₁和b₂分别是图卷积运算过程对应的偏置。

然后，用得到的${\mathit{G}}_{\mathrm{1}}^{\text{'}}$和${\mathit{G}}_{\mathrm{2}}^{\text{'}}$计算经BN+ReLU模块产生的非线性图特征${\mathit{G}}_{\mathrm{1}}^{″}$和${\mathit{G}}_{\mathrm{2}}^{″}$，计算过程如式（7）所示：

$$\left\{\begin{array}{l}{\mathit{G}}_{\mathrm{1}}^{″}=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\mathrm{B}\mathrm{N}\left({\mathit{G}}_{\mathrm{1}}^{\text{'}}\right)\right)\\ {\mathit{G}}_{\mathrm{2}}^{″}=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\mathrm{B}\mathrm{N}\left({\mathit{G}}_{\mathrm{2}}^{\text{'}}\right)\right)\end{array}\right.$$

（7）

式中：BN和ReLU分别表示批量归一化和ReLU激活函数。

接着，由GConv（Group Conv， 分组卷积）和Tanh激活函数结合成门控机制，输出${\mathit{G}}_{\mathrm{1}\mathrm{g}}^{\text{'}}$和${\mathit{G}}_{\mathrm{2}\mathrm{g}}^{\text{'}}$，计算过程如下：

$$\left\{\begin{array}{l}{\mathit{G}}_{\mathrm{1}\mathrm{g}}^{\text{'}}=\mathrm{T}\mathrm{a}\mathrm{n}\mathrm{h}\left(\mathrm{B}\mathrm{N}\left(\mathrm{G}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left({\mathit{G}}_{\mathrm{1}}^{\text{'}}\right)\right)+b_{\mathrm{1}\mathrm{g}}\right)\\ {\mathit{G}}_{\mathrm{2}\mathrm{g}}^{\text{'}}=\mathrm{T}\mathrm{a}\mathrm{n}\mathrm{h}\left(\mathrm{B}\mathrm{N}\left(\mathrm{G}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left({\mathit{G}}_{\mathrm{2}}^{\text{'}}\right)\right)+b_{\mathrm{2}\mathrm{g}}\right)\end{array}\right.$$

（8）

式（8）中：b_1g、b_2g分别为图卷积运算过程对应的偏置。计算融合特征${\mathit{G}}_{\mathrm{f}\mathrm{u}}$为

$${\mathit{G}}_{\mathrm{f}\mathrm{u}}={\mathit{G}}_{\mathrm{1}\mathrm{g}}^{\text{'}}\cdot {\mathit{G}}_{\mathrm{2}\mathrm{g}}^{\text{'}}$$

（9）

其中：“$\cdot$”表示元素的乘积。逐元素相乘可避免维数增加，降低后续计算的复杂性，同时可有效捕捉两个子图之间的复杂特征交互，以学习高级特征表示。

最后，gGCN的输出图表示${\mathit{G}}_{\mathrm{o}\mathrm{u}\mathrm{t}\mathrm{p}\mathrm{u}\mathrm{t}}$计算为

$${\mathit{G}}_{\mathrm{o}\mathrm{u}\mathrm{t}\mathrm{p}\mathrm{u}\mathrm{t}}=\alpha {\mathit{G}}_{\mathrm{1}}^{″}+\beta {\mathit{G}}_{\mathrm{2}}^{″}+\gamma {\mathit{G}}_{\mathrm{f}\mathrm{u}}$$

（10）

其中：$\alpha$，$\beta$和$\gamma$是可训练的权重变量。

gGCN可以简化学习过程，从而细化节点特征的学习，增强图表示固有的多样性，使学习特性更具鲁棒性。此外，gGCN还实现了对偶分支中不同信息的选择和融合，生成丰富的图表示。

（3） 图像标签预测

将cGCN和gGCN学习到的特征送入图池化层，通过全连接层对输出进行整合，随后采用softmax实现图像标签预测。

2 实验与评估

2.1　实验数据集及评价指标

铁路设备图像数据集来源于铁路四电工程BIM设备管理系统，共计2 135张，如图5所示为信号机BIM图像。为避免模型出现过拟合问题，对图像进行旋转、水平翻转等数据增强操作，形成包含4 270张图像的数据集，以8：1：1的比例随机划分为训练集、验证集和测试集，通过EasyData智能标注工具对训练集数据进行标注。模型性能评价指标^［16］为准确率、精确率、召回率以及精确率和召回率的调和平均值F1。

图5  BIM图像示例

Fig. 5  Example of BIM image

2.2　实验环境搭建

本文实验环境如表1所示，经多次实验确定的部分参数如表2所示。

表1  实验环境及配置

Tab. 1  Experimental environment and configuration

实验环境	环境配置
操作系统	Linux操作系统
CPU	Intel i9 12900K
GPU	NVIDIA GeForce RTX3080Ti
编程语言	Python3.8
编程环境	pycharm2021.2
深度学习框架	TensorFlow-GPU-1.14.0

表2  实验参数设置

Tab. 2  Setting of experimental parameters

名称	参数值
学习率	0.5
权值衰减	$5\times {10}^{-4}$
批处理大小	64
Epoch	200
最优邻节点数k	8

2.3　对比实验与分析

为验证本实验所提出的模型在铁路设备图像数据集上分类的有效性，将CNN-cgGCN与ResNet50^［17］、CNN-SAGEConv^［18］、CNN-GATConv^［19］、CNN-tGCN^［20］、CNN-cGCN和CNN-gGCN进行比较。由于cgGCN输入的图是基于自适应图构造模块构建的，为便于比较，将所有基于图卷积的算法都嵌入到CNN-GCN框架中，网络层数与cgGCN相同。实验结果如图6所示。

图6  不同模型图像分类结果

Fig. 6  Image classification results of different models

实验结果表明，CNN-cgGCN算法优于ResNet50、CNN-SAGEConv、CNN-GATConv、CNN-tGCN、CNN-cGCN和CNN-gGCN等所有比较算法。下面对实验结果进行具体分析：

（1） 基于CNN-GCN框架的所有算法在所有指标上的性能都优于基线模型ResNet50，说明CNN-GCN框架的有效性，因为图卷积网络能够从相应的铁路信号设备BIM图像中学习各构件间的空间信息，从而提高分类性能。

（2） 与CNN-tGCN相比，CNN-cGCN在分类准确率、精确率、召回率和F1值上分别提高了2.34 %、2.30 %、2.10 %和2.33 %，表明cGCN中的循环反馈机制能够有效提高图卷积的性能。与此同时，CNN-gGCN的结果优于CNN-tGCN，因为gGCN将原始图划分为两个子组，然后分别提取各分支特征和融合特征，获取不同的图信息，同时还隐式地执行特征选择进而减少冗余信息，提高图卷积的分类性能。

（3） 与CNN-cGCN相比，CNN-cgGCN分类准确率提高了4.04 %，表明cgGCN中的gGCN可以通过图卷积简化学习过程，从而细化节点特征，使学习的特性更具鲁棒性。此外，gGCN还可以选择和融合各分支中的不同信息，生成丰富的图表示，提高分类性能；与CNN-gGCN相比CNN-cgGCN模型分类准确率提高了3.03 %，表明cgGCN中的cGCN通过循环反馈机制能够最大化信息流，获得更优的特征表示，提高分类性能。综上，CNN-cgGCN分类性能最好，证明将cGCN和gGCN结合用于铁路设备BIM图像处理的优越性。

3 多模态知识图谱可视化及应用

基于所述方法，首先抽取铁路设备运维文本中的知识，以三元组形式存入Neo4j图数据库，实现铁路设备运维文本知识图谱的可视化展示。接着通过BIM图像模态知识抽取获取对应信号机、自动开闭器、齿轮组、电动机、锁闭器等20种铁路设备零件图信息，然后令图像信息以视觉模态嵌入到运维文本知识图谱中，直观准确地反映信号设备信息之间的内在联系。另外，考虑在不同环境下各设备工作的可靠性和安全性，将转辙机、信号机等设备零部件实体节点所处的自然环境以及应用环境等相关信息作为附加属性添加。部分铁路设备运维多模态知识图谱可视化展示如图7所示。

图7  铁路设备运维多模态知识图谱

Fig. 7  Multimodal knowledge graph for operation and maintenance of railway equipment

铁路设备运维多模态知识图谱的决策辅助功能包括查询分析和运维决策措施反馈。通过知识检索和图计算实现，知识检索能够在知识图谱中快速获取运维决策者所需的信息，从而形成结构化的知识结果并反馈给运维决策者。图计算利用图分析算法对知识图谱进行分析，获得更深层次的设备运维决策规则。

为进一步对比多模态数据为铁路信号设备运维图谱带来的跨模态检索和查询能力，将本文构建的多模态知识图谱与去除BIM图像模态的知识图谱进行对比。表3为不同模态知识图谱在运维过程中的故障处置表现对比。

表3  不同模态图谱对比

Tab. 3  Comparison of different modal knowledge graphs

图谱模态	构建耗时/min	查询耗时/ms	故障处置耗时/min
文本	6	345	25
文本‒图像	10	351	20

由表3可看出，尽管构建多模态图谱将花费更多的时间，但在单次知识检索耗时方面并没有太大差距。在实际场景中，由于知识图谱通常是预先构建完成，并不对信号设备故障处置任务的执行造成较大影响。而从完成故障处置任务耗时方面来看，多模态知识图谱将起到较大辅助作用，其跨模态检索能力可实现故障部位的快速定位，有效缩短故障维修耗时，提升运维决策准确率。

如图8，以包含多模态数据进行知识检索和运维决策措施反馈为例，介绍运维多模态知识图谱的实际应用流程。在运营过程中信号设备发生故障后，发出包含图像和文本模态数据的报警信息，文本信息为“6号道岔尖3转辙机故障”，经知识抽取得到关键实体｛故障部位：转辙机｝，对图像信息先定位目标对象后提取图像特征，与铁路设备运维MMKG中的图像实体进行相似度计算，确定图像对应的实体名称为“自动开闭器”，由此可快速将故障部位定位到转辙机内部的自动开闭器，同时采用Neo4j Cypher 在MMKG中进行查询，返回自动开闭器对应相关实体的关联属性信息，得到其对应的历史故障记录及维修措施等运维知识。最后，运维人员在进行故障维修时，选用检索推送出的历史运维决策措施作为维修依据，并结合现场状况进行维修决策，提高运维决策效率和维修效果。

图8  铁路设备运维多模态知识图谱的应用流程

Fig. 8  Application process of multimodal knowledge graph of railway equipment operation and maintenance

4 结论

（1） 基于非结构化运维文本数据，首先构建BERT-BiLSTM-CRF模型进行实体抽取，由于抽取实体中存在“多词一义”问题，故经余弦相似度算法进行实体消歧，然后构建BERT-CNN模型抽取实体间的关系。最终将源数据转化为知识三元组数据构建运维文本知识图谱；

（2） 以铁路设备BIM图像模态的数据为对象，采用CNN-cgGCN模型对铁路设备BIM图像进行分类，得到20种铁路信号设备零件图类别，经对比实验分析，说明将该模型用于铁路领域图像模态数据知识抽取的有效性；

（3） 将BIM图像信息以视觉模态嵌入到运维文本知识图谱中，最终构建铁路信号设备运维多模态知识图谱并进行可视化展示，完成BIM图像数据与运维文本知识的集成融合，直观地映射各设备的行为规律和相互之间互馈作用的机理，同时通过知识检索和图计算可快速获取运维决策者所需的信息，辅助运维人员进行运维决策。

本文是从自然语言处理角度出发，通过构建铁路信号设备运维多模态知识图谱实现BIM图像模态数据与运维文本数据的多维呈现，实质是知识图谱的补全。后续在本文所构建的多模态图谱的基础上会添加更多如音频、视频等模态的数据进行扩充，并且会对多模态信息融合进行研究，将尝试更多先进的方法提高图谱构建质量。在图谱应用方面，未来将结合图神经网络以探究运维图谱自动补全生成的可行性。

作者贡献声明

林海香：数据收集，方案设计，建模思路。

胡娜娜：知识图谱构建，初稿撰写。

何 乔：数据分析，论文修改。

赵正祥：实验结果可视化。

白万胜：数据整理。