面向建筑健康监测的无人机自主巡检与裂缝识别

摘要

面向建筑健康的高时效监测需求，为提升表面病害视觉检测的自动化水平，提出了场景信息引导的无人机自主巡检任务规划方法。利用场景先验信息，针对建筑结构特征，设计了平行观测和包络观测两种观测模式，实现了狭窄空间中独栋建筑的全覆盖避障巡检，获取了毫米级分辨率的整体建筑观测影像，并对巡检质量的整体评估提出了有效的量化指标。将建筑立面划分为3 720个子区域，利用深度残差网络开展了裂缝识别分类。错分13个子区域，漏分14个子区域，裂缝识别精度高。将裂缝骨架线映射到建筑三维模型，为裂缝形态与建筑整体的一体化表达提供了数据支撑。该研究将高精度三维重建与表面病害识别相结合，为建筑健康一体化监测提供了有效的观测分析手段。

关键词

航空摄影测量; 建筑健康监测; 多旋翼无人机; 任务规划; 裂缝识别

城市空间多元要素的智能感知是城市体征敏感指标动态监测和风险因子诊断预警的重要科学基础，是建立健全“城市体检”长效评估机制、开展新型智慧城市全生命周期健康管理的关键支撑。特大城市因其高度复杂性、开放性、集聚性等空间特征，安全底线的约束强化和智慧韧性的提升淬炼面临更为严峻的挑战。以上海市为例，常住人口超2 480万，拥有1.4万多个住宅小区，30层以上的高层建筑1 500多幢，建筑总量达14.5亿多平方米^［1］。高密度、大体量房屋建筑健康状态的高时效监测评估是维持城市功能正常运行的根本保障，已经成为“城市体检”的紧迫任务和重要内容^［2］。

建筑健康状态是建筑材料、结构特性和服役环境等多方面因素共同影响的复杂问题。环境温度和不均匀沉降引起的耐久性破坏会改变建筑边界条件和结构形式，导致建筑材料和结构构件性能的老化，产生裂纹、侵蚀、结构缺陷等表观病害^［3］。其中，裂纹是建筑结构健康的敏感指示参量。从初始表面微裂纹萌生，到基体裂纹聚集、扩展，最终形成宏观裂纹断裂，其生长演变覆盖建筑结构从表观病变到结构化失效的全过程^［4］。因此，通过快速、有效的健康监测方法及时探知建筑表面裂纹病变模式，充分掌握裂缝发展规律和结构性能退化水平，对房屋建筑的安全运维和寿命预测具有非常重要的现实意义。

典型的建筑健康监测系统是由敷贴在建筑立面或植入结构内部的应力应变传感器、拉线式裂缝计等多类型传感单元组成的实时监测传感网络，通过实时感知外部环境侵蚀、周边扰动和极端载荷行为，为单体建筑结构整体连续性监测提供科学依据。针对局部区域或关键节点的诊断，超声波、冲击回波、微波雷达等无损检测技术通过层析成像直观表征损伤状态^［5-6］。

近年来，激光扫描、摄影测量、红外热成像等新型遥感观测技术，已经成为快速非接触式检测的有益补充，并被广泛应用于建筑裂纹病害的高频次常规检测中^［7］。地基三维激光扫描仪在近程可获取毫米级分辨率的建筑立面点云数据，将强度信息转换为立面正射灰度影像后，可针对几何特征显著的结构件或区域开展缺陷或裂纹等表面病害检测。然而，在多段架站扫描过程中，其分辨率随扫描距离径向变化，且观测视场中的场景遮挡会影响立面扫描的完整性，难以在大跨度建筑或密集观测空间完整获取建筑立面精细观测数据^［8］；红外热成像则是利用建筑表面裂纹或缺陷区域因热导率不同形成的表面辐射率差异，将红外辐射转换为热图像，根据影像中的温度突变判别表面病害。在远距离观测时，热红外影像可以直观反映建筑整体表面热异常，但其传感特性不足以支撑建筑立面微裂纹形态的有效定量分析^［9］；而摄影测量技术有助于快速、便捷获取建筑表面近距离影像，兼具几何精度和纹理细节，已经成为建筑表面病害信息获取的重要观测手段，并为专业检测人员查验、判别提供了高分辨率观测数据。辅以计算机视觉方法，可进一步实现裂纹区域的识别、骨架线的提取、病变趋势分析和损伤评估量化^［10］。

为了提升裂纹影像分析的自动化程度，基于深度学习的智能视觉检测方法已经成为众多学者研究的热点。裂纹智能检测方法主要解决两类问题：第一类，识别影像中是否存在裂纹。将原始影像划分为多个图像块子区域，分类器一一搜索判断是否存在裂纹。常用训练架构是VGGNet、GoogLeNet和ResNet等分类网络，训练数据是由裂纹影像和非裂纹影像组成的正负样本集^［11-13］；第二类，从影像中提取裂纹。对输入影像进行逐像素分类判断，从背景中分割提取出裂纹形态。常用训练架构是FCN、Mask R-CNN和U-Net等分割网络。在使用分割网络时，为了降低裂纹的漏检和误检，样本中需要涵盖多类型裂纹的大量标注结果，有限的数据集和任务导向的参数调整使得分割网络在任务场景切换时受到限制，需要重新调整模型参数训练和优化以获得预期提取效果^［14-17］。

上述自动化视觉检测研究，在裂纹病害分析阶段很好地实现了建筑局部兴趣域或构件的裂纹检测，但少有涉及建筑整体的裂纹病害检测。建筑的全局损伤是局部病变响应的总和。将裂缝检测置于建筑全局进行综合分析，获取裂缝空间形态信息，确定裂缝在建筑整体中的病变演化规律，及时了解局部损伤对整体建筑的影响是当前建筑健康监测与诊断的重要研究方向^［18］。这也使建筑健康监测愈加显现其观测密集和知识密集的过程特性。而人工巡检观测难以在地物密集、可达性差的复杂建筑环境中高时效、安全开展目标建筑结构体的全覆盖精细观测。为实现建筑整体的有效监测，病害观测阶段自动化水平的提升是亟待攻克的难点。

低空多旋翼无人机平台以其机动、灵活、高分辨率成像的观测特性，衔接地-空观测尺度，拓展了建筑巡检的可观测空间和覆盖范围，成为自动化、周期性视觉检测的理想平台^［19-21］。利用摄影测量三维重建技术，可以实现建筑立面观测与整体重建过程的统一，确保裂缝病害检测的整体性与空间基准的一致性。

无人机三维重建路径规划被定义为全覆盖路径规划规划问题，即选择有效覆盖兴趣域的摄影视点集，生成经过这些视点的连续路径。摄影测量中的全覆盖路径规划主要是以先验信息为主的离线规划，根据地面站中的卫星影像，确认目标区域边界，选择任务参数，生成固定高度平面上以固定倾角观测的二维覆盖路径^［22-23］。三维重建的表面细节主要取决于任务载荷的成像性能。相机的位置、方向和观测距离直接影响目标建筑表面纹理重建精度。在建筑林立、地物密集的复杂空间如何实现建筑健康监测巡检路径的有效规划是具有挑战性的问题，其任务特性对无人机的观测能力和规划控制方案提出了更高的要求：无人机需要贴近建筑立面观测；飞行中可实现多方位多角度观测；在狭小工作环境可规避场景中的障碍；航迹中需保持高精度位姿等。

为此，本研究针对建筑健康自动化巡检中的上述挑战，提出了场景信息引导的三维巡检路径规划方法。针对目标建筑结构特征快速获取地表粗略三维信息，利用场景信息规划三维全覆盖巡检路径。将观测路径部署在轻小型RTK（机载实时动态差分定位）无人机实施建筑整体高精度三维重建，开展了建筑立面重建精度评估和裂纹智能识别，实现了整体建筑巡检到识别全过程的自动化，为城市建筑的高时效监测摸排提供了有效的观测分析手段。

1 场景信息引导的建筑巡检任务规划

在本节中，主要介绍所提出的场景信息引导的建筑巡检任务规划方法，聚焦无人机在有限执行空间中，基于先验信息的摄影测量任务参数决策问题，目标是规划和重构一个更优的建筑立面巡检路径，根据建筑结构特征选择适宜的观测模式，以提升目标建筑重建的整体细节水平。

1.1　未知兴趣域场景先验信息获取

快速勘探未知兴趣域 （Area of Interest，AOI） 是场景信息获取的第一步。A 描述了兴趣域的具体地理边界，用序列顶点相连的闭合 $n$ 边形表示，$A=\left\{v_{\mathrm{1}},\dots ,v_n\right\}$。每个顶点 $v_i$ 以平面上的一对笛卡尔坐标 $(x,y)$ 表示。兴趣域的三维表面 $T_{er}(x,y)$ 即AOI内的点赋予高程 $z$ 后的曲面，其最高点为 $Z_{\mathrm{m}\mathrm{a}\mathrm{x}}$。快速勘探是基于在AOI上方安全高度 $H_g$ 执行的全覆盖观测。当无人机位于视点 $p_i$，影像在地面上的覆盖面积是 F。完成勘探路径后的累计覆盖域为 $C(t_r)={\bigcup }_{p_i\in t_r}F(p_i)$。

$$\left\{\begin{array}{l}{p}_i=\left(x_i,y_i,z_i\right)\\ \left(x_i,y_i\right)\in A, (z_i=H_g)>Z_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ A\subseteq C(t_r)\end{array}\right.$$

（1）

无人机平台采用机载实时动态差分（Real Time Kinematic，RTK）定位模块，能够在视点以厘米级定位精度记录天线相位中心。式（2）给出了RTK获取位置与机载相机位置的关系。其中，$l_{\mathrm{A}}$为RTK天线位置，$P_{\mathrm{c}}^m$ 是相机在世界坐标系中的位置，$R_{\mathrm{c}}^m$ 是相机方位角，${\vec{a}}^C$ 是天线相位中心和相机投影中心之间的平移距离。

$$\left\{\begin{array}{l}{l}_A+v_A=P_c^m+R_c^m{\vec{a}}^C\\ \exists \lambda \in R,P_t^m=P_c^m+\lambda R_c^m\left[\begin{array}{c}{x}^c\\ y^c\\ \mathrm{1}\end{array}\right]\end{array}\right.$$

（2）

式中：$P_t^m$ 是物方连接点，$x^c$，$y^c$ 为其像方坐标，物方连接点与相机投影中心的距离 $P_c$ 为1，比例因子为 $\lambda$。高精度位姿辅助，优化了快速勘探影像重建时的光束法平差过程，经密集匹配和网格重建，可以有效获取未知兴趣域地面目标特征及其分布状态。

先验粗模型与地面站默认卫星底图之间的互补性有助于恢复三维场景的近似特征（轮廓边界+高程信息），根据观测空间中兴趣目标的分布特性，利用三维线框模型可以在虚拟环境可视化表示观测对象的位置和潜在障碍物，有效划定观测域和规避域，支撑基于模型的视点采样和路径规划。

1.2　面向建筑结构特征的任务规划

充分利用空中观测模式之间的有效互补性，可以实现对几何特征和纹理细节的精确观测。完整性是巡检任务规划的首要前提，当面对不同高度和周边密集的建筑对象时，全覆盖的定义需要比平坦和开阔区域更为具体。基于场景信息基于粗略模型规划时，参考模型的选择取决于目标建筑结构的复杂性。兴趣域内的建筑可以分为规则型和不规则型。规则建筑是指建筑顶面近似垂直于所有侧立面，通过屋顶面形状拉伸就可以表示建筑基本几何形状；不规则建筑则具有更为复杂细致的结构，如不规则平面、多结构组合、多层立面起伏变化等。

（1）规则建筑的完全覆盖问题可以看作是三维线框模型多表面的二维覆盖观测叠加问题，即在每个立面对应的近距离平行平面观测。该步骤定义为

$$T_{\mathrm{A}}\oplus T_{\mathrm{B}}=\left\{a+b|a\in T_{\mathrm{A}},b\in T_{\mathrm{B}}\right\}$$

（3）

式中：$T_{\mathrm{A}}$为目标建筑的三维线框模型，$T_{\mathrm{B}}$ 为等距膨胀后的新表面，是无人机视点 $(p_i,{\theta }_i)$ 的采样空间，膨胀距离 $d$ 根据期望观测分辨率选择确定。

$S$ 是目标建筑表面 $T_A$ 沿水平方向和垂直方向均匀细分的面元集。第 $i$ 个面元 $S_i$ 可以表示为：

$$S_i=(P_i,{\stackrel{\mathrm{➝}}{N}}_i)$$

（4）

式中：$P_i=({p_i}_x,{p_i}_y,{p_i}_z)$ 是面元的空间坐标， ${\stackrel{\mathrm{➝}}{N}}_i=({n_i}_x,{n_i}_y,{n_i}_z)$ 是面元的表面法向量。$S_i$ 的面积可以看作是无人机在对应正视视点 $p_i$ 观测时在目标表面上的投影。$O_i$ 被假设为面元 $S_i$ 的中心坐标。因此，$\stackrel{\mathrm{➝}}{O_i{P_c}_i}$ 就是面元中心到相机中心的中轴矢量。无人机在 $p_i$ 视点上的观测倾角便可以通过式（5）计算获得

$${\theta }_i=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\frac{\stackrel{\mathrm{➝}}{O_i{P_c}_i}\stackrel{\mathrm{➝}}{N_i}}{\left|\stackrel{\mathrm{➝}}{O_i{P_c}_i}\right|\left|\stackrel{\mathrm{➝}}{N_i}\right|}\left(i=\mathrm{1,2},\dots ,n\right)$$

（5）

与观测目标近距正视且平行分布的观测视点利于提升深度估计影像的分辨率，并为建筑整体重建提供更为精细的纹理信息。因此，相邻视角中轴矢量在立面贴近观测时近似平行，其间距的稳定控制和重叠度的保持，可以确保无人机以固定的基线-景深比，连续覆盖均匀获取全表面影像。平行观测规划过程如图1所示。

图1  规则建筑平行观测

Fig.1  Parallel inspection of regular building

（2）不规则建筑的均匀覆盖则需要无人机的观测视点均匀分布在建筑表面的等值曲面上，投影区域并集就是覆盖域。将这种观测模式称为包络观测，其先验信息为目标建筑及其周边环境的粗网格模型，由初始勘探阶段的正射影像重建获得。

已知三维空间中的粗网格模型 $M=(\mathit{V},\mathit{F})$ ，网格顶点索引集 $\mathit{V}=\left\{{\mathit{v}}_{\mathrm{1}}..{\mathit{v}}_{N_v}\right\}\in R^{N_v\times \mathrm{3}}$ 三角面片索引集 $\mathit{F}=$$\left\{{\mathit{f}}_{\mathrm{1}}\dots {\mathit{f}}_{N_f}\right\}\in Z^{N_f\times \mathrm{3}}$，其中$N_v$和$N_f$分别为网格模型的顶点总数和三角面片总数。本文目标是从连续的网格表面计算得一组总数为 $N_p$ 的离散等距偏移采样点 $\mathit{P}\in R^{N_{\mathrm{p}}\times \mathrm{3}}$ 和采样点对应法向量 $\mathit{N}\in R^{N_{\mathrm{p}}\times \mathrm{3}}$，并从中选出作为无人机全覆盖观测不规则建筑表面的视点。为确保无人机观测视点的均匀分布，采用规则递归采样，基于移动立方体从偏移距离表示中提取等值面采样点^［24］，并根据观测重叠度均匀化。移动立方体单元的大小决定采样密度，距离参数 $d$ 由预期分辨率约束，采样点呈格网式均匀分布，适于连接生成符合无人机往复式稳定飞行特性的有序路径。

$$P=\{\mathit{V}\mid F(\mathit{V})=d\}$$

（6）

获得的采样点集

$$P=\left\{\left\{p_{{}_{\mathrm{1}}},{\mathbf{n}}_{\mathrm{1}}\right\},\left\{p_{\mathrm{2}},{\mathbf{n}}_{\mathrm{2}}\right\},\dots ,\left\{p_n,{\mathbf{n}}_n\right\}\right\}$$

其中， ${\mathbf{n}}_i$ 表示第 $i$ 个采样子区域的平均法向量。将采样点位置与法向量赋予相机作为位姿，所组成的观测网就是无人机的全覆盖观测候选视点集。将候选视点的光轴向量投射在网格表面上相交，对于网格面上的交点 $s_j$ 定义投影面积函数 $f(p_i)$，根据无人机载相机成像模型，观测目标的有效覆盖视点可以表示为

$$\mathrm{m}\mathrm{i}\mathrm{n}\sum p_i, p_i\in \left\{\mathrm{0,1}\right\}$$

（7）

$$S\subseteq \left(\bigcup f\left(p_i\right)\right)$$

（8）

式中：$S$ 是目标不规则表面建筑的面元集。对于所有 $i$ 均满足，当 $p_i=\mathrm{1}$ 时，建筑表面对于视点 $p_i$ 可见，$s_j$ 周围的投影区域 $f(p_i)$ 完全在建筑表面。相反，当 $p_i=\mathrm{0}$ 则表示从该视点，建筑表面部分可见或不可见，其交点位于建筑周围的其它对象上。包络观测规划过程如图2所示。

图2  不规则建筑包络观测

Fig.2  Surface enveloping of irregular building

1.3　顾及环境障碍的巡检航线生成

该节主要阐述了如何将候选视点转换为一个连续贯穿所有视点的任务路径，并在避开环境障碍物的情况下完全覆盖目标建筑。任务路径应该是连续且有序的，飞行参数无冗余。同时，运动轨迹在模式上应简单（如直线、基本样条或圆），以确保摄影测量飞行任务的可执行性和过程的安全性。航线的生成过程可以表示为

$$f(t)\leftarrow g\left(p_{{}_{\mathrm{0}}},v_{{}_{\mathrm{0}}},p_{{}_{\mathbf{d}}},t_{{}_{\mathrm{d}}}\right)$$

（9）

式中：$p_{{}_{\mathrm{0}}}$ 和 $v_{{}_{\mathrm{0}}}$ 无人机在世界坐标系中的初始位置和速度，由当前状态的估计得到。$p_{{}_{\mathrm{d}}}$ 是下一个期望航点，$t_{{}_{\mathrm{d}}}$ 是到达期望航点所需的时间。对于 $t\in \left[\mathrm{0},t\mathrm{d}\right]$ ，$f(t)$ 给出了在 $t$ 时刻无人机的运动状态（位置、方位和速度）。航线的生成应规避执行空间非凸区域潜在的障碍物，因此根据场景先验信息需要对 $p_{{}_{\mathrm{0}}}$ 至 $p_{{}_{\mathbf{d}}}$ 的飞行过程添加约束，以避免执行航线直穿飞行环境中的障碍区域。假定障碍物形状为矩形，障碍物两侧可以表示为超平面 $a_{i}x=b_i$ 的一部分，$x_{\mathrm{1}}~x_{\mathrm{3}}$ 的避障约束设为

$$\begin{array}{l}\left(a_{\mathrm{1}}{x}_{\mathrm{1}}\le b_{\mathrm{1}}\vee a_{\mathrm{2}}{x}_{\mathrm{1}}\le b_{\mathrm{2}}\right)\\ \wedge \left(a_{\mathrm{1}}{x}_{\mathrm{2}}\le b_{\mathrm{1}}\vee a_{\mathrm{2}}{x}_{\mathrm{2}}\le b_{\mathrm{2}}\right)\\ \wedge \left(a_{\mathrm{1}}{x}_{\mathrm{3}}\le b_{\mathrm{1}}\vee a_{\mathrm{2}}{x}_{\mathrm{3}}\le b_{\mathrm{2}}\right)\end{array}$$

（10）

该约束也可以推广到多边形障碍物。为进一步避免无人机在离散时间步长里“刺穿”障碍物拐角，在任务规划阶段可将障碍物边界沿各向外扩 $v\mathrm{\Delta }t/(\mathrm{2}\sqrt[]{\mathrm{2}})$。通过双重约束，可确保无人机在航线执行过程中的每一时间段都位于障碍物的相同一侧。

最后，根据无人机的航线格式要求，将规划好的路径转换为可执行的序列航点命令。本研究中部署巡检任务的无人机支持导入基于空间数据交换标准的航点命令操作符，使用基于标记语言的结构，其中嵌套的元素和属性作为控制命令，包含：航点编号，空间坐标，无人机朝向，云台角度，拍照指令等。

2 建筑立面裂缝病害智能识别

建筑整体结构表面观测数据量大，疑似病害多样，为实现智能化裂缝识别，采用深度卷积神经网络构建建筑表面裂缝识别模型，快速定位待检测建筑表面裂缝区域。针对裂缝存在区域，进一步通过计算机视觉方法提取裂缝连通域和骨架线，获得裂缝长度及建筑整体的裂缝分布。

2.1　裂缝智能识别模型构建

有效的样本是训练鲁棒识别模型的前提。本研究针对建筑立面裂纹病害识别，构建了一套具备泛化性的立面裂纹样本数据集。采用轻小型多旋翼无人机，贴近飞行观测，获取了同济大学四平路校区内40多栋典型建筑立面优于2mm分辨率的裂缝影像。所采集的建筑立面高度范围在30m-100m之间，包含砖面、幕墙、外墙保温、挂饰板等多类型立面，涵盖清水红砖、混凝土、装饰石材、钢筋框架、幕墙玻璃等多种立面材质。将采集的原始影像裁剪为等大子图块，对有无裂纹标注分类，获得初始正负样本各8 000张。通过全随机旋转、亮度调整和对比度变换等影像处理操作实现初始样本数据的内部增广，另在样本中加入其它数据集中的不同裂纹形态及其它视觉传感器获得的不同分辨率裂纹数据，进一步拓展样本数据，最终获得正负样本各为20 000张裂缝病害数据集，并按照7：2：1划分为训练集、验证集和测试集。

卷积神经网络层数的加深通常可以显著提升模型的识别能力，但随着网络深度的不断增加梯度消失或梯度爆炸的可能性加大，使网络难以训练。因此，本研究选择了深度残差网络（ResNet-101）作为裂纹分类的训练网络，其基于残差学习的恒等映射缓解了网络退化，跳跃连接结构提升了恒等变换和反向传播时梯度的有效传递。该网络可以较好地抑制裂缝影像中的背景噪声，有助于快速筛选出整体建筑的疑似裂纹区域。裂缝识别网络整体结构由Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x5个层组加上一个全连接层，共101层组成。原始输入影像尺寸为224×224，5个层组根据输出特征图的大小变化进行划分，如图3所示。

图3  立面裂缝识别模型网络结构图

Fig.3  Network structure of façade crack detection model

2.2　裂缝几何特征提取

将裂缝识别网络筛选出的立面裂缝区域影像进一步增强，消除孤立点以减少噪声对裂缝几何特征提取精度的影响。为提取裂缝边缘，需计算影像梯度幅度用以估计每一点处的边缘强度与方向。根据公式（11）获得其$x$方向、$y$方向的一阶偏导数矩阵，$S$为Canny算子，即

$$\left\{\begin{array}{l}{d}_x=f(x,y)*S_x(x,y)\\ d_y=f(x,y)*S_y(x,y)\end{array}\right.$$

（11）

影像梯度幅值$M_{(x,y)}$和角度${\theta }_M$如下：

$$M_{(x,y)}=\sqrt[]{d_x^{\mathrm{2}}(x,y)+d_y^{\mathrm{2}}(x,y)}$$

（12）

$${\theta }_M=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(d_y/d_x\right)$$

（13）

在3×3邻域内，邻域中心$x$与各梯度方向的对应像素两两相比，若中心像素为最大值，则保留；反则置0，以此保留局部梯度最大的点，得到细化的裂缝边缘，并用双阈值算法检测和连接边缘。对边缘二值图像，采用连通域搜寻方法开展形态学闭运算，勾勒连通体的边界，求出各边界点坐标及最小外包矩形，作为裂缝区域边界的划定。

采用快速并行细化算法^［25］，对填充后的连通域进行骨架线提取，删除不需要的轮廓点，只保留其骨架点。假设中心像素点$P_{\mathrm{1}}$的八邻域点$P_{\mathrm{2}}$-$P_{\mathrm{9}}$顺时针分布在3×3邻域内。为了保留骨架的连接，将式（14）~式（15）中条件作为一次迭代执行，直至连通域内没有满足条件的点为止。

$$\left\{\begin{array}{l}\mathrm{2}\le N_{P_{\mathrm{1}}}\le \mathrm{6}\\ S_{P_{\mathrm{1}}}=\mathrm{1}\\ P_{\mathrm{2}}\times P_{\mathrm{4}}\times P_{\mathrm{6}}=\mathrm{0}\\ P_{\mathrm{4}}\times P_{\mathrm{6}}\times P_{\mathrm{8}}=\mathrm{0}\end{array}\right.$$

（14）

$$\left\{\begin{array}{l}\mathrm{2}\le N_{P_{\mathrm{1}}}\le \mathrm{6}\\ \hspace{0.25em}{S}_{P_{\mathrm{1}}}=\mathrm{1}\\ P_{\mathrm{2}}\times P_{\mathrm{4}}\times P_{\mathrm{8}}=\mathrm{0}\\ P_{\mathrm{2}}\times P_{\mathrm{6}}\times P_{\mathrm{8}}=\mathrm{0}\end{array}\right.$$

（15）

式中：$N_{P_{\mathrm{1}}}$ 是 $P_{\mathrm{1}}$ 的非0邻点数，$S_{P_{\mathrm{1}}}$ 是当邻域点以 $P_{\mathrm{2}},P_{\mathrm{3}}\dots \dots P_{\mathrm{9}},P_{\mathrm{2}}$为序时，这些点的值从0到1的变换次数。

通过骨架提取可以得到单像素宽度的裂缝骨架。假设骨架线上相邻两像素的坐标为$$\left(x_p,y_p\right)$$和$$\left(x_{p+\mathrm{1}},y_{p+\mathrm{1}}\right)$$，裂缝实际长度为像素距离之和与影像分辨率（Ground Sample Distance，GSD）的乘积，即$$\mathrm{G}\mathrm{S}\mathrm{D}\times \left(\sum \sqrt[]{{\left(x_{p+\mathrm{1}}-x_p\right)}^{\mathrm{2}}+{\left(y_{p+\mathrm{1}}-y_p\right)}^{\mathrm{2}}}\right)$$

（16）

3 建筑整体巡检与裂缝病害识别验证

3.1　实验场景与飞行平台

本研究的巡检对象是同济大学四平路校区中心区域的一座5层办公楼，占地约900${\mathrm{m}}^{\mathrm{2}}$，如图4所示。与开阔区域里的独栋建筑不同，该建筑周边被近似高度的建筑和树木近距离包围，相邻对象之间形成狭窄的巷道，并在一定高度范围相互遮挡。该建筑不同区域有明显的高度差异，前立面安装了多个旋转面板组成的金属幕墙；背立面主要是白墙、窗户、空调外置机组和多个垂直排水管道，稀疏分布着表面收缩引起的微裂纹。建筑整体结构丰富、部件多样、纹理多变。无论是从周边观测条件还是建筑本身的细节和层次，该建筑的整体巡检及裂纹识别具有一定的挑战。

图4  本研究的实验场景

Fig.4  Experimental field of this study

巡检任务航线部署在了精灵 PHANTOM 4 RTK多旋翼无人机上，其任务载荷为DJI FC6310R相机（CMOS尺寸13.2mm$\times$8.8mm，有效像素2千万，24mm焦距广角镜头），三轴云台俯仰角范围为-90°~ 30°。任务载荷特性确保了无人机在执行细节重建任务时可以从全方位特定视角观测目标。此外，当与网络RTK服务或D-RTK 2基站一起使用时，机载RTK可提供厘米级定位数据。

3.2　建筑整体自主巡检任务质量评估

该建筑的巡检是在夏季进行的，考虑到树木的遮挡及无人机的安全规避，整体巡检采用了平行观测（贴近立面）和包络观测（顶部和底部有效覆盖）组合的方式。为开展观测效果的对比，另外规划了两种典型的三维重建路径：五向倾斜观测和多轨环绕观测。其重叠度与本方法保持一致，全覆盖飞行平面在楼顶正上方，两种航线的飞行高度受限于楼顶最高点（避雷针），设定时已达安全飞行可实现的最高分辨率，固定倾角按最佳可视性调整为-45°。各观测模式的参数如表1所示。

表1  建筑巡检观测模式参数表

Tab.1  Building inspection patterns parameters

观测模式	五向倾斜	多轨环绕	本方法
			包络观测	平行观测
照片张数	290	248	290	259
重叠度/%	80	80	80	80
相机倾角/（°）	-45	-45	变化	-20
平均分辨率 /mm	12.50	12.90	8.07	5.03
最高分辨率/mm	4.65	5.06	4.47	2.12
重投影误差/ pixels	0.52	0.64	0.65	0.74
位置不确定性/m	0.044	0.081	0.034	0.021

（1）建筑整体观测覆盖度评价

执行航线后，利用大疆智图分别重建三组影像。将航线视点根据相机参数投影到生成的三维模型（网格模型）上，可以获得模型每个顶点对应的照片数量，将该值映射到模型上可以获得每一种观测模式对该场景的实际覆盖度，如图5所示，部分区域的照片覆盖数量如表2所示。

图5  不同观测模式航线视点及覆盖度

Fig.5  Viewpoints and coverage of different observation patterns

表2  建筑表面部分区域照片覆盖情况

Tab.2  Coverage status of partial areas of the building surface

覆盖区域	屋顶平台	前立面	侧立面	主体外的区域
五向倾斜	52~73	13~26	26~30	0~73
多轨环绕	92~146	23~53	23~30	0~100
本方法	265~334	140~160	140~160	0~53

三种观测模式照片数量最多的覆盖区域都在楼顶。两种典型观测模式对平坦区域可以均匀覆盖，但对明显高程起伏的区域或目标的观测能力不足，覆盖立面的影像数量在采集影像数量中的占比低于15%；而本方法航线中的观测视点全部聚焦在兴趣目标，建筑主体全覆盖，立面覆盖度均匀，如图5 c中的高亮显示，立面分辨率达2.12mm。

（2）整体建筑纹理扭曲分析

建筑整体表面裂缝识别依赖纹理重建的精细度，因此需要有效评估建筑实景模型的纹理扭曲程度。二维纹理到三维表面的映射是将平面纹理坐标和模型三角面片顶点关联的过程。映射后三角纹理顶点角度的变化可反映纹理的扭曲程度。将扭曲度归一化映射到模型表面就可以获得建筑整体表面纹理的扭曲状态，0为无扭曲，1为严重扭曲。三种观测模式重建的扭曲度如图6所示，部分区域统计情况如表3所示。

图6  不同观测模式整体重建模型纹理扭曲度

Fig.6  The texture distortion of the reconstructed building observed in different patterns

表3  建筑表面部分区域纹理扭曲情况

Tab.3  Texture distortion of partial areas of the building surface

畸变区域	屋顶平台	立面白墙	窗户区域	一层以下
五向倾斜	0.05~0.1	0.2~0.5	0.4~0.7	>0.7
多轨环绕	0.05~0.15	0.4~0.6	0.6~0.8	>0.8
本方法	<0.05	≤0.1	0.15~0.35	≤0.4

从图6和表3中可以看出，以典型观测模式重建的模型表面存在严重扭曲，难以实现建筑表面细节的表达，无法支撑裂纹病害的有效识别。本方法观测重建的结果中，屋顶纹理扭曲＜0.05 ，立面扭曲 ≤0.1，而整体建筑底部扭曲较大。底部是任务中的难观测区域，由于建筑遮挡，需要大角度倾斜观测，影像畸变导致该区域纹理映射精度降低。从纹理的细节程度来看，本方法获取的立面区域重建结果符合裂纹监测的数据要求，但需要对其几何精度做进一步的分析。

（3）立面重建几何精度分析

表面裂缝的提取精度取决于立面重建精度。为评估本方法无人机影像生成点云几何精度，使用地基三维激光扫描仪在建筑背立面巷道近距离架站，设定3mm分辨率，采集了背立面激光点云数据作为真值。选用Z+F IMAGER 5016三维激光扫描仪，在建筑背面巷道架设了5个扫描站，架站高度约1.8m，全站拼接后点云间整体误差为1.41mm。由于地面架站空间限制和扫描视场遮挡，激光扫描点云有大部分立面缺失。因此，分别从两组点云选取了三个没有缺失的共同区域，分别位于背立面顶部A、中部B和底部C，如图7所示。图7中的无人机生成点云数量26万，激光扫描点云数量2 780万。

图7  建筑背立面无人机影像生成点云与激光扫描点云

Fig.7  UAV images derived point cloud and the LiDAR point cloud of the back façade

从两组点云的A、B、C三个区域中分割出等距离、等面积连续平面点云，截取距离分别为33m，11m，26m。根据平面度检测的思路，通过最小二乘拟合A、C区域水平方向参考平面、B区域竖直方向的参考平面。选取各参考平面中轴线，分析两组点云到参考平面的误差，如图8所示，以获取建筑顶部、立面和底部的视觉点云精度水平，图中横坐标表示截取距离，单位：m；纵坐标表示点云离参考平面的距离，单位：mm。

图8  无人机影像生成点云与激光点云到参考平面的距离

Fig.8  The distance of the two groups of the point cloud from the reference plane

从图8中可以看出，当以右图中激光点云离参考平面的距离假设为A、B、C三个区域平面度的真实状态，在顶部A区域，无人机生成点云标准差为18.38mm；立面B区域，标准差为8.04mm；底部C区域，标准差为68.5mm，大角度倾斜观测产生的畸变导致有效匹配减少，视觉点云几何精度明显降低。从覆盖度、分辨率、纹理扭曲和几何精度综合评估，在背立面裂缝识别验证中，立面中部区域整体观测质量较高，裂缝骨架线的提取精度具有一定的可信度。

3.3　立面裂缝识别与提取

根据建筑整体重建质量的评估，选择背立面中部区域开展裂缝识别验证。将无人机获取的点云向立面方向投影，获得立面正射影像。根据分类网络输入要求，将立面正射影像划分为120$\times$31子区域，有序输入网络中识别，并将识别为有裂缝的子区域在立面正射影像中高亮显示，如图9所示。

图9  建筑立面整体裂缝识别

Fig.9  Building façade overall crack detection

裂缝识别网络在TensorFlow框架下构建和训练，算力平台由NVIDIA TITAN RTX显卡、128 G内存和Intel Core i9-10940X中央处理器组成。训练迭代轮次为400次，单次迭代用时192s。相比于基于其余5种典型网络结构（AlexNet，GoogLeNet，MobileNet-V2，EfficientNet，ShuffleNet）实现的识别精度，本研究中基于深度残差网络（ResNet-101）构建的裂缝识别模型准确率更高，损失率更低，如图10所示。

图10  训练迭代周期中的模型准确率和损失率

Fig.10  Training accuracy and loss throughout the iteration cycle

裂缝识别网络在网络训练阶段准确率为99.152，召回率为97.381，如表4所示。在本实验3 720个子区域的识别中，判断为有裂缝的子区域226，其余区域判断为无裂缝。错分13个子区域，漏分14个子区域。网络识别精度较高，有效实现了整体立面的裂缝识别。

表4  裂缝识别网络分类精度统计表

Tab.4  Classification accuracy of the crack detection network

分类网络训练阶段	准确率	召回率	F1分数
	99.152	97.381	98.258
立面裂缝识别阶段	识别子区域	判断为无裂缝	判断为有裂缝
	3 720	3 494	226
	识别精度	漏分	错分
		14	13

核查分类结果发现，漏分子区域多存在更细微的裂缝、位于遮挡弱光处或空调窗户占较大比重；而错分子区域多存在线型阴影、电线、空调漏水痕迹等具有裂缝相似特征的纹理，如图11所示。干扰背景的抑制和近似特征的准确判断是裂缝分类网络调优的关键方向。

图11  分类网络难以识别的子区域

Fig.11  Problematic subregion in crack detection

根据2.2中的步骤，对裂缝子区域开展了几何特征提取，如图12所示。立面分辨率在2.1mm~2.4mm，几何精度在1cm以内，因此可以根据像素数直接计算各子区域裂缝骨架线长度，如表5所示。

图12  各子区域裂缝提取

Fig.12  Crack extraction in each subregion

表5  图12中的子区域裂缝长度统计

Tab.5  Crack length statistics of subregions in Fig.12

子区域	骨架线影像长度（pixel）	骨架线计算长度（cm）
窗檐处裂缝	126	41.0
暗处裂缝	103	33.5
网状裂缝	350	84.7
细微裂缝	108	35.1

将提取的裂缝骨架线按照各子区域的坐标写入同一图层，映射回建筑三维模型，可实现裂缝形态与建筑整体空间位置的一体化表达，如图13所示，为整体建筑裂纹属性、分布及演变趋势的进一步分析提供了数据支撑。

图13  建筑健康一体化表达模型

Fig.13  Building health information model

4 结论与展望

提出了场景信息引导的无人机巡检任务规划方法，开展了建筑立面高精度重建和整体立面裂纹智能识别，为实现建筑巡检到病害识别的全过程自动化提供了新的思路：

（1）观测能力提升巡检水平。表面病害的有效识别依赖全覆盖、高精度、高分辨率、纹理精细观测数据。本研究提出的方法可以针对建筑结构特征和周边环境条件，根据采集需求，有效开展任务规划，为获取高精度表面观测数据提供保障。

（2）智能处理助力精准监测。在高质量观测的基础上，构建了裂纹智能识别模型，实现了整体立面裂纹的高精度快速识别，支撑了立面裂纹形态及其分布的有效分析。

（3）一体化表达支撑健康建档。建筑重建与裂纹识别相结合，将建筑信息与病害属性集成，可为建筑健康建档和全生命周期监测更新防护提供基础数据支撑。

利用无人机高精度覆盖巡检数据，实现了建筑整体裂纹区域的快速识别与提取。基于分类网络的子区域识别提取，由于对裂纹的拆分再还原，会影响裂纹形态的高精度还原及走向的准确判断。因此，构建识别与提取一体（骨架线+宽度）的稳健轻量化学习模型，开展多任务载荷协同监测，提升健康状态指标多维度表征水平是下一阶段研究的重点。

作者贡献声明

刘 春：论文的构思者及负责人，指导实验开展、论文写作与修改。

艾克然木·艾克拜尔：负责实验设计和实施，完成数据分析与论文初稿的写作。

蔡天池：负责实验设计和试验结果分析，参与论文写作与绘图。