摘要
结合建筑物地基激光雷达点云与立面单幅影像,解决窗口几何和结构信息描述困难等关键问题。利用深度学习算法进行影像中窗口的识别与提取,并对窗口影像进行线特征提取与拟合得到窗口的结构类型,同时对建筑物点云数据进行网格划分与窗口轮廓提取,得到窗口的几何参数。根据所提结构与几何信息从窗口模型库中调取窗口模板并修改,实现建筑物窗口的自动建模。所提方法的窗口提取精确度可达89.5%,几何精度在5 cm以内。
当前我国城镇化建设正在不断推进,无论是“智慧城市”还是“实景三维中国”都在现如今城市发展中起到不可或缺的作用。城市LoD3(level of details)建筑物模型是“智慧城市”的主体,通常需要非常逼真、精致的窗口模
激光雷达技术(light detection and ranging, LiDAR)作为一种主动式、远距离观测手段,具备观测速度快、测量精度高等优点,利用该技术采集到的点云数据对逆向建
结合以上研究现状,针对LoD3建筑物窗口建模过程中存在的建模自动化程度低、模型过于简化、模型结构类型有限等问题,本文提出一套完整、高效的建筑物窗口自动建模方法与流程。通过对建筑物立面地基点云与立面单幅影像的分别处理,快速获取窗口几何参数与结构类型,并利用所提取参数与窗口语义信息进行窗口的自动分类,之后依据分类结果从提前构建的窗口模型库中调取符合结构类型的窗口模型,最后对所调模型进行结构与参数修改。建模结果表明,所构建窗口模型几何精度在5 cm以内,单个窗口的建模时间约为1.5 s,模型结构符合原始窗口结构,通过模型库调取模型也大大缩短了建模的时间成本。本文所提研究方法对于进一步细化LoD3建筑物模型细节层次具有重要意义。
技术流程见
图1 技术流程图
Fig. 1 Overall technical flowchart
通过地面激光雷达扫描仪采集得到的建筑物立面数据通常包含大量干扰地物,例如道路、植被等,因此需要首先对点云数据进行预处理并提取所需建筑物立面。目前,建筑物立面点云提取方法较为成熟,许多研究已经通过基于语义特征或点密度等方法成功实现了建筑物立面点云的提
(1) |
式中:为以点为圆心、r为半径所建立的局部邻域点云;C为该局部邻域点云构成的协方差矩阵;为邻域点集的重心;分别为矩阵C的特征值和特征值对应的特征向量,其最小特征值对应的特征向量即为点的法向量估计值。
为了得到建筑物窗口的几何尺寸参数,对所提取建筑物立面点云进行窗口轮廓提取。通常情况下窗口以行列形式在建筑物立面规则、均匀分布,且建筑立面上的大多数特征边界都是平行或垂直于地面,因此本文提出“圆柱滚转”算法进行建筑物网格划分和窗口轮廓提取,其中网格划分目的是为了建立窗口几何参数与结构类型的一一对应关
(1) 点云旋转。原始点云的姿态通常是任意的,为了方便后续的窗口轮廓提取,需要将建筑物立面点云旋转并投影至XOZ平面内。激光扫描仪通常可以保证坐标系的Z轴垂直向上,因此只需要在XOY平面上绕Z轴旋转一个角度,本文采用PCA算法计算主立面上的法向量,使该法向量垂直于XOY面,其中主立面是指包含最多点的面,通常是建筑物墙面。点云旋转矩阵表达式如下:
(2) |
式中:R为旋转矩阵;为旋转角度,可以通过主立面的法向量和XOZ面法向量之间的叉积获得;为旋转轴的单位矢量。
(2) 建筑物特征边界提取。旋转建筑物立面点云后需要进行立面特征边界的提取,特征边界主要是指门、窗、墙边界,这也是网格划分的关键。门、窗和墙边界通常表示为数据的端点、拐点或边界点。为了提取这些点,本文采用基于正态向量估计的方法实现特征边界的检测和提
(3) 窗口轮廓提取。提取特征边界后的点云数据通常包含噪声点,应将其过滤掉,并且为了将点云划分为格网,必须对水平和垂直特征边界进行分类。本文利用“圆柱滚转”的方法,当提取竖直特征边界时,模拟一半径为、长度为建筑物立面高的圆柱从建筑物最左侧点处沿立面点云X方向进行滚转,每次滚转s直至滚转至建筑物最右侧点处,在滚转过程中判断圆柱内包含点的个数是否大于阈值,若大于则保留,否则滤除,所保留的点即为所需的竖直特征边界。提取水平特征边界时与此同理,此时圆柱长度为建筑物立面长并从建筑物最底侧滚转至建筑物最高侧。最后,根据分类后的水平及竖直特征边界进行窗口轮廓的提取及几何参数的获取。在几何参数获取过程中,通过计算分类后的水平特征边界间的点云欧式距离得到窗口的计算高度,通过计算分类后的竖直特征边界间的点云欧氏距离得到窗口的计算宽度。其中,当计算窗口高度时,欧氏距离指两特征边界内所有点z坐标平均值的差的绝对值,与此同理,当计算窗口宽度时,欧氏距离指两特征边界内所有点x坐标平均值的差的绝对值,其计算表达式与原理示意图分别
(3) |
式中:为窗口i的宽度;为特征边界i内所有点x坐标的平均值;为特征边界i内所有点个数;为特征边界i内点j的x坐标值;为某行/列窗口总个数;为窗口i的高度;为特征边界i内所有点z坐标的平均值;为特征边界i内点j的z坐标值。
图2 建筑物窗口几何参数提取示意图
Fig. 2 Diagram for extracting geometric parameters of building windows
该方法不仅简单高效,同时可以过滤噪声点,仅需修改圆柱半径、滚转步长s及包含点阈值 3个参数即可实现特征边界的分类,其中的取值与所提特征边界的点云个数有关。算法示意图如
(4) |
式中:为所提取特征边界的点云个数。
图3 “圆柱滚转”算法示意图
Fig. 3 Schematic diagram of “rectangle translation”
在网格划分过程中,考虑到窗口的分布规律,并为便于后续建立窗口的几何与结构对应关系,本文以单个窗口为单位,并对网格按坐标系进行标号。网格划分应遵循以下原则:
(1) 在水平方向上,两个相邻网格以左右两个相邻窗口的边界为基础,根据相邻两个窗口边界距离的一半作为划分。
(2) 在垂直方向上,取上下相邻窗口之间边界距离的一半进行划分。
(3) 当窗口在边界提取过程中未提取到特征边界时,划分基于同一行或同一列中的其他窗口边界。
(4) 当一行或一列有两个不同尺寸窗口时,根据较大窗口的边界进行划分。
影像数据包含丰富的语义信息,通过影像进行建筑物窗口的提取相较于点云更加稳定、高效,有别于传统的多视影像,本研究仅需一张建筑物立面影像即可实现窗口的结构类型获取。为了提高影像中窗口识别的准确率,本研究使用YOLOv5网络进行窗口的提
本文采用多种建筑物立面开源数据集作为训练数据,包括eTRIM
(5) |
(6) |
式中:为精确度;为召回率;TP为正确提取的窗口个数;FP为错误提取的窗口个数;FN为未被提取出的窗口个数。
图4 部分开源数据集窗口识别结果
Fig. 4 Results of window recognition
建筑物窗口一般由窗框、横挺及竖挺组成,这些构件是窗口结构信息的根本,也是进行窗口分类的依据,所以需要对所提取的窗口影像进行线特征拟合以获得其组成构件。现有的大多数线特征拟合算法仅能提取细小轮廓线,而对于较粗的窗框、横竖挺等构件提取效果较差。因此本文首先对影像进行二值化处理以将窗口的构件与非构件进行区分,但由于部分影像拍摄时存在阴影使二值化后的部分构件不明显,之后需对二值化后影像进行三次“膨胀”处理以突出构件部分。最后对影像进行骨架提取,并利用最小二乘算法进行直线与曲线的拟合。由于二值化过程中阴影的存在会使影像产生噪声,因此在线拟合过程中须限制拟合线的最少点个数以剔除噪声影响。以某一模拟窗口为例,其线特征拟合结果如
图5 窗口线特征拟合结果
Fig. 5 Fitting result of window line feature
对窗口的线特征拟合后,需要根据所拟合线特征进行窗口结构分类。目前,市面上大多数窗口可分类为单扇窗、双扇窗、多扇窗、组合窗及拱形窗,通过计算所拟合线特征的类型、长度、个数及位置将窗口归入以上5类。窗口分类的标准如下:
(1) 单扇窗:窗框为矩形且横挺、竖挺个数为0。
(2) 双扇窗:窗框为矩形且横挺、竖挺个数为1。
(3) 多扇窗:窗框为矩形,包含多横挺或多竖挺或多横、竖挺,且横、竖挺长度均与窗框长宽相近。
(4) 组合窗:窗框为矩形,同时包含1横挺和多竖挺,且竖挺长度不全为窗框长。
(5) 拱形窗:窗框为拱形,之后根据横、竖挺结构并按照以上4项将其进一步划分为拱形单扇窗、拱形双扇窗、拱形多扇窗及拱形组合窗。
窗口分类后,即可结合窗口的几何参数进行窗口模型修改与生成。首先,由于建筑物立面通常包含多个窗口,为避免窗口几何紊乱需将窗口几何参数与结构类型进行匹配。前文已将点云数据以窗口为单位进行网格划分并标号,因此只需将影像中窗口按相同坐标系进行标号即可根据标号实现几何参数与结构类型的对应。之后,根据窗口的分类结果从提前构建的窗口模型库中调取窗口模板。最后,根据窗口几何参数、所拟合线特征的长度及位置并结合Revit二次开发修改窗口模板的窗框尺寸与横、竖挺位置与长度,实现自动建模。目前,窗口模型库中已包含5种窗口类型共32个窗口模板,满足大多数窗口的建模需求。相较于人工窗口建模方法,当建筑物立面包含数十甚至上百个窗口时,该方法无需对每个窗口进行单独建模,可以有效加快建模速度、提高建模效率。窗口模型库中部分窗口模板
图6 窗口模型库中部分窗口模板
Fig. 6 Part window templates in windows model library
为验证本文窗口建模方法的有效性,采用两套数据进行窗口建模分析。其中,数据1为同济大学某教学楼BIM(building information modeling)模型转换得到的点云数据,数据质量较高,几乎无噪声。数据2为同济大学某实验楼,采用Z+F IMAGER 5010C激光扫描仪进行该建筑物的立面数据采集,并使用普通消费级相机对两建筑物分别拍摄立面影像。两类数据通过立面提取及旋转后的点云数据及所拍摄立面影像分别如图
图7 数据1、数据2点云及立面影像
Fig. 7 Point cloud and facade images of Data 1 and Data 2
利用本文方法对两建筑物立面点云数据进行处理,数据1中建筑物特征边界提取、窗口轮廓提取及网格划分结果分别如图
图8 数据1窗口划分过程
Fig. 8 Windows division process of Data 1
图9 数据2窗口划分过程
Fig. 9 Windows division process of Data 2
数据1 | 实际宽度/m | 计算宽度/m | 宽度误差/m | 实际高度/m | 计算高度/m | 高度误差/m |
---|---|---|---|---|---|---|
Window 1_1 | 2.600 | 2.648 | 0.048 | 2.300 | 2.340 | 0.040 |
Window 1_2 | 2.600 | 2.648 | 0.048 | 2.300 | 2.340 | 0.040 |
Window 1_3 | 2.600 | 2.648 | 0.048 | 2.300 | 2.340 | 0.040 |
Window 1_4 | 2.600 | 2.642 | 0.042 | 2.300 | 2.340 | 0.040 |
Window 1_5 | 2.600 | 2.641 | 0.041 | 2.300 | 2.340 | 0.040 |
Window 2_1 | 2.600 | 2.648 | 0.048 | 2.300 | 2.341 | 0.041 |
Window 2_2 | 2.600 | 2.648 | 0.048 | 2.300 | 2.341 | 0.041 |
Window 2_3 | 2.600 | 2.648 | 0.048 | 2.300 | 2.341 | 0.041 |
Window 2_4 | 2.600 | 2.642 | 0.042 | 2.300 | 2.341 | 0.041 |
Window 2_5 | 2.600 | 2.641 | 0.041 | 2.300 | 2.341 | 0.041 |
注: 黑体数据为最大、最小值。
数据2 | 实际宽度/m | 计算宽度/m | 宽度误差/m | 实际高度/m | 计算高度/m | 高度误差/m |
---|---|---|---|---|---|---|
Window 1_1 | 2.000 | 2.015 | 0.015 | 2.000 | 2.046 | 0.046 |
Window 1_2 | 2.000 | 2.012 | 0.012 | 2.000 | 2.046 | 0.046 |
Window 2_1 | 2.000 | 2.015 | 0.015 | 2.000 | 2.039 | 0.039 |
Window 2_2 | 2.000 | 2.012 | 0.012 | 2.000 | 2.039 | 0.039 |
Window 3_1 | 2.000 | 2.015 | 0.015 | 2.000 | 2.028 | 0.028 |
Window 3_2 | 2.000 | 2.012 | 0.012 | 2.000 | 2.028 | 0.028 |
注: 黑体数据为最大、最小值。
其中,
利用本文方法对两建筑物立面影像进行处理,分别选择两数据的任一窗口为例,数据1建筑物窗口识别与提取、窗口线特征拟合与分类结果分别如图
图10 数据1窗口分类过程
Fig. 10 Window classification process of Data 1
图11 数据2窗口分类过程
Fig. 11 Window classification process of Data 2
根据分类结果分别从多扇窗模型库及组合窗模型库中调取窗口模板,并根据
图12 数据1窗口模型生成过程
Fig. 12 Window model generation process of Data 1
图13 数据2窗口模型生成过程
Fig. 13 Window model generation process of Data 2
为验证本文方法的模型生成效率,在GTX2080Ti、Intel(R) Core(TM) i9-9900K的计算机环境下分别计算两数据几何参数提取时间,如
数据 | 参数提取时间/s | |||||||||
---|---|---|---|---|---|---|---|---|---|---|
点云旋转 | 点云投影 | 特征边界提取 | 轮廓提取 | 网格划分 | 总计 | |||||
数据1 | 0.455 | 1.240 | 24.558 | 0.972 | 4.968 | 32.193 | ||||
数据2 | 0.238 | 0.785 | 15.997 | 0.969 | 4.501 | 22.490 |
数据 | 窗口建模时间/s | |||||
---|---|---|---|---|---|---|
影像二值化 | 影像“膨胀” | 骨架提取 | 线特征拟合 | 模型生成 | 总计 | |
数据1 | 0.023 | 0.250 | 0.018 | 0.617 | 0.653 | 1.561 |
数据2 | 0.022 | 0.261 | 0.032 | 0.596 | 0.574 | 1.485 |
SketchUp | 12.500 | |||||
文献[ | 0.417 |
由
本文提出一套完整和高效的建筑物窗口自动建模方法与流程,通过结合建筑物立面点云与单幅影像,解决了传统建筑物LoD3建模窗口过于简化、人力干预大等问题。实验证明,除在机器学习训练过程中需手动标出窗口进行数据集训练外,建模过程无需人工参与,且建模精度较高,几何误差在5 cm以内。由于在窗口结构类型识别过程中对每个窗口进行单独识别,因此本文方法不受同一建筑物窗口类型数影响,并且在建模过程中,窗口模型通过模型库进行调取与修改,无需单独生成,建模速度受窗口个数影响小,对单个窗口,建模时间仅为1.5 s左右。
同时本文方法依然存在不足之处,主要包括在窗口分类过程中对窗口的材质与用途并未进行细分,对于十分复杂的窗口没有对应的分类标准,且窗口几何参数的获取对点云数据质量依赖较大。未来,会通过改进点云处理算法并扩展窗口模型库来进一步提高本文方法的鲁棒性。
作者贡献声明
张子健:实验方案的设计与实施,算法编写,数据分析,论文初稿撰写。
伍吉仓:实验方案的改进,数据分析,论文修订。
张 磊:数据分析,论文修订。
厉彦一:论文修订与审核。
参考文献
闫利,李瑶,谢洪. 基于机载与车载LiDAR数据的LoD3城市建筑物模型自动重建[J]. 自然资源遥感, 2018, 30(4): 97. [百度学术]
YAN Li, LI Yao, XIE Hong. Automatic reconstruction of LoD3 city building model based on airborne and vehicle-mounted LiDAR data[J]. Remote Sensing for Natural Resources, 2018, 30(4): 97. [百度学术]
HU H, FENG B, XU B, et al. Efficient procedural modelling of building facades based on windows from sketches[J]. The Photogrammetric Record, 2022, 37(179): 333. [百度学术]
张子健,程效军,曹宇杰,等. 结合激光与视觉点云的古遗迹三维重建应用[J]. 中国激光, 2020, 47(11): 1110001. [百度学术]
ZHANG Zijian, CHENG Xiaojun, CAO Yujie, et al. Application of 3D reconstruction of relic sites combined with laser and vision point cloud[J]. Chinese Journal of Lasers, 2020, 47(11): 1110001. [百度学术]
单杰,李志鑫,张文元. 大规模三维城市建模进展[J]. 测绘学报, 2019, 48(12): 1523. [百度学术]
SHAN Jie, LI Zhixin, ZHANG Wenyuan. Recent progress in large-scale 3D city modeling[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1523. [百度学术]
杨必胜,陈驰,董震. 面向智能化测绘的城市地物三维提取[J]. 测绘学报, 2022, 51(7): 1476 [百度学术]
YANG Bisheng, CHEN Chi, DONG Zhen. 3D geospatial information extraction of urban objects for smart surveying and mapping[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(7): 1476. [百度学术]
杨泽鑫,叶勤,王旭飞,等. 面向城市场景异源多时相点云的自动配准[J]. 中国激光, 2023, 50(10): 1010004. [百度学术]
YANG Zexin, YE Qin, WANG Xufei, et al. Automated registration of cross-source and multi-temporal point clouds in urban areas[J]. Chinese Journal of Lasers, 2023, 50(10): 1010004. [百度学术]
梁福逊,杨必胜,黄荣刚,等. 基于多源点云的建筑物立面太阳能潜力估计[J]. 测绘学报, 2018, 47(2): 225. [百度学术]
LIANG Fuxun, YANG Bisheng, HUANG Ronggang, et al. Façade solar potential analysis using multisource point cloud[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(2): 225. [百度学术]
刘春,艾克然木·艾克拜尔,蔡天池. 面向建筑健康监测的无人机自主巡检与裂缝识别[J]. 同济大学学报(自然科学版), 2022, 50(7): 921. [百度学术]
LIU Chun, AKBAR Akram, CAI Tianchi. UAV autonomous inspection and crack detection towards building health monitoring [J]. Journal of Tongji University(Natural Science), 2022, 50(7): 921. [百度学术]
潘宁,杜豫川,岳劲松,等. 基于点云数据的道路变形类病害自动化检测方法[J]. 同济大学学报(自然科学版), 2022, 50(3): 399. [百度学术]
PAN Ning, DU Yuchuan, YUE Jinsong, et al. Automatic detection method of pavement deformation distress based on point cloud data[J]. Journal of Tongji University(Natural Science), 2022, 50(3): 399. [百度学术]
OLSEN D J, PITMAN N D, BASAK S, et al. Sketch-based building modelling[C]//GRAPP 2011 Proceedings of the International Conference on Computer Graphics Theory and Applications. Vilamoura: DBLP, 2011: 119-124. [百度学术]
WEN X D, XIE H, LIU H, et al. Accurate reconstruction of the LoD3 building model by integrating multi-source point clouds and oblique remote sensing imagery[J]. Isprs International Journal of Geo Information, 2019, 8(3): 135. [百度学术]
SCHWARZ M , MULLER P. Advanced procedural modeling of architecture[J]. Acm Transactions on Graphics, 2015, 34(4): 107. [百度学术]
赵梦娜,花向红,冯绍权,等. 基于点云切片的建筑物门窗信息提取[J]. 中国激光, 2020, 47(6): 183. [百度学术]
ZHAO Mengna, HUA Xianghong, FENG Shaoquan, et al. Information extraction of buildings, doors, and windows based on point cloud slices[J]. Chinese Journal of Lasers, 2020, 47(6): 183. [百度学术]
向泽君,滕德贵,袁长征,等. 基于多层次语义特征的建筑立面点云提取方法[J]. 土木与环境工程学报, 2021, 43(4): 99. [百度学术]
XIANG Zejun, TENG Degui, YUAN Changzheng, et al. An extraction method for building façade point cloud based on multi-level semantic features[J]. Journal of Civil and Environmental Engineering, 2021, 43(4): 99. [百度学术]
杨必胜,董震,魏征,等. 从车载激光扫描数据中提取复杂建筑物立面的方法[J]. 测绘学报, 2013, 42(3): 411. [百度学术]
YANG Bisheng, DONG Zhen, WEI Zheng, et al. Research on influence of polar gaps on gravity field recovery using GOCE data[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(3): 411. [百度学术]
王果,沙从术,王健. 考虑局部点云密度的建筑立面自适应分割方法[J]. 激光与光电子学进展, 2015, 52(6): 061001. [百度学术]
WANG Guo, SHA Congshu, WANG Jian. Study on segmentation of building facade considering local point cloud density[J]. Laser & Optoelectronics Progress, 2015, 52(6): 061001. [百度学术]
朱滨,程小龙,刘绍龙,等. 基于PCA法矢估计的建筑点云立面边界提取[J]. 测绘与空间地理信息, 2021, 44(6): 38. [百度学术]
ZHU Bin, CHENG Xiaolong, LIU Shaolong, et al. Building point cloud elevation boundary extraction based on pca normal vector estimation[J]. Geomatics & Spatial Information Technology, 2021, 44(6): 38. [百度学术]
ZHANG Z J, CHENG X J, WU J C, et al. The “fuzzy” repair of urban building facade point cloud based on distribution regularity[J]. Remote Sensing, 2022, 14(5): 1090. [百度学术]
ZHAO R B, PANG M Y, LIU C X, et al. Robust normal estimation for 3D LiDAR point clouds in urban environments[J]. Sensors, 2019, 19(5): 1248. [百度学术]
LU D N, LU X Q, SUN Y X, et al. Deep feature-preserving normal estimation for point cloud filtering[J]. Computer Aided Design, 2020, 125: 102860. [百度学术]
吕禾丰,陆华才. 基于YOLOv5算法的交通标志识别技术研究[J]. 电子测量与仪器学报, 2021, 35(10): 137. [百度学术]
LÜ Hefeng, LU Huacai. Research on traffic sign recognition technology based on YOLOv5 algorithm[J] Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 137. [百度学术]
BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[DB/OL]. [2023-01-05].https://arxiv.org/abs/2004.10934. [百度学术]
DONG X D, YAN S, DUAN C. A lightweight vehicles detection network model based on YOLOv5[J]. Engineering Applications of Artificial Intelligence, 2022, 113: 104914. [百度学术]
WANG C Y, BOCHKOVSKIY A, LIAO H. Scaled-yolorv4: scaling cross stage partial network[C]//2021 IEEE Computer Vision and Pattern Recognition. Kuala Lumpur: IEEE, 2021: 13024-13033. [百度学术]
KORC F, FORSTNER W. eTRIMS image database for interpreting images of man-made scenes[R]. Bonn: University of Bonn, 2009. [百度学术]
TYLEEK R , RADI S. Spatial pattern templates for recognition of objects with regular structure[C]//2013 German Conference on Pattern Recognition. Saarbrücken: DAGM, 2013: 364-374. [百度学术]
OLIVIER T. Ecole centrale paris facades database[DB/OL].[2023-01-06]. http://vision.mas.ecp.fr/Personnel/teboul/data.php. [百度学术]
GADDE R. Learning grammars for architecture-specific facade parsing[J]. International Journal of Computer Vision, 2016, 117(3): 290. [百度学术]
XU Z, TAO D C, ZHANG Y, et al. Architectural style classification using multinomial latent logistic regression[C]//2014 European Conference on Computer Vision. Zurich: Springer, 2014: 600-615. [百度学术]