网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

城市实景模型结构化线面特征重构方法  PDF

  • 梅熙 1
  • 王义 1
  • 曲英杰 2
  • 邓非 2
1. 中铁二院工程集团有限责任公司,四川 成都 610031; 2. 武汉大学 测绘学院,湖北 武汉 430072

中图分类号: V221.3

最近更新:2024-01-03

DOI:10.11908/j.issn.0253-374x.22167

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

为了改善城市实景模型边缘模糊,提出了一种曲率引导的结构化线面特征重构方法。根据曲率特征将网格分割为平面、可展凹、可展凸以及不可展曲面4类,在平面分割结果内提取平面,在可展凹和可展凸分割结果内提取直线,对过度弯曲的不可展区域进行保留,最终形成包含几何特征的复合网格模型。结果表明,结合曲率信息预先设置几何特征的潜在范围,使得结构化线面特征更可靠,同时保证城市实景中复杂的树结构不被错误地提取为平面。

城市实景的三维重建技术是当前摄影测量领域的研究热点之一。利用飞行器在城市场景中进行多角度拍摄,通过影像立体匹配技术生成密集点云,再对密集点云进行构网,最终构建出实景三维网格模

1。目前开源的网格重建算2-3从全局优化的角度求解表面,存在过度平滑的问题,使得构建的城市实景模型边缘模糊、表面起伏。城市场景最为显著的特点是存在大量平面和直线,重构这些结构化线面特征有利于实景模型的展示和测量。此外,准确提取三维线面特征对配4、定5、标6、结构化重7等研究均有重要意义。

研究者们尝试在网格模型上重构线面特征。在平面提取方面,主流的网格平面提取方法包括RANSAC(random sample consensus

8方法和区域生长方9。RANSAC方法将网格顶点作为点云处理,通过随机采样提取点云中的平面,这忽略了网格自身的拓扑关系,平面提取结果可能在网格表面上并不连续。区域生长方法则在网格上选取种子点进行扩散,聚类具有相近法向和距离的三角面。结构感知建筑物网格多边形化(SBMP)方10在此基础上进行改进,以平面度方法取代距离度量,聚类具有相同平面度的三角面。这类方法将网格的所有三角面都作为处理对象,即使是弯曲或者不规则的三角面也作为平面对待,导致错误的平面提取结果。无序点云的最优平面估计(GoCoPP)方11从全局能量函数的角度提取点云中的平面,并以增加、删除、修改等5种几何操作最小化能量函数实现点云中平面基元的提取,但所有平面基元仅贴附在一起,并不能保证拓扑连接。

在网格线特征提取方面,文献[

12-13]中使用相似的思路,即首先提取三维平面,而后在每个平面中提取线。不同的是,文献[12]中通过分割方法获取平面中的边界线,而文献[13]中通过角点提取组成线。这些方法关注平面内部线的重建,而对于平面与平面之间的线的重建研究较少。

综上所述,现有的线面重构方法多以顶点的位置和法向作为特征提取的依据,而本研究中使用表达曲面弯曲程度的曲率信息引导结构化线面特征重构。首先,根据网格顶点的曲率将网格模型分割为平面、可展凹、可展凸以及不可展4类;然后,在平面分割结果中提取平面,再利用三角面的拓扑关系将平面以区域生长的方式向可展凹和可展凸内延伸,重构直线特征,而不规则的不可展区域不作处理;最后,形成了一种带有几何特征的复合网格模型。

1 基于曲率的网格线面重构方法

1.1 基于曲率分析的网格分割

在微分几何中可展曲面被定义成高斯曲率为零的曲

14,较为直观的理解是沿着曲面母线对曲面进行展开而不会受到阻碍。图1为曲面类型示意图。可展曲面有一个重要的几何特征,即母线方向存在一个为零的主曲率,根据另一个主曲率的正负,可展曲面被分为可展凸和可展凹。不可展曲面是除了可展曲面以外的曲面,具有不规则的特点。如果2个主曲率都为零,该曲面就为平面;如果2个主曲率都不为零,该曲面就不可展。根据网格顶点的曲率特征,结合马尔科夫随机场(MRF)算法将网格模型表面分割为平面、可展凹、可展凸以及不可展。

图1  曲面类型

Fig.1  Surface types

具体地,令kmaxkmin分别为最大曲率和最小曲率。平面的主曲率特征为kmax=kmin=0;可展凸的主曲率特征为kmin=0<kmax;可展凹的主曲率特征为kmin<kmax=0;不可展的主曲率特征为kmin0kmax0。将以上4种特征标记为L=1,2,3,4l={l1,l2,,lN}表示N个格网顶点所属类型的集合。为描述网格顶点的所属类别,将曲率k进行归一化,即Gσ(k)=exp(-k2/2σ2),其中σ为网格曲率标准方差,则每个顶点属于各个类型的概率为

P(li|(kmin,kmax))=
Gσ(k(i)min)Gσ(k(i)max),li=1Gσ(k(i)min)(1-Gσ(k(i)max)),li=2(1-Gσ(k(i)min))Gσ(k(i)max),li=3(1-Gσ(k(i)min))(1-Gσ(k(i)max)),li=4

式中:P(li|(kmin,kmax))表示每个顶点属于每个类型的概率。对网格M的每个顶点求其分类器结果,取最大值作为初始分类结果,该结果仅考虑了独立顶点的曲率信息,类别结果存在噪声(如图2第二行所示)。因此,构建MRF模型,将曲率分析结果作为MRF模型的数据项,并根据顶点之间的邻接拓扑关系构建平滑项。优化全局能量函数U(l)N个网格顶点l的能量总和为U(l),即每个顶点数据项Di(li)和平滑项Vij(li,lj)的和,表示为

U(l)=iVDi(li)+{i,j}EVij(li,lj)

式中:V为网格顶点集合;E为网格边集合。Di(li)表示网格顶点作为不同类型所产生的代价,计算式如下所示:

Di(li)=1-P(li|(k(i)min,k(i)max))

Vij(li,lj)表示邻接顶点i和顶点j的类别相同与不同时的代价,Vij(li,lj)计算式如下所示:

Vij(li,lj)=0,li=lj1,其他

Vij起到使相邻顶点标签一致的作用,即在马尔科夫假设下相邻顶点应有相同的标签。

图2  基于曲率分析的网格分割结果

Fig.2  Mesh segmentation results based on curvature analysis

为使能量函数U(l)最小,采用α-expansion

15算法求解全局最优解。求解结果如图2所示,第一行为原始网格,第二行为根据曲率分析计算的初始分割结果,第三行为MRF算法优化后的分割结果。经MRF算法优化后,类别结果趋于相同。对分割的平面块内的顶点使用RANSAC算法进行平面拟合,可得到初始的平面结果。

1.2 基于区域生长的平面扩展

城市场景中存在大量的平面和线特征,但由于网格重建方法存在过度平滑问题,网格模型总是在边界处形成弯曲的弧形,该弧形具有凸或凹的特点,被本方法识别为可展凹或可展凸(见图2)。因此,在网格分割的基础上,将已经分割出的平面通过区域生长的方

6向可展的凸或凹进行延伸,重构出线特征(见图3)。具体地,每个平面的边缘顶点向邻接的可展凹或可展凸内的一邻域顶点延伸,若2个顶点法向之间的夹角小于45°且顶点到平面的距离小于网格模型所有边的平均边长,则延伸成功,该点成为平面点,继续向一邻域延伸,反之则停止延伸。如果在延伸过程中产生拓扑邻接(见图3),即2个邻域顶点所属的平面不同,就将2个顶点中距离交线最近的点投影到交线上。目前,平面与平面之间线的重建研究尚少,本研究通过曲率分割方法预估交线的范围,并通过平面延伸重构交线,而对于网格模型中不规则的不可展区域,不进行处理。

图3  线构建过程

Fig.3  Line construction process

1.3 基于线面特征的网格简化

网格简化算法以降低网格模型的精度换取三角面数量的减少,而本研究只针对重构的平面区域进行简化,网格形状不会因简化而改变。分别在每个平面提取结果所覆盖的三角面中实施经典的Quadric简化算

16。Quadric简化算法计算网格中每条边的二次误差度量并排序,依次折叠二次误差度量最大的边,使三角面数量减少,直到三角面数目减少到设置的阈值时停止。实际中,每个平面停止简化的阈值设置为原有三角面数量的5%。

2 实验分析与验证

在多视立体技术生

17的城市实景模型上进行测试。定性实验评估本方法的视觉结果,定量实验评估本方法提取平面和直线特征的准确性。

2.1 定性实验

定性实验数据采用2组无人机影像构建的实景数据。实景数据1采集于武汉市某地,包括114张像素分辨率为5 456×3 632的影像,无人机飞行高度约为100 m,地面分辨率约为3 cm。实景数据2采集于奉化市某地,包含224张像素分辨率为6 000× 4 000的影像,无人机飞行高度约为150 m,地面分辨率约为4 cm。2组数据包含了写字楼、住房、厂房、树、车等典型地物。

2.1.1 平面提取结果

将初始网格模型重构为包含几何特征的复合网格模型,其中平面采用随机彩色渲染,非平面以灰色渲染,如图4所示。实景数据1包含了大量的树木,复合模型很好地适应了该复杂场景。树地物在初始网格上表现得极为弯曲,基于曲率网格分割方法将其分割为不可展面(见图2e),不参与平面提取处理,从而保证了平面提取的准确性。实景数据2的场景相对较为简单,提取的彩色平面几乎将场景全部覆盖。

图4  本算法平面提取结果

Fig.4  Plane extraction results of the algorithm in this paper

2.1.2 结构化线面特征重构结果

对比了初始网格与线面特征重构网格的可视化结果(见图5图6)。初始网格的屋顶、立面和地面存在起伏(见图5),而本方法结果更为平整,平面上没有噪声。此外,本方法生成的网格模型在平面相交部分较初始网格更为“锐化”,能够清楚地确定交线的位置,即使是在屋顶边缘矮墙结构中(见图5)。最后,本网格相较于初始网格使用数量更少,采用更大的三角面构建平面(见图6)。

图5  结构化线面特征重构结果

Fig.5  Reconstructed results of the structured line and plane features

图6  网格密度对比

Fig.6  Comparison of mesh density

线面特征数量与简化率的量化统计如表1所示。简化率的计算方法为1-ndec/nori,其中ndec为简化后的三角面数量,nori为原始三角面数量。由于实景数据1存在更多没有被简化的树结构,因此简化率低于实景数据2。综上所述,本网格使用更少的顶点和三角面得到了更为平整且边结构“锐化”的网格模型。

表1  线面特征与简化率的量化统计
Tab.1  Quantitative statistics of the line and plane feature and compression rates
数据面提取数量线提取数量简化率/%
实景数据1 268 304 46
实景数据2 1 292 759 74

2.2 定量实验

2.2.1 数据与评价指标

选取城市摄影测量数据集Ai3dr

18进行定量实验,该数据集包括了美国Dublin市的2个区域Area1和Area2。每个场景有下视和倾斜视角的无人机影像以及机载雷达点云。下视影像的图像分辨率为 9 000×6 732,地面分辨率为3.4 cm。激光雷达点云的密度为335 m-2。以机载雷达数据为参考评价网格。以所有平面和线上点到最近雷达点的距离的均值(μM2L)和均方根误差(σR2L)评价精度。此外,所提取的线面特征应尽量贴近于原始网格,因此以所有平面和线上点到初始网格表面距离的均值(μM2M)和方差(σR2M)评价保真度。

2.2.2 平面特征评价

针对平面提取结果,对比了经典的RANSAC方

8、Region Growing方9以及SBMP方10(这里对比方法中平面提取部分)和GoCoPP方11(见图7)。RANSAC方法没有考虑网格顶点的邻接关系,出现跨区域的平面提取结果,导致网格严重失真。GoCoPP方法构建的结果最为简单,但忽略了最多的细节,提取的平面之间存在空隙,丢弃了原始网格的拓扑信息。Region Growing方法和SBMP方法具有相似的结果,都将网格模型的所有部分表达为平面,这使得小的不规则的屋顶结构和树结构出现错误的平面提取结果。本方法基于曲率信息预先设置平面特征的潜在范围,在窗户部分获得了更精细的平面分割结果(见图7第一行和第三行)。此外,原始网格中较为不规则的部分被平面提取跳过(见图7第一行中的建筑物屋顶、图7第三行中的树木以及图7第四行中的车),而其余方法将网格所有部分都变成平面,产生失真的结果。表2为所有方法提取的平面精度。RANSAC方法和GoCoPP方法严重失真,导致误差较大,而Region Growing方法和SBMP方法由于过度的平面拟合导致精度不高。本方法有更为精细的平面提取结果,同时对于树木等不规则网格部分没有提取平面,因此具有最高的保真度和精度。

图7  平面提取结果

Fig.7  Results of plane extraction

表2  平面提取精度
Tab.2  Accuracy of the extracted plane
方法Area1Area2
μM2M/cmσR2M/cm2μM2L/cmσR2L/cm2平面数简化率/%μM2M/cmσR2M/cm2μM2L/cmσR2L/cm2平面数简化率/%
RANSAC方法 10.6 14.5 12.4 17.8 684 14.6 22.4 16.1 2.1 1 112
Region Growing方法 5.1 7.9 11.7 17.3 5 868 18.2 26.6 16.2 21.3 5 561
GoCoPP方法 6.3 9.3 12.0 19.4 307 14.8 20.4 17.7 21.6 1 385
SBMP方法 4.3 5.8 11.5 17.6 9 826 9.0 11.8 15.8 19.6 10 163
本方法 2.4 3.6 11.2 17.2 3 153 75 4.2 6.2 14.9 18.7 2 574 64

2.2.3 线特征评价

针对线特征提取结果,对比了快速检测三维线段(LFP)方

13。LFP方法和本方法都基于空间信息直接提取三维线特征。图8第一行展示了整个测区的线提取结果,第二行和第三行展示了线特征与原始网格模型的叠加结果。本方法的线由面面相交获得,能够有效重构出建筑的结构线轮廓,相比LFP方法,本方法线特征与网格模型更加贴合,具有更高的精度(见表3)。

图8  线提取结果

Fig.8  Results of line extraction

表3  线提取精度
Tab.3  Accuracy of the extracted line
方法Area1Area2
μM2M/cmσR2M/cm2μM2L/cmσR2L/cm2线段数μM2M/cmσR2M/cm2μM2L/cmσR2L/cm2线段数
LFP方法 4.6 7.2 11.8 17.4 791 9.7 13.6 24.1 28.7 2 305
本方法 4.2 5.5 11.5 15.4 2 811 8.2 10.6 22.4 25.4 7 872

3 结语

重构城市实景模型中的结构化线面特征,有助于实现实景模型的语义化与结构化。通过曲率将网格分割为平面、可展凸、可展凹和不可展曲面,重构线面特征,改善网格模型边角模糊问题,同时对平面结构进行简化,大量减少网格三角形数量。重构的平面特征几乎覆盖建筑物,未来将建立起平面之间的拓扑关系,将建筑物分离为单体,完成结构化重建。

作者贡献声明

梅 熙:研究选题,提供研究思路和技术指导,论文审定。

王 义:实验数据获取,论文撰写与审定。

曲英杰:数据处理,方法实现,论文整体构思与撰写。

邓 非:问题探讨,论文审定。

参考文献

1

卢俊张保明郭海涛.利用三视匹配元进行多视影像批处理重建[J].武汉大学学报(信息科学版)2017421):109. [百度学术] 

LU JunZHANG BaomingGUO Haitaoet al. Multi-view image batch reconstruction using three-view matching elements[J]. Geomatics and Information Science of Wuhan University2017421):109. [百度学术] 

2

KAZHDAN MHOPPE HRUSINKIEWICZ Set al. Poisson surface reconstruction with envelope constraints[C]//Computer Graphics Forum. GenevaThe Eurographics Association2020173-182. [百度学术] 

3

PAN HGUAN TLUO Ket al. A visibility-based surface reconstruction method on the GPU[J]. Computer Aided Geometric Design202184101956. [百度学术] 

4

FAVRE KPRESSIGOUT MMARCHAND Eet al. A plane-based approach for indoor point clouds registration[C]//25th International Conference on Pattern Recognition (ICPR).PiscatawayIEEE20217072-7079. [百度学术] 

5

HUO XDOU LLU Het al. A line/plane feature-based lidar inertial odometry and mapping[C]// 2019 Chinese Control Conference (CCC). PiscatawayIEEE20194377-4382. [百度学术] 

6

谢婧婷蔺小虎王甫红.一种点线面约束的激光雷达和相机标定方法[J].武汉大学学报(信息科学版)20214612):1916. [百度学术] 

XIE JingtingLIN XiaohuWANG Fuhonget al. A point-line-surface constraint lidar and camera calibration method [J]. Geomatics and Information Science of Wuhan University20214612):1916. [百度学术] 

7

潘珊珊吕佳辉方昊.高效鲁棒三维结构化重建[J].中国图象图形学报2022272):421. [百度学术] 

PAN ShanshanLÜ JiahuiFANG Haoet al. Efficient and robust 3D structured reconstruction[J]. Chinese Journal of Image and Graphics2022272): 421. [百度学术] 

8

SCHNABEL RWAHL RKLEIN R. Efficient RANSAC for point-cloud shape detection[C]//Computer Graphics Forum. OxfordBlackwell Publishing Ltd.2007214-226. [百度学术] 

9

RABBANI TVAN DEN HEUVEL FVOSSELMANN G. Segmentation of point clouds using smoothness constraint[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences2006365): 248. [百度学术] 

10

BOUZAS VLEDOUX HNAN L. Structure-aware building mesh polygonization[J]. ISPRS Journal of Photogrammetry and Remote Sensing2020167432. [百度学术] 

11

YU MLAFARGE F. Finding good configurations of planar primitives in unorganized point clouds[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. PiscatawayIEEE20226367-6376. [百度学术] 

12

LIN YWANG CCHEN Bet al. Facet segmentation-based line segment extraction for large-scale point clouds[J]. IEEE Transactions on Geoscience and Remote Sensing2017559): 4839. [百度学术] 

13

LU XLIU YLI K. Fast 3D line segment detection from unorganized point cloud[J/OL]. [2022-02-10]. arXiv preprint arXiv:1901.02532. [百度学术] 

14

朱克忆. PowerMILL多轴数控加工编程实例与技巧[M]. 北京机械工业出版社2013. [百度学术] 

ZHU Keyi. PowerMILL multi-axis CNC machining programming examples and techniques [M]. BeijingMachine Industry Press2013. [百度学术] 

15

BOYKOV YVEKSLER OZABIH R. System and method for fast approximate energy minimization via graph cutsUSA6744923[P]. 2004-06-01. [百度学术] 

16

GARLAND MHECKBERT P S. Surface simplification using quadric error metrics[C]//Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New YorkACM Press1997209-216. [百度学术] 

17

VU H HLABATUT PPONS J Pet al. High accuracy and visibility-consistent dense multiview stereo[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence2011345):889. [百度学术] 

18

ZOLANVARI S MRUANO SRANA Aet al. DublinCity: annotated LiDAR point cloud and its applications[J/OL]. [2022-02-10]. arXiv preprint arXiv:1909.03613. [百度学术]