摘要
为了改善城市实景模型边缘模糊,提出了一种曲率引导的结构化线面特征重构方法。根据曲率特征将网格分割为平面、可展凹、可展凸以及不可展曲面4类,在平面分割结果内提取平面,在可展凹和可展凸分割结果内提取直线,对过度弯曲的不可展区域进行保留,最终形成包含几何特征的复合网格模型。结果表明,结合曲率信息预先设置几何特征的潜在范围,使得结构化线面特征更可靠,同时保证城市实景中复杂的树结构不被错误地提取为平面。
城市实景的三维重建技术是当前摄影测量领域的研究热点之一。利用飞行器在城市场景中进行多角度拍摄,通过影像立体匹配技术生成密集点云,再对密集点云进行构网,最终构建出实景三维网格模
研究者们尝试在网格模型上重构线面特征。在平面提取方面,主流的网格平面提取方法包括RANSAC(random sample consensus
在网格线特征提取方面,文献[
综上所述,现有的线面重构方法多以顶点的位置和法向作为特征提取的依据,而本研究中使用表达曲面弯曲程度的曲率信息引导结构化线面特征重构。首先,根据网格顶点的曲率将网格模型分割为平面、可展凹、可展凸以及不可展4类;然后,在平面分割结果中提取平面,再利用三角面的拓扑关系将平面以区域生长的方式向可展凹和可展凸内延伸,重构直线特征,而不规则的不可展区域不作处理;最后,形成了一种带有几何特征的复合网格模型。
在微分几何中可展曲面被定义成高斯曲率为零的曲
图1 曲面类型
Fig.1 Surface types
具体地,令、分别为最大曲率和最小曲率。平面的主曲率特征为;可展凸的主曲率特征为;可展凹的主曲率特征为;不可展的主曲率特征为且。将以上4种特征标记为,表示N个格网顶点所属类型的集合。为描述网格顶点的所属类别,将曲率进行归一化,即,其中为网格曲率标准方差,则每个顶点属于各个类型的概率为
式中:表示每个顶点属于每个类型的概率。对网格M的每个顶点求其分类器结果,取最大值作为初始分类结果,该结果仅考虑了独立顶点的曲率信息,类别结果存在噪声(如
式中:V为网格顶点集合;E为网格边集合。表示网格顶点作为不同类型所产生的代价,计算式如下所示:
表示邻接顶点i和顶点j的类别相同与不同时的代价,计算式如下所示:
起到使相邻顶点标签一致的作用,即在马尔科夫假设下相邻顶点应有相同的标签。
图2 基于曲率分析的网格分割结果
Fig.2 Mesh segmentation results based on curvature analysis
为使能量函数最小,采用α-expansio
城市场景中存在大量的平面和线特征,但由于网格重建方法存在过度平滑问题,网格模型总是在边界处形成弯曲的弧形,该弧形具有凸或凹的特点,被本方法识别为可展凹或可展凸(见
图3 线构建过程
Fig.3 Line construction process
在多视立体技术生
定性实验数据采用2组无人机影像构建的实景数据。实景数据1采集于武汉市某地,包括114张像素分辨率为5 456×3 632的影像,无人机飞行高度约为100 m,地面分辨率约为3 cm。实景数据2采集于奉化市某地,包含224张像素分辨率为6 000× 4 000的影像,无人机飞行高度约为150 m,地面分辨率约为4 cm。2组数据包含了写字楼、住房、厂房、树、车等典型地物。
将初始网格模型重构为包含几何特征的复合网格模型,其中平面采用随机彩色渲染,非平面以灰色渲染,如
图4 本算法平面提取结果
Fig.4 Plane extraction results of the algorithm in this paper
对比了初始网格与线面特征重构网格的可视化结果(见
图5 结构化线面特征重构结果
Fig.5 Reconstructed results of the structured line and plane features
图6 网格密度对比
Fig.6 Comparison of mesh density
线面特征数量与简化率的量化统计如
数据 | 面提取数量 | 线提取数量 | 简化率/% |
---|---|---|---|
实景数据1 | 268 | 304 | 46 |
实景数据2 | 1 292 | 759 | 74 |
选取城市摄影测量数据集Ai3d
针对平面提取结果,对比了经典的RANSAC方
图7 平面提取结果
Fig.7 Results of plane extraction
方法 | Area1 | Area2 | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
平面数 | 简化率/% | 平面数 | 简化率/% | |||||||||
RANSAC方法 | 10.6 | 14.5 | 12.4 | 17.8 | 684 | 14.6 | 22.4 | 16.1 | 2.1 | 1 112 | ||
Region Growing方法 | 5.1 | 7.9 | 11.7 | 17.3 | 5 868 | 18.2 | 26.6 | 16.2 | 21.3 | 5 561 | ||
GoCoPP方法 | 6.3 | 9.3 | 12.0 | 19.4 | 307 | 14.8 | 20.4 | 17.7 | 21.6 | 1 385 | ||
SBMP方法 | 4.3 | 5.8 | 11.5 | 17.6 | 9 826 | 9.0 | 11.8 | 15.8 | 19.6 | 10 163 | ||
本方法 | 2.4 | 3.6 | 11.2 | 17.2 | 3 153 | 75 | 4.2 | 6.2 | 14.9 | 18.7 | 2 574 | 64 |
针对线特征提取结果,对比了快速检测三维线段(LFP)方
图8 线提取结果
Fig.8 Results of line extraction
方法 | Area1 | Area2 | ||||||||
---|---|---|---|---|---|---|---|---|---|---|
线段数 | 线段数 | |||||||||
LFP方法 | 4.6 | 7.2 | 11.8 | 17.4 | 791 | 9.7 | 13.6 | 24.1 | 28.7 | 2 305 |
本方法 | 4.2 | 5.5 | 11.5 | 15.4 | 2 811 | 8.2 | 10.6 | 22.4 | 25.4 | 7 872 |
重构城市实景模型中的结构化线面特征,有助于实现实景模型的语义化与结构化。通过曲率将网格分割为平面、可展凸、可展凹和不可展曲面,重构线面特征,改善网格模型边角模糊问题,同时对平面结构进行简化,大量减少网格三角形数量。重构的平面特征几乎覆盖建筑物,未来将建立起平面之间的拓扑关系,将建筑物分离为单体,完成结构化重建。
作者贡献声明
梅 熙:研究选题,提供研究思路和技术指导,论文审定。
王 义:实验数据获取,论文撰写与审定。
曲英杰:数据处理,方法实现,论文整体构思与撰写。
邓 非:问题探讨,论文审定。
参考文献
卢俊,张保明,郭海涛,等.利用三视匹配元进行多视影像批处理重建[J].武汉大学学报(信息科学版),2017,42(1):109. [百度学术]
LU Jun,ZHANG Baoming,GUO Haitao,et al. Multi-view image batch reconstruction using three-view matching elements[J]. Geomatics and Information Science of Wuhan University,2017,42(1):109. [百度学术]
KAZHDAN M, HOPPE H, RUSINKIEWICZ S, et al. Poisson surface reconstruction with envelope constraints[C]//Computer Graphics Forum. Geneva: The Eurographics Association, 2020: 173-182. [百度学术]
PAN H, GUAN T, LUO K, et al. A visibility-based surface reconstruction method on the GPU[J]. Computer Aided Geometric Design, 2021, 84: 101956. [百度学术]
FAVRE K, PRESSIGOUT M, MARCHAND E, et al. A plane-based approach for indoor point clouds registration[C]//25th International Conference on Pattern Recognition (ICPR).Piscataway: IEEE, 2021: 7072-7079. [百度学术]
HUO X, DOU L, LU H, et al. A line/plane feature-based lidar inertial odometry and mapping[C]// 2019 Chinese Control Conference (CCC). Piscataway: IEEE, 2019: 4377-4382. [百度学术]
谢婧婷,蔺小虎,王甫红,等.一种点线面约束的激光雷达和相机标定方法[J].武汉大学学报(信息科学版),2021,46(12):1916. [百度学术]
XIE Jingting, LIN Xiaohu, WANG Fuhong, et al. A point-line-surface constraint lidar and camera calibration method [J]. Geomatics and Information Science of Wuhan University,2021, 46(12):1916. [百度学术]
潘珊珊,吕佳辉,方昊,等.高效鲁棒三维结构化重建[J].中国图象图形学报,2022,27(2):421. [百度学术]
PAN Shanshan, LÜ Jiahui, FANG Hao, et al. Efficient and robust 3D structured reconstruction[J]. Chinese Journal of Image and Graphics, 2022, 27(2): 421. [百度学术]
SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for point-cloud shape detection[C]//Computer Graphics Forum. Oxford: Blackwell Publishing Ltd., 2007: 214-226. [百度学术]
RABBANI T, VAN DEN HEUVEL F, VOSSELMANN G. Segmentation of point clouds using smoothness constraint[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006, 36(5): 248. [百度学术]
BOUZAS V, LEDOUX H, NAN L. Structure-aware building mesh polygonization[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 167: 432. [百度学术]
YU M, LAFARGE F. Finding good configurations of planar primitives in unorganized point clouds[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2022: 6367-6376. [百度学术]
LIN Y, WANG C, CHEN B, et al. Facet segmentation-based line segment extraction for large-scale point clouds[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(9): 4839. [百度学术]
LU X, LIU Y, LI K. Fast 3D line segment detection from unorganized point cloud[J/OL]. [2022-02-10]. arXiv preprint arXiv:1901.02532. [百度学术]
朱克忆. PowerMILL多轴数控加工编程实例与技巧[M]. 北京: 机械工业出版社, 2013. [百度学术]
ZHU Keyi. PowerMILL multi-axis CNC machining programming examples and techniques [M]. Beijing: Machine Industry Press, 2013. [百度学术]
BOYKOV Y,VEKSLER O, ZABIH R. System and method for fast approximate energy minimization via graph cuts:USA, 6744923[P]. 2004-06-01. [百度学术]
GARLAND M, HECKBERT P S. Surface simplification using quadric error metrics[C]//Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New York:ACM Press, 1997: 209-216. [百度学术]
VU H H, LABATUT P , PONS J P , et al. High accuracy and visibility-consistent dense multiview stereo[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 34(5):889. [百度学术]
ZOLANVARI S M, RUANO S, RANA A, et al. DublinCity: annotated LiDAR point cloud and its applications[J/OL]. [2022-02-10]. arXiv preprint arXiv:1909.03613. [百度学术]