摘要
城市地下管道是城市的血脉经络,但随着排水管道的大量投入运营和使用年限增加,引发了一系列的管道病害安全隐患,如管道整体结构变形、内表面破裂和管中异物插入等问题,传统的病害图像视频采集、检测和后期病害分类甄选都是从二维视角出发,欠缺对三维空间信息(深度)的考虑。针对上述3种病害从生成深度图、由二维深度图重建三维管道病害这两方面进行研究,提出了一种基于boosting-monodepth的双重深度估计方法以提升深度图效果,最终生成画面连续一致、轮廓清晰的深度图。性能评估方面采用Abs-Rel、RMSE、SqRel、ORD和D³R等通用指标,与传统算法对比,结果显示boosting-monodepth的RMSE值降低了30%,精确度指标δ<1.25时,模型深度信息预测精确度提高了18%,此后以得到的深度图为基础重建管道病害三维点云,并在CloudCompare软件上三维可视化,最后采用随机采样一致算法测算病害深度并和实测数据对比证明其有效性和准确性。
城市地下管道作为城市建设中举足轻重的一部分,对城市发展起着至关重要的作用,主要承担公路纵横向排水、市政工程中供热、处理污水净水等任务。目前大部分地下管道设施的建设已经初具规模或已成型,城市发展中对管道的侧重点也逐渐从施工铺设转向养护保修。随着管道投入使用的年限逐步增长,初期施工的质量不一和地面沉降等问题引发了一系列管道病
目前已有的深度估计方法主要分为传统方
丰富的数据集也促进了深度学习的发展,MAKE 3D(2008年)、NYU Depth(2012年)、KITTI(2013年)的出现也促使人们由传统方法转向关注全监督、无监督和弱监督的深度学习方法。然而在管道方面,采集到的图像重复率比较高,实际可用的数据量并不庞大,国内相关研究还不充分。对于管道病害的三维重建方法主要有激光雷达扫描、机器视觉和传感器法,吴恩
深度估计网络采用基于通用U-Net的Pixel2Pixel结构,相比于传统的自编码网络Auto-Encoder,U-Net增加了跳跃连接,如

图1 Pixel2Pixel生成器网络结构
Fig. 1 Network structure of Pixel2Pixel generator
传统的GAN(generative adversarial nets)方法通常使用整个图片作为网络输入,这样会使得生成的图片难以兼顾一些细节信息,整体较为模糊。可以注意到L1、L2此类的损失函数虽然会导致部分图片模糊,但是具有很好的提取和处理低频信息的能力,因此Pixel2Pixel架构使用L1 loss重建来处理低频部分,高频信息部分使用一种“图像块”的patchGAN进行学习。patchGAN判别器基于马尔科夫随机场设计,即把图像分成尺寸为n×n的图像块,将不同大小的patch依次输入判别器,逐一验证生成的图像块是否为真,而不需要输入整张图片再去判别全局是否为真。因为patchGAN是马尔可夫性的,不同patch大小的像素之间相互独立,将N取不同值的判断结果取平均值再输出判别器,即为最终结果。已有的实验结果表明,N越大,模型处理图像细节纹理的效果就越好,输出图的整体效果也越好。当N取70时,网络训练的参数量适中,patchGAN判别器的处理速度最快,它只需要注重图像局部信息,运算速度有所提升。
普通GAN的目标函数LGAN(G,D)如
(1) |
(2) |
除了改善传统GAN函数,还添加了L1正则化即LL1(G)对网络进行优化,如
(3) |
最终的目标函数G*如
(4) |
用来训练和测试的图片往往以固定分辨率输入网络,较小的分辨率可以保留图像的整体结构,场景一致性较好,但容易错失局部细节信息,相反较大的分辨率可以捕捉到局部细节轮廓,但场景的一致性又随着分辨率的增大而持续降低,同时还会产生一部分低频伪影。深度估计的模型和感受野都是固定的,如

图2 感受野与不同分辨率图像
Fig.2 Receptive fields and images with different resolutions
图像边缘是影响深度估计网络性能的重要因素,它与上下文线索存在一定联系,将原始RGB图像进行色彩梯度阈值处理得到粗略边缘图,再作为上下文线索估计整个图片的深度可取得比较不错的效果。如
提高分辨率的同时可搜索的深度线索也在变少,网络可以获得的像素信息也趋于匮乏,这样会导致网络估计的准确性降低,boosting-monodepth深度估计网络基于图像内容自适应输入的分辨率,低分辨率输入取感受野的大小(小于感受野并不会优化全景结构,反而会导致没有充分利用网络容量而削弱性能),高分辨输入取R20。再通过融合网络将2个深度估计结果进行合并,把R20的细粒度细节赋在低分辨率估计上,可以取得物体轮廓清晰且伪影较少的深度图。
当图像中某些场景比感受野的接受域更深更远时,深度估计网络难以获得这些像素和区域周围的信息,一味地提高输入分辨率反而会破坏输出深度图的细节,合适的输入分辨率随图像中内容的不同而有所差异。图像中某些内容丰富的地方也具备更高的上下文线索密度,因此再次利用融合网络对这些“块”进行单独估计有利于提高最终深度图的准确度,这种分块估计称为“patch estimation”。
patch的选择主要分为2个步骤。首先按感受野的大小平铺整个图像,平铺过程保证每个相邻的patch之间有1/3的重叠,如

图3 补丁选择第1步
Fig.3 Step 1: Patch selection

图4 补丁扩张第2步
Fig.4 Step 2: Patch expansion
一张图中会有多个patch,对这些patch再依次进行双重估计以取得边缘清晰的局部深度图,然后将这些结果通过融合网络合并到之前的深度估计结果上,即先前由R0和R20生成的base estimation。至此已经获得了细节较为丰富的深度图(Mid-DepEst),为了发挥出网络的最大效能,最后能呈现出完整连续且像素过渡柔和的图像,再将Mid-DepEst和base estimation通过融合网络,整合出最终的深度估计图,全部过程一共进行了3次合并,整个技术路线流程如

图5 技术路线
Fig. 5 Technical route
以图形、纹理和颜色等信息为源数据的计算机视觉依赖大量的图片来训练网络,基于单目图像的深度估计分为无监督、有监督和自监督(弱监督)这几类。其中有监督学习的训练集是大量带有深度真值的RGB-D图像集,此类数据集获取难度较大且可采集到的数据量有限,网络计算难度也较高,相比之下自监督更灵活且使用的图像无需带有深度标签。深度估计方面目前应用最广泛的公共数据集有3种情形,室内场景如NYU Depth V2数据集;室外场景包括KITTI、NUScenes、MAKE 3D、CityScapes;合成数据集如Scene Flow。本文使用KITTI数据集来训练神经网络,该数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院共同开发,主要用于双目立体匹配、单目深度估计、光流、3D目标检测和跟踪等。采集数据的设备为一辆搭载彩色相机、灰度相机、激光扫描仪和GPS导航系统等各类传感器的汽车,训练集包含39 810张图片,验证集包括4 424张图片。此外,排水管道内部的病害图片难以人工获取,为了得到比较好的识别和深度估计效果,选取变形、破裂、异物插入这3类管道病害进行研究,并在这几类病害中再择优选取尺寸和分辨率都较大的图片来测试。
训练的自监督单目深度估计模型基于Pytorch框架,选用Linux系统、NVDIA RTX 3080Ti GPU计算模块,并用公共数据集KITTI进行预训练,训练批大小为12,迭代(epochs)为20,此外初始学习率过小会导致网络收敛缓慢,为了避免进入局部最优区域,初始学习率设置为1
对于boosting-monodepth,输入图像尺寸最大采用1 920×1 080,而对于较小尺寸的图,Pixel2Pixel的10层U-net网络会将小尺寸图像上采样至1 024×1 024的分辨率。monodepth2的初始默认分辨率为640×192,对于管道图片将其修改为640×480(需为32的倍数)。选取3个具有代表性的管道病害进行研究,分别是变形、破裂和异物插入,这几类病害结构形变较为明显,更容易被观察,其中变形图片532张,破裂589张,异物插入456张,通过在ImageNet上的预训练模型初始化Resnet101权重参数。
在本次实验中,从管道3类病害图片测试集中挑选了几张具有代表性的深度估计图与Zhou

图6 变形
Fig. 6 Deformation

图7 破裂
Fig. 7 Rupture

图8 异物插入
Fig. 8 Foreign body penetration
除了识别出常规的支管插入,有些近景物体也能估计。从图
同时,boosting-monodepth深度估计方法也存在一些不足,有些清晰度不高的原始图像所估计出来的深度图效果不算太理想,非常细小的裂痕深度图细节还原度不高,管道内部表面腐蚀的此类病害因没有突出的明暗或距离变化而难以估计,但总体效果相比其他深度估计方案具有更好的效果。
对于深度估计任务,利用2种数据源(公共数据集KITTI和自采管道病害数据)来对不同的深度估计方法(monodepth2、midas、本文所使用的boosting-monodepth)进行训练测试,并对比分析在相同的评价指标下,本文方法和目前已有的深度估计网络之间的差异和优劣。
估计方法 | 有无监督 | 数据源 | 估计次数 | 绝对相对误差 | ORD | D³R | RMSE | 平方相对误差 | δ<1.25 |
---|---|---|---|---|---|---|---|---|---|
monodepth2 | 自监督 | KITTI | 单次 | 0.115 | 4.701 | 0.882 | 0.879 | ||
midas | 无监督 | KITTI | 单次 | 0.155 | 0.347 | 0.158 | 0.197 | 0.713 | |
boosting-monodepth(本文) | 自监督 | KITTI | 双重 | 0.388 | 0.242 | 0.156 | 0.789 | ||
monodepth2 | 自监督 | 管道病害 | 单次 | 0.208 | 6.856 | 1.768 | 0.678 | ||
midas | 无监督 | 管道病害 | 单次 | 0.117 | 0.554 | 0.467 | 0.479 | 0.693 | |
boosting-monodepth(本文) | 自监督 | 管道病害 | 双重 | 0.394 | 0.322 | 0.159 | 0.873 |
注: 下划线表示管道病害数据源方面的每项指标的最优结果。
从
从深度信息转化到三维点云是以不同的坐标系之间相互转换完成的,由二维深度图重建出三维模型是一个信息扩增过程,这个过程涉及4个坐标系,分别是世界坐标系、相机坐标系、图像坐标系和像素坐标系,它们之间一一对应,可以通过各种矩阵变换或者量化模型完成,其中三维重建主要是从图像坐标系到世界坐标系的变换。位于三维世界中的任意一点P,它在三维空间中的坐标是P(x,y,z),这个世界坐标系也是我们日常生活的客观世界,以此为基准可以描述相机的摆放位置以及物体的具体位点,即Pw(xw,yw,zw),以相机坐标系的坐标原点为相机的光心,在此坐标系下P点坐标为Pc(xc,yc,zc),由世界坐标转换到相机坐标的变换为
(5) |
其为刚体变换,各坐标系对应点的具体变换为
(6) |
(7) |
式中:R为旋转矩阵;T为平移矩阵。它们是相机的外参,和相机内参共同组成了坐标系变换的约束条件。
(8) |
通过深度估计方法已获得高质量的深度图,从中选取3种具有代表性的管道病害来重建三维结构,Matlab软件可以较好地访问提取图像的深度信息,通过
为了更直观地观察三维重建效果和测算深度,管道病害立体图用CloudCompare进行展示,图

图9 变形(三维)
Fig. 9 Deformation(3D)

图10 破裂(三维)
Fig. 10 Rupture (3D)

图11 异物插入(三维)
Fig. 11 Foreign body penetration (3D)
本文研究的管道均为排水管道,管道半径均为5.0~6.5m,在具体深度值方面,本文采用随机采样一致算法模拟管道表面,选定管道病害损伤点到管道面的距离然后测算其深度,同时在CloudCompare软件中测距并与现场实测数据做对比。从
病害种类 | 测算深度/mm | 真实深度/mm |
---|---|---|
破裂 | 25.99 | 27.81 |
变形 | 2 377.43 | 2 531.00 |
异物插入 | 9 076.49 | 9 255.00 |
城市地下管道是城市能量传输的重要载体,关乎整个城市的正常运作,管道的大量投入使用也导致了其内部结构的改变和表面的腐蚀破损,而以往对于管道病害的拍摄采集和后期人为分辨病害种类都是从二维角度出发,缺乏对三维空间信息(深度)的考量,针对此问题选取3类病害,即破裂、变形和异物插入,进行二维转三维的研究,具体工作如下:
提出了一种基于boosting-monodepth的提升图像深度估计效果的方法,相比于传统的自监督深度学习,该深度估计方法采用双重估计策略,通过融合合并网络将不同分辨率大小的管道病害图像多次整合,生成了画面场景一致、像素过渡柔和的深度图,尤其在一些管道发生明显结构变形和较大较深裂缝处,可以得到轮廓边界清晰的高质量深度图。同时本文在不同的测试集上验证了boosting-monodepth的有效性,并与经典的monodepth2和midas深度估计效果进行定量比较,结果表明相比于另2种方法,boosting-monodepth方法的均方根误差RMSE降低了约30%,δ<1.25时,模型精确度指标δ提高了约18%。得到了较好的深度图之后通过具有较好的深度信息访问功能的Matlab软件进行三维点云重建,以小孔成像理论为基础完成二维图像坐标系到三维点云世界坐标系的转换,同时在CloudCompare软件上可视化显示,同时运用随机采样一致算法测算深度并和真实现场实测数据进行比较,可知其具有不错的准确率和实际参考价值。
作者贡献声明
方宏远:论文思路指导、论文撰写、实验规划。
姜 雪:论文撰写、数据分析、实验结果可视化。
王念念:论文审阅及修订、论文思路指导。
胡群芳:总体技术方案及实验方法设计与数据分析。
雷建伟:现场管道实验部署与数据采集。
王 飞:论文指导与数据分析。
赵继成:实验数据提供及结果验证。
代 毅:提供实验设备、数据采集。
参考文献
BAAH K, DUBEY B, HARVEY R, et al. A risk-based approach to sanitary sewer pipe asset management[J]. Science of the Total Environment, 2015, 505: 1011. [百度学术]
LI Linyi, YANG Junsheng, GAO Chao, et al. Simulation tests on structural deformation and seepage field of high-speed railway tunnels under drainage clogging[J]. Chinese Journal of Geotechnical Engineering, 2021, 43(4): 715. [百度学术]
CAO Jingguo. Engineering demonstration of cured in place pipe repair material for urban drainage canals[J]. Water & Wastewater Engineering, 2020, 46(1): 115. [百度学术]
车毅峰. 城市排洪管道对城市应急系统的影响[J]. 四川水泥, 2017 (12): 288. [百度学术]
CHE Yifeng. Influence of urban flood discharge pipeline on urban emergency system [J]. Sichuan Cement, 2017 (12): 288. [百度学术]
ANBARI M J, TABESH M, ROOZBAHANI A. Risk assessment model to prioritize sewer pipes inspection in wastewater collection networks[J]. Journal of Environmental Management, 2017, 190: 91. [百度学术]
金惠玲,孙振平,杨海静,等.排水管道非开挖修复技术的应用现状及展望[J].混凝土世界, 2022(9):82. [百度学术]
JIN Huiling, SUN Zhenping, YANG Haijing, et al. Application status and prospect of trenchless repair technology for drainage pipes [J]. Concrete World, 2022(9):82. [百度学术]
QIN Chaokui, LI Jun, YanMingjun, et al. Analysis of failure probability of urban underground gas pipelines under corrosion effect[J]. Natural Gas Industry 2015,35(5):85. [百度学术]
YANG Lijian, SHEN Bo, GAO Songwei. Method of pipeline geographic measurement applied to pipeline inspection Gauge[J]. Instrument Technique and Sensor, 2013(11):84. [百度学术]
HUANG J, LEUNG K E, VERCELES R, et al. Automated detection of sewer pipe structural defects using machine learning[C]//WEFTEC 2017. [s.l.]: Water Environment Federation, 2017: 4605-4615. [百度学术]
俞树荣, 何娜, 顾生斌. 基于成本的长输管道腐蚀缺陷检测及维修规划[J]. 煤气与热力, 2010, 30(5): 21. [百度学术]
YU Shurong, HE Na, GU Shengbin. Cost based inspection and maintenance planning for corrosion defects of long-distance pipeline [J]. Gas & Heat, 2010, 30(5): 21. [百度学术]
徐小云, 颜国正, 鄢波. 一种新型管道检测机器人系统[J]. 上海交通大学学报, 2004, 38(8): 1324. [百度学术]
XU Xiaoyun, YAN Guozheng, YAN Bo. A new style pipeline inspection robot system[J]. Journal of Shanghai Jiaotong University, 2004, 38(8): 1324. [百度学术]
YE Wenwei, ZHOU Tianfu, HUANG Jinxuan, et al. Design of dual-vision double telecentric optical system based on machine vision[J]. Laser & Optoelectronics Progress, 2020, 57(1): 012202. [百度学术]
LIU Yan, WANG Gang, WANG Guodong, et al. For machine vision image acquisition and image processing of weld[J]. Computer Engineering and Applications, 2014, 2014(5):135. [百度学术]
WANG Weidong, ZHANG Kanghui, LI Ziqi, et al. Machine vision detection of foreign objects in coal using deep learning[J]. Journal of Mining Science and Technology, 2021, 6(1): 115. [百度学术]
李康. 基于机器视觉的管道内表面缺陷检测方法研究[D]. 包头:内蒙古科技大学, 2019. [百度学术]
LI Kang. Research on detection method of inner surface defects of pipeline based on machine vision [D]. Baotou: Inner Mongolia University of Science & Technology, 2019. [百度学术]
李耀宇, 王宏民, 张一帆, 等. 基于结构化深度学习的单目图像深度估计[J]. 机器人, 2017, 39(6): 812. [百度学术]
LI Yaoyu, WANG Hongmin, ZHANG Yifan, et al. Structured deep learning based depth estimation from a monocular image[J]. Robot, 2017,39(6): 812. [百度学术]
曾一鸣, 胡瑜, 韩银和, 等. 利用稀疏点云偏序关系的半监督单目图像深度估计[J]. 计算机辅助设计与图形学学报, 2019, 31(11): 2038. [百度学术]
ZENG Yiming, HU Yu, HAN Yinhe, et al. Exploiting partial order relationship of sparse point cloud for semi-supervised monocular image depth estimation[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(11): 2038. [百度学术]
SNAVELY N. Scene reconstruction and visualization from internet photo collections: A survey[J]. IPSJ Transactions on Computer Vision and Applications, 2011, 3: 44. [百度学术]
YUAN Hongxing, WU Shaoqun, YU Huiqing, et al. A 2D-to-3D method via semantic depth transfer[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(1): 72. [百度学术]
刘芳, 刘东升, 桂志国. 基于马尔科夫随机场的图像锐化方法[J]. 计算机工程, 2011, 37(1): 224. [百度学术]
LIU Fang, LIU Dongsheng, GUI Zhiguo. Image sharpening method based on markov random field[J]. Computer Engineering, 2011, 37(1): 224. [百度学术]
程婷婷, 郭立君, 黄元捷. 基于鲁棒高阶条件随机场的视频自动分割[J]. 计算机工程, 2015, 41(7): 261. [百度学术]
CHENG Tingting, GUO Lijun, HUANG Yuanjie. Automatic video segmentation based on robust higher order conditional random field[J]. Computer Engineering, 2015, 41(7): 261. [百度学术]
吴恩启. 微细管道内表面检测及三维重建关键技术研究[D]. 杭州: 浙江大学, 2005. [百度学术]
WU Enqi. Research on key technologies of inner surface detection and 3D reconstruction of micro-pipe [D]. Hangzhou: Zhejiang University, 2005. [百度学术]
叶晶, 周常河, 贾伟. 小型管道内壁三维成像测量系统[J]. 中国激光, 2010, 37(8): 2025. [百度学术]
YE Jing, ZHOU Changhe, JIA Wei. Small pipe inner wall three-dimensional imaging measurement system[J]. Chinese Journal of Lasers, 2010, 37(8): 2025. [百度学术]
盛沙, 戴波, 谢祖荣. 管道超声内检测三维成像技术研究[J]. 北京石油化工学院学报, 2012, 20(1): 1. [百度学术]
SHENG Sha, DAI Bo, XIE Zurong. Research on 3D imaging technology for ultrasonic internal inspection of pipeline [J]. Journal of Beijing Institute of Petrochemical Technology, 2012, 20(1): 1. [百度学术]
CHAE M J, KIM W, HWANG H K. Digital pipeline image scanning and intelligent data management for sewer pipelines[C]// International Pipelines Conference. Atlanta: [S.n.]: 2008: 1046-1056. [百度学术]
甘小明, 徐滨士, 张旭明, 等. 基于微型CCD的管道缺陷检测系统[J]. 机械工程师, 2004 (1): 77. [百度学术]
GAN Xiaoming, XU Binshi, ZHANG Xuming, et al. Pipeline defect detection system based on micro CCD [J]. Mechanical Engineer, 2004 (1): 77. [百度学术]
MORALEDA J, OLLERO A, ORTE M. A robotic system for internal inspection of water pipelines[J]. IEEE Robotics & Automation Magazine, 1999, 6(3): 30. [百度学术]
ZHOU T, BROWN M, SNAVELY N, et al. Unsupervised learning of depth and ego-motion from video[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE, 2017: 1851-1858. [百度学术]