摘要
建立了基于小波降噪的光纤感温数据背景噪声值识别和污水管网入流无干扰检测方法,并结合实际污水管道识别的动态入流入渗事件进行了验证。结果表明:不同降噪算法得到的背景噪声阈值范围较大,对照实际污水与雨水入流事件,阈值取约±0.3 ℃左右时的识别效果最佳;阈值调节方法为算法选择的主导因素,多级阈值调节相比不调节和单级调节具有明显优势。据此给出了小波函数、阈值估计方法和阈值调节方法的优化参数,以实现可靠的污水管道检测效果。
排水管网是重要的城市水环境基础设施,在保证城市安全运行和改善水环境质量方面发挥着重要作用。截至2022年底,我国城市排水管道长度超过90万km,其中近47.5 %的管道建成年限超过10
目前排水管网检测评估的常用方法是闭路电视检测(closed-circuit television, CCTV)法,该方法通过投放管道机器人获得管道内的实时图像,直观显示管道结构性和功能性缺陷。但是,CCTV在大范围的管网检测中不仅成本昂贵,而且在污水管道中逐段的封堵、导排也难以实施。近年来,基于水质特征因子的排水管网诊断方法也受到关
光纤分布式测温(fiber-optic distributed temperature sensing, FDTS)是20世纪80年代发展起来的一项实时监测技术,通过沿纵向铺设光缆对周边介质温度进行感知,判定温度异常点位和进行实时预警。FDTS技术目前已较为广泛应用于燃气输送管线和输油管线的漏损实时监测、重要电力设备及输电电缆的升温预警、大型土工构筑物如水坝、隧道等的健康风险评
FDTS数据中通常包含了来自光电探测与信号采集处理过程中的突变、波动等噪声,当外部入流水温与管道水温差别较小时,温度数据的质量直接影响数据分析和结果判定的可靠性。因此,有必要研究光纤测温数据的降噪方法。尤其是当外部入流水温与管道水温差别较小时,FDTS噪音水平识别不合理会造成诊断结果的误判。赵
小波变换作为一种时频分析手段,能够根据测量信号与噪声的频率特性差异,从时域和频域上进行特征提取与噪声滤除,适用于非平稳信号的降
如

图1 光纤测温系统的布置与工作原理
Fig. 1 Schematic diagram of layout and operating principle of FDTS
光纤测温系统工作时,脉冲光首先由激光器发射并注入光纤。它在光纤中向前传输的过程中不断产生后向散射光,并返回接收器进行信号放大和处理。根据光纤不同点位(代表了管道不同点位)后向拉曼散射光中的反斯托克斯光和斯托克斯光光子强度相对大小,可实时计算对应点位的温
光纤采集的温度信号通常包含了系统器件带来的噪声信号,其主要来源于光电探测过程与信号采集处理过程。频谱分析方法利用光纤测温数据趋势部分和噪声部分频幅不同的特点,提取出数据中的趋势部分。噪声相比于温度信号通常表现出振荡频率更高、振幅更小的频率特性。本文采用离散小波变换,变换后原信号分解为包含温度信号特征的低频部分,产生近似系数;以及包含噪声特征,产生细节系数的高频部分。基于小波变换的阈值去噪算法对细节系数设定一个阈值,当系数小于该阈值时,判断为噪声进行滤除,对大于阈值的部分予以保留。小波降噪算法的实现主要有以下三个基本步骤:
(1)信号的小波分解与重构
不同的小波函数具有不同的频谱特性,选择合适的小波函数有助于准确地分解与表示信号。在温度信号去噪中,常用的离散正交小波族为Daubechies(dbN)、Symlets(symN)和Coiflets (coifN),N为小波函数的阶数。dbN小波函数具有良好的正则性,随阶数增加使得重构信号更加光滑,除db1外不具有对称性,symN小波对dbN小波进行对称性改良,使信号的相位失真减小。coifN小波则有更长的支撑长度、更大的消失矩阶数,使能量集中程度更高而局部化能力较差。综合小波函数的性质与经
分解层数通常不应超过log2n(n为信号数据长度),并考虑信噪比大小进行选取。分解层数越多,更多的高频分量被滤除,但同时伴随数据失真及计算量的增加,通常取3~5层分
(2)小波系数的阈值处理
对信号的细节系数进行阈值处理,理想的阈值应该刚好大于最大噪声水平,以尽可能去除所有噪声而不滤掉有用的温度信号。常用的阈值估计方法包括,无偏风险估计阈值(rigrsure,简称rigr);固定式阈值(sqtwolog,简称sqtw);启发式阈值(heursure,简称heur);极大极小方差阈值(minimaxi,简称mini)。其中,固定式与启发式阈值估计能够更有效地去噪,而无偏风险与极大极小方差阈值估计则更为保守,适合提取弱小信号。
传统的阈值函数包括硬阈值(表示为hard)和软阈值(表示为soft)两种类型。前者保留完整的细节系数,后者将系数减去阈值,使得重构信号更平滑。为避免硬阈值函数产生的温度突变,本文统一选择软阈值函数。随着分解层数的增加,噪声细节系数在不断衰减,温度信号近似系数逐级增
(3)小波重构
将最后一层的近似系数与处理后的细节系数进行小波逆变换,完成去噪信号的重构。
基于1.2节所述的小波阈值去噪算法,确定实际污水管道中光纤测温背景噪声阈值。方法描述如下:
(1)光纤设备采集的管道水温数据可由矩阵S表示,如
(1) |
(2)对于每个测量时刻,对整个管道长度m的温度信号进行小波变换及降噪处理,得到降噪后的温度数据及降噪水温矩阵D;
(2) |
(3)将含噪水温矩阵S与降噪后矩阵D相减,得到噪声矩阵O;
(3) |
(4)根据噪声矩阵O的所有噪音数据绘制累计频率直方图。以95 %置信区间作为参考,将0.025分位数对应负向背景噪声阈值,0.975对应正向背景噪声阈值。
在确定背景噪声阈值的基础上,进一步构建基于空间相邻两点水温温差的三值矩阵,实现污水管道入流点位的自动识别。具体方法为:
(1)对空间相邻两点的温度做差值计算,如
(4) |
(2) 获得整个温度数据集的空间水温差值矩阵S1,如
(5) |
(3)将得到的背景噪声阈值与水温差值进行比较,赋予-1、0、1三个数值,标识管道的不同状态。具体规则如下:
(6) |
当某点位的超出阈值,表示该点位的水温异常,将温差高于正向阈值的事件记作1,低于负向阈值的事件记作-1,温差处于正、负阈值内的视为由噪声引起的正常温度波动,记作0。所有时空点位的取值构成三值矩阵,并作图以可视化的方式识别管道入流事件的发生位置及其时间。
在上海某公司内部院落污水管道铺设光纤,实时采集管道水温数据(
采用DSC-DTS2K-1BX型光纤测温仪及GL-KZ-100-MM-H2型感温光纤,测量频率为1 min·
监测时段为2020年8月6日13:00至8月25日16:00,共计19 d;数据采集期间还经历了一次降雨事件。根据现场调查,在该公司内部办公楼及食堂的位置(

图2 研究区域示意图
Fig. 2 Description of study site
使用Matlab小波工具箱开展小波降噪算法的数值试验,参数设定如
参数名称 | 参数设定与选项 |
---|---|
阈值估计方法 | rigr、heur、sqtw、mini |
阈值函数 | soft |
阈值调节方法 | mln、sln、one |
分解层数 | 5 |
小波函数 | db2、db4、db5、coif1、coif4、sym6、sym8 |

图3 背景噪声阈值结果
Fig. 3 Threshold of background noise
根据84种背景噪声阈值结果,得到三值矩阵并作图,如图

图4 使用不调节阈值方法的降噪后三值图像
Fig. 4 Denoised three-value image based on one threshold rescaling method

图5 使用多级噪声阈值调节方法的降噪后三值图像
Fig. 5 Denoised three-value image based on mln threshold rescaling method

图6 使用单级噪声阈值调节方法的降噪后三值图像
Fig. 6 Denoised three-value image based on sln threshold rescaling method
从图
对于污水管道的降雨入流事件,由于雨水入流产生的水温变化较小,其识别效果与噪声阈值取值有关:若背景噪声阈值取值很小,则降雨入流事件“淹没”在背景噪声中,很难将其识别出来。这说明合理确定背景噪声阈值至关重要。图

图7 雨水入流识别效果好的小波降噪方法
Fig. 7 Wavelet denoising methods with ideal stormwater inflow identification
分析与该背景噪声阈值范围对应的小波函数和阈值方法,可以发现mln阈值调节方法具有明显优势,说明对阈值的多级调节是必要的;在不同的分解尺度上调节阈值,可以获取更准确的噪声大小。
在使用mln阈值调节的基础上,不同的阈值估计方法对应的最优小波函数不同。从4种阈值估计方法来看,sqtw阈值估计只有在使用sym6小波函数时得到了合理的噪声阈值;heur阈值估计在使用coif1、sym6、sym8小波函数时得到合适的噪声阈值;mini阈值估计是在使用coifl1、sym8小波函数时得到合适的噪声阈值;而rigr阈值估计则是在使用db4、coif4小波函数时得到的噪声阈值合理。从该结果来看,阈值估计方法与小波函数的选择对于得到合理的噪声阈值是相互影响的,应该以组合的形式判断最佳的方法。
为进一步量化8种阈值估计方法与小波函数组合的性能,采用信噪比(signal-to-noise ratio, SNR)与均方根误差(root-mean-square error, RMSE)两个指标做量化评价,量化结果见
) | (7) |
式中:S(n)为原始温度数据;D(n)为降噪后的温度数据;N为数据个数。
组合方法 | 信噪比 | 均方根误差 |
---|---|---|
sqtw-sym6 | 39.8 | 0.21 |
heur-coif1 | 40.7 | 0.21 |
heur-sym6 | 40.7 | 0.18 |
heur-sym8 | 39.2 | 0.21 |
mini-coif1 | 42.2 | 0.18 |
mini-sym8 | 41.2 | 0.17 |
rigr-db4 | 41.1 | 0.21 |
rigr-coif4 | 41.4 | 0.18 |
均方根误差衡量管道各点降噪前与降噪后水温的偏差大小,计算公式为
(8) |
均方根误差越小,表明管道水温数据受噪声值的影响就越小。
从
本文建立了基于光纤测温和小波降噪的污水管道数字化检测方法,以解决管道不断水运行条件下的污水管道检测问题,总结如下:
(1) 针对实际污水管道的FDTS数据,不同小波降噪算法生成的背景噪声阈值差距明显。基于84种小波降噪数值试验结果表明,不同降噪算法得到的噪声阈值范围在±0.07 ℃~±0.78 ℃之间。对照实际污水管道的入流事件,合理的FDTS背景噪声值约为±0.3 ℃ 。因此,小波降噪算法的选择对于准确判断污水管道污水和雨水入流事件具有重要影响。背景噪声阈值过大,会将异常温度数据信息误认为噪声而造成入流事件判断的遗漏;背景噪声阈值过小,则入流事件“淹没”在背景噪声中,难以将其识别出来。
(2)各种小波降噪算法中,阈值调节方法对降噪效果的影响较大。在不调节、单级噪声阈值调节、多级噪声阈值调节方法中,多级噪声阈值调节方法具有明显的优势。在多级噪声阈值调节的基础上,发现不同阈值估计方法对应的最优小波函数不同,二者对降噪效果具有相互作用关系。8种阈值估计方法与小波函数组合算法具有理想的降噪效果。
(3)基于光纤测温和小波降噪的污水管道数字化检测方法,对于本研究中温差较小的雨水入流事件也具有理想的识别效果。在合理选择小波降噪算法的基础上,该方法不仅可用于污水管道的入流识别,也可用于污水管道地下水入渗、河湖水倒灌、雨水管道污水混接等各种管道问题的检测,同时具有不对管道运行造成干扰的优势。后续研究中可针对更多的实际排水管道检测,采用小波降噪算法确定不同检测场景下的FDTS背景噪声阈值,并对本研究建议的小波降噪算法合理性予以进一步验证。
作者贡献声明
尹海龙:负责协调研究的整体设计与规划,监督研究的进展,并在研究概念生成、论文的审阅及修订工作中提供了重要指导。
吴玟萱:负责实验方法设计、数据分析及结果可视化,并撰写论文初稿。
胡意扬:负责数据采集。
魏 卿:协助完成了论文的撰写和修订。
祁海玥:协助完成了论文的撰写和修订。
参考文献
中华人民共和国住房与城乡建设部. 2022年城乡建设统计年鉴 [M]. 北京: 中国建筑工业出版社, 2023. [百度学术]
Ministry of Housing and Urban-Rural Development of the People’s Republic of China. China urban-rural construction statistical yearbook 2022 [M]. Beijing: China Architecture & Building Press, 2023. [百度学术]
徐祖信, 汪玲玲, 尹海龙. 基于水质特征因子和Monte Carlo理论的雨水管网混接诊断方法[J]. 同济大学学报(自然科学版),2015,43(11):1715. [百度学术]
XU Zuxin, WANG Lingling, YIN Hailong. Quantification of non-storm water flow entries into storm drains using Monte Carlo-based marker species approach[J]. Journal of Tongji University (Natural Science), 2015, 43(11):1715. [百度学术]
徐祖信, 王诗婧, 尹海龙, 等. 污水管网中雨水混接来源的高效诊断方法[J]. 同济大学学报(自然科学版),2017,45(3):384. [百度学术]
XU Zuxin, WANG Shijing, YIN Hailong, et al. Cost-effective locating inappropriate rainfall inflow into urban sewer network[J]. Journal of Tongji University (Natural Science),2017,45(3):384. [百度学术]
SILVA L C B, SEGATTO M E V, CASTELLANI C E S. Raman scattering-based distributed temperature sensors: A comprehensive literature review over the past 37 years and towards new avenues[J]. Optical Fiber Technology, 2022, 74:103091. [百度学术]
LI Jian, ZHANG Mingjiang. Physics and applications of Raman distributed optical fiber sensing[J]. Light: Science & Applications,2022,11(1):128. [百度学术]
DEL VAL L, CARRERA J, POOL M, et al. Heat dissipation test with fiber-optic distributed temperature sensing to estimate groundwater flux[J]. Water Resource Research,2021,57(3):1. [百度学术]
HOES O A C, SCHILPEROORT R P S, LUXEMBURG W M J, et al. Locating illicit connections in storm water sewers using fiber-optic distributed temperature sensing[J]. Water Research,2009,43(20):5187. [百度学术]
SCHILPEROORT R P S, CLEMENS F H L R. Fibre-optic distributed temperature sensing in combined sewer systems[J]. Water Science & Technology,2009,60(5):1127. [百度学术]
LANGEVELD J G, DE HAAN C, KLOOTWIJK M, et al. Monitoring the performance of a storm water separating manifold with distributed temperature sensing[J]. Water science & technology,2012,66(1):145. [百度学术]
NIENHUIS J, DE HAAN C J, LANGEVELD J G, et al. Assessment of detection limits of fiber-optic distributed temperature sensing for detection of illicit connections[J]. Water Science and Technology,2013,67(12):2712. [百度学术]
KESSILI A, VOLLERTSEN J, NIELSEN A H. Automated monitoring system for events detection in sewer network by distribution temperature sensing data measurement[J]. Water Science & Technology, 2018,78(7):1499. [百度学术]
KECHAVARZI C, KEENAN P, XU X, et al. Monitoring the hydraulic performance of sewers using fibre optic distributed temperature sensing[J]. Water,2020,12:2451. [百度学术]
赵亚, 王强, 凌张伟. 基于选择性平均阈值的分布式光纤自来水管泄漏检测定位及实验分析[J]. 激光与光电子学进展,2019,56(3):34. [百度学术]
ZHAO Ya, WANG Qiang, LING Zhangwei. Experimental analysis and leakage location detection of tap water pipes based on distributed optical fiber with selective average threshold[J]. Laser & Optoelectronics Progress, 2019, 56(3):34. [百度学术]
SAXENA M K, RAJU S D V S J, ARYA R, et al. Raman optical fiber distributed temperature sensor using wavelet transform based simplified signal processing of Raman backscattered signals[J]. Optics and Laser Technology,2015,65:14. [百度学术]
薛志平, 王东, 王宇, 等. 分布式光纤拉曼测温系统信噪比优化研究[J]. 传感技术学报,2020,33(1):17. [百度学术]
XUE Zhiping, WANG Dong, WANG Yu, et al. Research on performance optimization of snr for distributed optical fiber raman temperature measurement system[J]. Chinese Journal of Sensors and Actuators,2020,33(1):17. [百度学术]
宁武霆, 赵春菊, 周宜红, 等. 混凝土坝光纤测温噪声特征及降噪方法[J]. 水电能源科学,2021,39(6):73. [百度学术]
NING Wuting, ZHAO Chunju, ZHOU Yihong, et al. Combined noise reduction model of distributed optical fiber temperature measurement data for concrete dam[J]. Water Resources And Power,2021, 39(6):73. [百度学术]
解海军, 李静蕊, 董毅, 等. 小波基和阈值参数对瞬变电磁信号去噪效果影响[J]. 西安科技大学学报,2020,40(4):682. [百度学术]
XIE Haijun, LI Jingrui, DONG Yi, et al. Influence of wavelet base and threshold parameters on de-noising effect of transient electromagnetic signal[J]. Journal of Xi’an University of Science and Technology,2020,40(4):682. [百度学术]
李维松, 许伟杰, 张涛. 基于小波变换阈值去噪算法的改进[J]. 计算机仿真,2021,38(6):348. [百度学术]
LI Weisong, XU Weijie, ZHANG Tao. Improvement of threshold denoising method based on wavelet transform[J]. Computer Simulation,2021,38(6):348. [百度学术]
XIAO Han, HU Danfeng, WANG Jiajun. Threshold selection of wavelet denoising based on optimization algorithms[C]// International Conference on Innovations and Development of Information Technologies and Robotics(IDITR). Chengdu: IEEE,2022:88-92. [百度学术]
张恒,潘仲明.平稳小波去噪算法中的参数选择[J].国防科技大学学报,2019,41(4):165. [百度学术]
ZHANG Heng, PAN Zhongming. Parameters selection of stationary wavelet denoising algorithm[J]. Journal of National University of Defense Technology,2019,41(4):165. [百度学术]
WANG Honghui, WANG Sibo, WANG Xiang, et al. RDTS noise reduction: A fast method study based on signal waveform type[J]. Optical Fiber Technology,2021,65:102594. [百度学术]