1.一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,包括具体步骤如下:
S2:对D1进行预处理,得到处理后的变电站道路破损图像数据集D2,并对D2中的每张变电站道路破损图像p进行低光照退化合成操作,得到低光照版本图像p',并构成一个变电站道路破损图像二元组
,由所有的变电站道路破损图像二元组构建成一个配对的变电站道路破损图像数据集D3;
S3:构建一种基于深度学习的低光照变电站道路破损检测模型,将配对的变电站道路破损图像数据集D3输入到低光照变电站道路破损检测模型中,用于识别变电站道路破损图像中的道路破损类型,并自动生成定位框,确定破损的具体位置和范围,其中道路破损类型包括裂缝、坑洞、翘起、沉降;
S4:在训练低光照变电站道路破损检测模型前,首先需要设定超参数,在完成初始配置后,将配对的变电站道路破损图像数据集分为训练集和验证集,确保每个数据集的独立性和代表性;
S5:模型训练完成后,应用训练好的低光照变电站道路破损检测模型对当前变电站道路破损数据进行识别分析,最终输出包含具体的变电站道路破损类型、位置识别结果,为变电站巡检人员提供精准的预警信息和后续处理建议。
2.根据权利要求1所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S1的具体步骤如下:
S11:采集正常光照下的变电站道路破损图像,构成原始变电站道路破损图像数据集D1;
S12:对D1进行人工标注,为后续模型训练提供标签,在标注过程中,使用标注工具框选出道路破损区域,并为每一块破损区域添加相应标签,标记出该区域的道路破损类型。
3.根据权利要求1所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S2的具体步骤如下:
S21:对D1中的所有变电站道路破损图像裁剪至统一的尺寸;
S22:采用旋转、翻转和噪声添加的数据增强操作对D1进行扩充,生成一个包含更多变电站道路破损图像的变电站道路破损图像数据集D2;
S23:采用亮度调整、对比度调整、颜色饱和度降低、模糊处理和颜色偏移的操作对D2中的每张变电站道路破损图像p进行处理,生成对应的低光照版本图像p';
S24:将p与p'组成一个变电站道路破损图像二元组
,由所有的上述变电站道路破损图像二元组构建一个配对的变电站道路破损图像数据集D3。
4.根据权利要求1所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S3的具体步骤如下:
S31:对于任意变电站道路破损图像二元组
∈D3,在第一分支中将p输入到第一Conv模块,生成第一正常光照道路破损特征图X1,同时将p'输入到第一Conv模块,生成低光照下第一低光照道路破损特征图X'1;在第二分支中将p输入到基于分解的反射率和光照分解模块DRD,生成第一正常光照道路破损反射率特征图R1,同时将p'输入到DRD模块中,生成第一低光照道路破损反射率特征图R'1;
S32:将输入到第二Conv模块中,生成第二道路破损特征图二元组,其中将X1输入至第二Conv模块中得到第二正常光照道路破损特征图X2,将X'1输入至第二Conv模块中得到第二低光照道路破损特征图X'2,由于第二Conv模块的结构与第一Conv模块完全相同,因此能够确保特征提取的连续性和一致性,在此基础上,将传递至CELAN模块,生成更高层次的特征图,即第三道路破损特征图二元组,其中将X2输入至CELAN模块中得到第三正常光照道路破损特征图X3,将X'2输入至CELAN模块中得到第三低光照道路破损特征图X'3;
S33:将输入到DLARK模块中,生成第二道路破损反射率特征图二元组,其中将X2输入至DLARK模块得到第二正常光照道路破损反射率特征图R2,将X'1输入至DLARK模块得到第二低光照道路破损反射率特征图R'2;
S34:为了进一步区分图像中的反射率和光照成分,并保持光照与反射率之间的一致性,将和输入到光照和反射补偿模块IRC中,通过引入交互、重组和一致性约束的流程,生成第三道路破损反射率特征图二元组,其中将R1和R2输入至IRC模块得到第三正常光照道路破损反射率特征图R3,将R'1和R'2输入至IRC模块得到第三低光照道路破损反射率特征图R'3;
S35:对和进行Concat操作,融合反射率特征与高层次语义特征,得到第四道路破损特征图二元组,其中将R3和X3进行Concat操作得到第四正常光照道路破损特征图X4,将R'3和X'3进行Concat操作得到第四低光照道路破损特征图X'4;
S36:将输入至目标预测头Head中,生成包含预测信息的张量,每个张量的行对应一个检测结果,包括预测的边界框坐标、破损类别标签及置信度分数信息。
5.根据权利要求4所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S32中的CELAN模块的整体执行流程如下:
S321:在第一分支中,将输入到卷积核大小为3×3的Conv2d层进行卷积操作,生成第二中间道路破损特征图二元组,其中将T1输入至卷积核大小为3×3的Conv2d层得到第二中间正常光照道路破损特征图T2,将T'1输入至卷积核大小为3×3的Conv2d层得到第二中间低光照道路破损特征图T'2,随后将输入到卷积核大小为3×3的RepConv层进行卷积操作,得到第三中间道路破损特征图二元组,其中将T2输入至卷积核大小为3×3的RepConv层得到第三中间正常光照道路破损特征图T3,将T'2输入至卷积核大小为3×3的RepConv层得到第三中间低光照道路破损特征图T'3,接着将输入到卷积核大小为5×5的FreqConv层进行卷积操作,生成第四中间道路破损特征图二元组,其中将T3输入至卷积核大小为5×5的FreqConv层得到第四中间正常光照道路破损特征图T4,将T'3输入至卷积核大小为5×5的FreqConv层得到第四中间低光照道路破损特征图T'4,再将输入到卷积核大小为7×7的FreqConv层进行卷积操作,生成第五中间道路破损特征图二元组,其中将T4输入至卷积核大小为7×7的FreqConv层得到第五中间正常光照道路破损特征图T5,将T'4输入至卷积核大小为7×7的FreqConv层得到第五中间低光照道路破损特征图T'5,最后将输入到卷积核大小为3×3的Conv2d层进行卷积操作,生成第六中间道路破损特征图二元组,其中将T5输入至卷积核大小为3×3的Conv2d层得到第六中间正常光照道路破损特征图T6,将T'5输入至卷积核大小为
3×3的Conv2d层得到第六中间低光照道路破损特征图T'6;
S322:在第二分支中,将输入到一个连续卷积结构进行空洞卷积操作,得到第七中间道路破损特征图二元组,其中将T1输入至连续卷积结构得到第七中间正常光照道路破损特征图T7,将T'1输入至连续卷积结构得到第七中间低光照道路破损特征图T'7;
进行Concat操作,生成第八中间道路破损特征图二元组,其中将T2、T3、T4、T5、T6和T7进行Concat操作得到第八中间正常光照道路破损特征图T8,将T'2、T'3、T'4、T'5、T'6和T'7进行Concat操作得到第八中间低光照道路破损特征图T'8,从而实现多尺度特征与不同感受野信息的有效融合,进一步增强了低光照变电站道路破损检测模型在低光照场景下对细节特征和全局特征的综合表达能力;
S324:将输入到卷积核大小为5×5的Conv2d层进行卷积操作,并通过Sigmoid激活函数进行激活,生成第九中间道路破损特征图二元组,其中将T8输入至卷积核大小为5×5的Conv2d层并通过Sigmoid激活函数进行激活得到第九中间正常光照道路破损特征图T9,将T'8输入至卷积核大小为5×5的Conv2d层并通过Sigmoid激活函数进行激活得到第九中间低光照道路破损特征图T'9,作为CELAN模块的最终输出,为后续特征提取和预测任务提供了关键输入。
6.根据权利要求4所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S33中的DLARK模块的整体执行流程如下:
S331:在第一分支中,将输入到由卷积核大小为9×9、空洞率为1的Conv2d层和BN层组成的卷积结构进行卷积操作和归一化操作,得到第一中间反射率特征图二元组,其中将X2输入至该卷积结构得到第一中间正常光照反射率特征图X2_1,将X'2输入至该卷积结构得到第一中间低光照反射率特征图X'2_1;
S332:在第二分支中,将输入到由卷积核大小为5×5、空洞率为1的Conv2d层和BN层组成的卷积结构进行卷积操作和归一化操作,生成第二中间反射率特征图二元组,其中将X2输入至该卷积结构得到第二中间正常光照反射率特征图X2_2,将X'2输入至该卷积结构得到第二中间低光照反射率特征图X'2_2;
S333:在第三分支中,将输入到由卷积核大小为5×5、空洞率为2的Conv2d层和BN层组成的卷积结构进行卷积操作和归一化操作,得到第三中间反射率特征图二元组,其中将X2输入至该卷积结构得到第三中间正常光照反射率特征图X2_3,将X'2输入至该卷积结构得到第三中间低光照反射率特征图X′2_3;
S334:在第四分支中,将输入到由卷积核大小为2×2、空洞率为2的Conv2d层和BN层组成的卷积结构进行卷积操作和归一化操作,生成第四中间反射率特征图二元组,其中将X2输入至该卷积结构得到第四中间正常光照反射率特征图X2_4,将X'2输入至该卷积结构得到第四中间低光照反射率特征图X'2_4;
S335:在第五分支中,将输入到由卷积核大小为2×2、空洞率为4的Conv2d层和BN层组成的卷积结构进行卷积操作和归一化操作,得到第五中间反射率特征图二元组,其中将X2输入至该卷积结构得到第五中间正常光照反射率特征图X2_5,将X'2输入至该卷积结构得到第五中间低光照反射率特征图X'2_5;
进行Concat操作,得到第六中间反射率特征图二元组,其中将X2_1、X2_2、X2_3、X2_4和X2_5进行Concat操作得到第六中间正常光照反射率特征图X2_6,将X'2_1、X'2_2、X'2_3、X'2_4和X'2_5进行Concat操作得到第六中间低光照反射率特征图X'2_6,将输入到AvgPool层中进行池化操作,得到第七中间反射率特征图二元组,其中将X2_6输入至AvgPool层得到第七中间正常光照反射率特征图X2_7,将X'2_6输入至AvgPool层得到第七中间低光照反射率特征图X'2_7,将输入到由卷积核大小为1×1的Conv2d层、卷积核大小为2×2的DWConv层、卷积核大小为5×5的DWConv层以及卷积核大小为2×2的Conv2d层组成的连续卷积结构进行深度卷积操作,生成第八中间反射率特征图二元组,其中将X2_7输入至连续卷积结构得到第八中间正常光照反射率特征图X2_8,将X′2_7输入至连续卷积结构得到第八中间低光照反射率特征图X′2_8,在对进行池化操作的同时,将输入到BN层中进行归一化操作,生成第九中间反射率特征图二元组,其中将X2_6输入至BN层得到第九中间正常光照反射率特征图X2_9,将X'2_6输入至BN层得到第九中间低光照反射率特征图X'2_9;
S337:将输入到AvgPool层进行池化操作,得到第十中间反射率特征图二元组,其中将X2_9输入至AvgPool层得到第十中间正常光照反射率特征图X2_10,将X'2_9输入至AvgPool层得到第十中间低光照反射率特征图X'2_10,接着将输入到由全连接层、ReLU激活函数和全连接层顺序组成的结构中进行特征变换操作,得到第十一中间反射率特征图二元组,其中将X2_10输入至由全连接层、ReLU激活函数和全连接层顺序组成的结构得到第十一中间正常光照反射率特征图X2_11,将X'2_10输入至由全连接层、ReLU激活函数和全连接层顺序组成的结构得到第十一中间低光照反射率特征图X'2_11,将通过Sigmoid激活函数进行激活,得到第十二中间反射率特征图二元组,其中将X2_11通过Sigmoid函数激活得到第十二中间正常光照反射率特征图X2_12,将X'2_11通过Sigmoid函数激活得到第十二中间低光照反射率特征图X'2_12,将与进行逐元素相乘操作,得到第十三中间反射率特征图二元组,其中将X2_9与X2_12进行逐元素相乘得到第十三中间正常光照反射率特征图X2_13,将X′2_9与X'2_12进行逐元素相乘得到第十三中间低光照反射率特征图X'2_13,将输入到由全连接层、ReLU激活函数和全连接层顺序组成的结构中进行特征变换操作,得到第十四中间反射率特征图二元组,其中将X2_13输入至由全连接层、ReLU激活函数和全连接层顺序组成的结构得到第十四中间正常光照反射率特征图X2_14,将X'2_13输入至由全连接层、ReLU激活函数和全连接层顺序组成的结构得到第十四中间低光照反射率特征图X'2_14;
S338:对进行DropPath操作后,得到第十五中间反射率特征图二元组,其中对X2_14进行DropPath操作得到第十五中间正常光照反射率特征图X2_15,将X'2_14进行DropPath操作得到第十五中间低光照反射率特征图X'2_15,将与进行Concat操作,得到最终的第二道路破损反射率特征图二元组,其中将X2_15与X2_8进行Concat操作得到第二正常光照道路破损反射率特征图R2,将X'2_15与X'2_8进行Concat操作得到第二低光照道路破损反射率特征图R'2。
7.根据权利要求6所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S4的具体步骤如下:
S41:在训练过程中,模型根据设定的批处理大小,从训练集中提取数据进行前向计算,生成预测结果,随后,通过整体损失函数L2R‑LOSS进行反向传播,以优化低光照环境下变电站道路破损检测模型的参数;
S42:每一轮训练结束后,验证集的数据被用于模型评估,从而判断模型的泛化能力;
S43:为了避免模型在训练中出现过拟合现象,在训练过程中引入了早停机制,如果在多个连续的训练轮次中,验证集上的损失没有显著改善,训练将被提前终止,以能够有助于节省计算资源,并保证模型在实际应用中的稳定性;
S44:当训练达到预定轮次,且验证集损失稳定或达到理想水平时,训练过程结束,最终得到一个经过优化的低光照变电站道路破损检测模型,模型能够在低光照条件下准确地检测变电站道路破损,并在不同环境下保持良好的性能;
S45:训练完成后,模型将拥有适当的参数配置和较强的泛化能力,能够应用于新的变电站道路破损检测任务。
8.根据权利要求7所述的一种基于深度学习的低光照变电站道路破损检测方法,其特征在于,所述S41中的损失函数L2R‑LOSS由反射率学习损失函数Lr、重组一致性损失函数Lrc和目标检测损失函数Ltarget加权组成,其函数表达式如下:LL2R‑LOSS=λgLr+λfLtarget+λqLrc
其中,R'1是第一低光照道路破损反射率特征图;R'2第一低光照道路破损反射率特征图;N为R'1和R'2特征图的总特征点数,R'1_i和R'2_i分别表示特征图中第i个位置对应的特征响应值; 和 分别表示R'1和R'2的平均特征响应值, 和 分别是R'1和R'2的特征响应值方差, 是R'1和R'2之间的特征响应值协方差,C1和C2是为了避免分母为零的常数;
其中,α和β分别表示位置回归损失与分类损失的权重;xi和x'i分别表示第i个目标的真实框与预测框的中心点;pi和p'i分别表示第i个目标的真实类别标签和预测类别概率,Smooth(x)表示预测值与真实值之间的误差,即Lrc的函数表达式如下:
Lrc=||R1‑R2||1+||R1‑R2||1
其中,R1是第一正常光照道路破损反射率特征图;R'2是第二低光照道路破损反射率特征图;R'1是第一低光照道路破损反射率特征图;R2是第二正常光照道路破损反射率特征图。