利索能及
我要发布
收藏
专利号: 2023114262564
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:该方法包括以下步骤:步骤S1:对所有的绝缘子缺陷数据集进行加雨操作,并对一部分加雨操作后的数据集进行预处理;

步骤S2:构建MS‑PReNet去雨网络模型,将加雨的图像和对应的原图像送入MS‑PReNet去雨网络模型进行训练;

所述MS‑PReNet去雨网络模型包括用于接收MS‑PReNet去雨网络模型输入图像的卷积层fin、用于特征融合的多尺度特征融合模块fmsfm、用于传递阶段间特征依赖关系的循环层frecurrent、对不同通道特征分配不同权重的SE注意机制残差模块fse、用于提取图像深度特征的残差块fres以及用于输出去雨结果图像的卷积层fout;

所述SE注意机制残差模块fse包括Global pooling池化模块、第一全连接层、第二全连接层以及Sigmod函数,SE注意机制残差模块fse通过Global pooling池化模块对输入的图像特征进行全部平均池化,再将图像特征经过第一全连接层、第二全连接层,最后使用Sigmod函数将输出限制到0‑1之间,作为通道注意力机制产生的权重,跟原特征图进行相乘,获得最终加入注意力机制的特征图;

步骤S3:将训练好的MS‑PReNet去雨网络模型保存最优参数,并将对所有的绝缘子缺陷数据集进行去雨操作,生成新的数据集;

步骤S4:将新的数据集进行绝缘子缺陷真实目标框标注,按照比例划分训练集、验证集和测试集;

步骤S5:根据数据集的绝缘子缺陷真实目标框,聚类生成不同尺寸的锚框;

步骤S6:构建GAM‑YOLOv7目标检测网络模型,并将步骤S5中处理好的绝缘子缺陷数据集送GAM‑YOLOv7目标检测网络模型进行训练;

步骤S7:将训练好的GAM‑YOLOv7目标检测网络模型最优参数进行保存;

步骤S8:对MS‑PReNet去雨网络模型与GAM‑YOLOv7目标检测网络模型进行测试、验证。

2.根据权利要求1所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述卷积层fin包括卷积层和ReLU激活层,同阶段卷积层fin的输出和上一阶段循环单元t‑1的状态输入S 作为当前阶段的输入;

所述循环层frecurrent为LSTM循环处理模块,挖掘不同阶段之间的深层特征;

所述多尺度特征融合模块fmsfm包括四个并行的分支结构,分别为1x1卷积分支、3x3卷积分支、5x5卷积分支以及3x3最大池化分支。

3.根据权利要求2所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述步骤S2中将加雨的图像和对应的原图像送入MS‑PReNet去雨网络模型进行训练,具体训练过程如下:步骤S2‑1:将加雨的图像和对应的原图像送入改进的MS‑PReNet去雨网络进行训练;

步骤S2‑2:根据MS‑PReNet去雨网络输出的结果,计算MSE损失、负SSIM损失以及RecSSIM损失;

T gt 2

计算MSE损失为:L=||x‑x ||;

T gt

负SSIM损失为:L=‑SSIM(x ,x );

RecSSIM损失为:

gt t

其中,x 是真实的去雨图像,x是t阶段的去雨图像,λt是t阶段的权衡参数;

步骤S2‑3:计算总损失LOSS=αMSE+β(‑SSIM)+γ(RecSSIM),设定三个损失的权重参数α,β,γ,损失阈值lossmin1,步骤S2‑4:若总损失达到损失阈值,则停止训练,反之更新网络参数,继续迭代训练网络。

4.根据权利要求1所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述MS‑PReNet去雨网络模型的操作过程如下:首先将原始雨图和上个阶段的输出图像送入卷积层fin,接着进入多尺度特征融合模块fmsfm,使得感受野呈非线性增长,从而尽可能输出更大范围的特征信息;接着进入循环层frecurrent,传递各个阶段之间的特征依赖关系;再进入SE注意机制残差模块fse,提高LSTM的学习能力;在进入残差块fres,提取图像的深度特征信息;最后通过卷积层fout输出去雨图像。

5.根据权利要求1所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述GAM‑YOLOv7目标检测网络模型包括:input、backbone和head三大部分,backbone和head包括:CBS模块、ELAN模块、MP模块、SPPCSPC模块、UPSample模块、GAM模块、ELAN‑W模块、REP模块和CBM模块。

6.根据权利要求5所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述CBS模块包括一个卷积层、一个BN层和一个激活函数Silu层,GAM‑YOLOv7目标检测网络模型使用三个不同的CBS模块,分别用来改变通道数、特征提取和下采样;

所述ELAN模块包括第一条分支和第二条分支,第一条分支经过一个CBS模块改变通道数;

所述第二条分支先经过一个CBS模块改变通道数,再经过四个CBS模块特征提取,并行输出CBS模块的结果,最后把第一个分支、第二个分支和两个CBS模块输出结果叠加作为特征提取结果;

所述MP模块用于进行下采样操作,MP模块拥有两条分支,包括第三条分支和第四分支;

所述第三条分支先经过一个最大池化层,再经过一个CBS模块改变通道数;

所述第四分支先经过一个CBS模块改变通道数,再经过另一个CBS模块进行下采样;最后第三条分支和第四分支加在一起,得到超级下采样的结果;

所述SPPCSPC模块用于增大感受野,使算法适应不同分辨率的图像;SPPCSPC拥有两条分支,包括第五分支和第六分支;

所述第五分支经过一个CBS模块改变通道数,第六分支经过四种不同尺度的最大池化层,分别对应处理不同尺度的目标;最后合并第五分支、第六分支结果;

所述UPSample模块是上采样模块,采用最近邻插值进行上采样;

所述GAM模块用于保留通道和空间方面的信息,添加在在每个ELAN‑W模块之前;

所述ELAN‑W模块和ELAN模块类似,拥有两条分支,包括第七分支和第八分支;所述第七分支经过一个CBS模块改变通道数,第八分支先经过一个CBS模块改变通道数,再经过四个CBS模块特征提取,并行输出CBS模块的结果,最后把第七分支、第八分支和四个CBS模块输出结果叠加作为特征提取结果;

所述REP模块包括训练模块和推理模块,训练模块有三个分支,包括第九分支、第十分支和第十一分支;

所述第九分支用于卷积层和BN层的特征提取,第十分支用于卷积层和BN层平滑特征,第十一分支是BN层,最后将第九分支、第十分支和第十一分支相加输出结果;

所述CBM模块和CBS模块类似,包括个卷积层、BN层和激活层,激活层的激活函数使sigmoid函数。

7.根据权利要求1所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述步骤S6中将标注过的绝缘子缺陷数据集送GAM‑YOLOv7目标检测网络模型进行训练,具体的训练过程如下:步骤S6‑1:GAM‑YOLOv7目标检测网络会根据三类不同尺寸的网格生成三种不同尺寸的预测框;

步骤S6‑2:根据预测框的位置信息计算分类损失、定位损失以及置信度损失;

分类损失:

其中,yi代表当前类别的预测值, 代表当前类别的真实值,wclass代表正样本的权重;

定位损失:

其中,IoU为预测框与真实框交集与并集的比值,c为同时框住预测框与真实框的最小gt框,b,b 代表预测框与真实框中心点,ρ代表两点间的欧氏距离,α为权衡长宽比例造成损失和IoU部分造成损失的平衡因子,ν为预测框和真实框长宽比例差值的归一化;

置信度损失:

其中,po代表预测框中的目标置信度分数,pIoU代表预测框和对应目标框的IoU值,作为真实值;

步骤S6‑3:根据公式计算总损失Loss=λ1Lclass+λ2LCIoU+λ3Lobj,设定损三个损失的权重参数λ1,λ2,λ3,损失阈值lossmin2;

步骤S6‑4:判断损失函数是否达到损失阈值,若总损失达到损失阈值,则停止训练,反之更新网络参数,继续训练网络。

8.根据权利要求7所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述定位损失: 中gt gt

其中,w 为真实框的宽度;h 为真实框的高度;w为预测框的宽度;h为预测框的高度。

9.根据权利要求1所述的一种基于改进MS‑PReNet和GAM‑YOLOv7的雨天绝缘子缺陷检测方法,其特征在于:所述GAM‑YOLOv7目标检测网络模型的操作过程如下:首先将输入图像送入四个CBS模块,第一CBS模块用来改变通道数,第二CBS模块进行下采样,第三CBS模块用来特征提取,第四CBS模块用来下采样;送入ELAN模块,提高网络的学习能力和鲁棒性,连续送入三组MP模块和ELAN模块,进行下采样和特征学习;第一组MP模块和ELAN模块后面紧跟一个改变通道数的CBS模块并融合后两组的操作,然后通过一个全局注意力机制GAM模块,保留更多通道和空间方面的信息,最后通过ELAN‑W模块和REP模块进行推理和训练,输出第一个检测头;第二组MP模块和ELAN模块类似第一组MP模块和ELAN模块的操作输出第二个检测头;第三组MP模块和ELAN模块后面紧跟一个SPPCSPC模块,增大感受野,便于适应不同分辨率的图像,融合第一组MP模块和ELAN模块和第二组MP模块和ELAN模块,通过ELAN‑W模块和REP模块进行推理和训练,输出第三个检测头;最终模型的输出为三个不同尺寸的检测头。