1.融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,具体按照以下步骤实施:步骤1、采集原始绝缘子图像,首先对采集的原始绝缘子图像用超像素特征描述指定区域位置的特征信息,然后采用模块化方法提取得到绝缘子粗略显著区域,同时剔除绝缘子粗略显著区域部分背景噪声,最后采用特征紧凑性衡量绝缘子图像中各区域特征的显著性,进而得到绝缘子各区域显著特征图像;
步骤2、对步骤1获得的绝缘子各区域显著特征图像送入区域网络Region Net,得到整个绝缘子的显著特征区域图像;
步骤3、对步骤2获得的整个绝缘子显著特征区域图像送入多环境网络Multi-Context Net,通过补充Region Net网络中缺少的全局显著性评价,得到整个绝缘子准确的显著特征图像;
步骤4、对步骤3获得整个绝缘子准确的显著特征图像采用准确率-召回率precision recall-PR曲线、F-measure和平均绝对误差man absolute error-MAE的值进行评价,快速检测出绝缘子是否有缺陷。
2.根据权利要求1所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,所述步骤1具体按照以下步骤实施:步骤1.1、首先采用多尺度方法将绝缘子图像分成不同的层进而得到绝缘子的多层图,然后采用超像素算法SLIC,将每层图像分解为不同的超像素,得到绝缘子各个区域的超像素特征图像;
步骤1.2、通过对绝缘子各个区域超像素特征图像进行梯度平滑使区域模块化,得到绝缘子区域结构化特征图像;
步骤1.3、计算显著区域紧凑性,进而得到绝缘子各区域的紧凑性图像;
步骤1.4、计算绝缘子各区域特征的颜色属性,进而得到绝缘子各区域的颜色特征图像;
由步骤1.1、1.2、1.3、1.4得到绝缘子的各区域显著特征图像。
3.根据权利要求2所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,所述步骤1.2中对绝缘子各个区域超像素特征图像采用梯度平滑方法完成区域模块化处理,计算方法如式(1)所示:式(1)中T表示模块化后的区域的数量,IP表示输入图像I中第p个超像素的灰度值,SP表示平均化后的结构图像,λ表示图像的平滑系数,λ越大表示图像越平滑,ε为趋于0的正数,Dx(p)表示第p个超像素在x轴方向上的区域之间的距离,Dy(p)表示第p个超像素在y轴方向上的区域之间的距离,Lx(p)表示第p个超像素在x轴方向的区域,Ly(p)表示第p个超像素在y轴方向的区域;
其中,Dx(p)和Dy(p)由式(2)计算得到:
式(2)中,R(p)表示以第p个超像素为中心的矩形区域,gp,g为加权函数,g表示超像素p的参数,SP表示平均化后的结构图像, 表示x轴方向上的平滑系数, 表示y轴方向的平滑系数;
其中,加权函数gp,g由式(3)计算得到:
式(3)中,xp表示第p个超像素在x轴方向上的点,xq表示第q个超像素在x轴方向上的点,yp表示第p个超像在y轴方向上的点,yq表示第q个超像素在y轴方向上的点,δ表示第p个超像素在x轴上的方差;
运用公式(1)、(2)和(3)进行区域模块化,进而把相同区域汇聚在一起得到绝缘子区域结构化特征图像。
4.根据权利要求3所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,所述步骤1.3具体如下:步骤1.3.1、对所述步骤1.2得到的绝缘子区域结构化特征图像采用一组6维的特征向量S代表超像素的特征,如式(4)所示:S=[I′x,I′y,I″xx,I″yy,fx,fy] (4)式(4)中,x表示超像素在水平方向上的点,y表示超像素在竖直方向上的点,I′x表示水平上灰度值的一阶导数、I′y表示竖直方向上灰度值的一阶导数,I″xx表示水平上灰度值的二阶导数,代表水平方向上的纹理特征、I″yy表示竖直方向上灰度值的二阶导数,代表竖直方向上的纹理特征,f是调节纹理特征与空间位置特征的权重比例参数;
步骤1.3.2、根据显著性增强的回归模型方法对每个超像素建立6×6维的方差矩阵∑,如式(5)所示:σbc表示每个超像素的协方差,其中,b表示每个超像素在x轴方向上的点,b=1...6,c表示每个超像素在y轴方向的点,c=1...6;
步骤1.3.3、分别采用纹理和局部熵信息检测区域紧凑性信息,对于纹理采用局部二元模式LBP的直方图计算纹理特征,纹理特征和局部熵信息分别由 和 表示:计算超像素与多层图之间的权重 具体计算如公式(6)所示:
式(6)中,ξe,k表示纹理特征权重,ξl,k表示局部熵权重,dB表示直方图的纹理特征, 表示第l层第k个超像素在i这一点的纹理特征, 表示第m层第k个超像素在j这一点的纹理特征, 表示第l层第k个超像素在i这一点的局部熵, 表示第m层第k个超像素在j这一点的局部熵;
直方图的纹理特征dB定义如式(7)所示:
式(7)中,n表示直方图的数量,z表示纹理特征系数变量, 表示第l层第k个超像素在i这一点的纹理特征, 表示第m层第k个超像素在j这一点的纹理特征;
局部熵特征 是在每个像素点的领域中按照式(8)进行计算:
式(8)中,H用于归一化局部熵信息,Hk(i)表示第k个超像素在i这一点的归一化局部熵信息;
绝缘子的区域紧凑性图像由超像素特征、方差矩阵、权重和直方图纹理特征因素决定,所以在绝缘子缺陷检测中的区域紧凑性计算部分,通过调节公式(4)中的超像素特征的参数、公式(5)中方差矩阵的参数、公式(6)中权重的参数、公式(7)中直方图纹理特征的参数和公式(8)中局部熵特征的的参数,联合得到绝缘子的区域紧凑性图像。
5.根据权利要求4所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,所述步骤1.4具体如下:步骤1.4.1、采用高斯混合模型GMM聚类图像颜色,每个像素颜色表示为具有属于某个颜色属性的若干个高斯模型的加权组合,并由式(9)给出:式(9)中,a表示颜色属性的类别,wa表示颜色属性为a的高斯模型的权重,μ表示整个颜色属性的特征,∑a表示颜色属性为a的协方差矩阵,μa表示颜色属性为a的特征,Ix表示x轴方向上的灰度值;
步骤1.4.2、测量颜色属性的空间方差:
计算颜色属性的水平空间方差Vh(a),如式(10)所示:
其中,
式(10)、(11)中,ph表示超像素p的水平坐标,|X|a=P(a|Ix)表示图像中颜色属性为a的概率,Mh(a)表示水平方向颜色属性为a的系数;
整个图像中颜色属性的空间变化定义为式(12):
Vg(a)=VV(a)+Vh(a) (12)式(12)中,Vg(a)表示整个图像中颜色属性为a的方差,VV(a)表示垂直空间方差,计算方法与水平空间方差相似,Vh(a)表示水平空间方差;
通过式(13)计算图像中像素的颜色显著度CF:
其中,P(a|IX)表示颜色属性为a的概率,D(a)表示不同颜色属性之间的距离,N表示直方图的数量;
对于所有颜色属性,范围标准化为[0,1],需要对每个颜色属性进行中心加权归一化项;
由于绝缘子显著特征区域图像由颜色属性高斯模型、水平空间方差、竖直空间方差和颜色显著度因素共同决定,所以通过调节公式(9)的颜色属性高斯模型中的参数,调节公式(10)、(11)和(12)中的颜色属性的水平空间方差、竖直空间方的参数,调节公式(13)中的颜色显著度参数,联合得到绝缘子显著区域特征图像。
6.根据权利要求5所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,所述步骤2具体如下:步骤2.1、将所述步骤1.3得到的绝缘子区域紧凑性特征图像和步骤1.4得到的绝缘子颜色属性特征图像分别送入区域网络Region Net中,生成具有相同大小的图像区域掩模,然后下采样16次,并送入RoI模型,得到RoI区域的绝缘子显著区域特征图像;
步骤2.2、将得到的RoI区域的绝缘子显著区域特征图像,采用Region Net网络的池化层操作对每一个区域网络Region Net中的特征按设定比例的比率进行聚合,进而得到绝缘子的整个显著特征图像;
步骤2.3、采用边界增强损失,损失函数Lf(W,wf)表示如下:
在式(14)中,wf表示第f级预测熔合绝缘体区域的分类器参数,Y+表示前景标签集,Y-背景标签集,Pr(yj=1|X;W,wf)∈[0,1]用于表示置信度,并将测量像素概率的融合预测用于前景,Pr(yj=0|X;W,wf)∈[0,1]用于表示置信度,并将测量像素概率的融合预测用于背景,e=|Y+|/|Y|表示前景与整个图像的比值,X表示模糊图像的参数,W表示清晰图像的参数;
对于l级的预测,损失函数表示为:
其中,wl用于表示第l级预测融合绝缘体区域的分类器参数,θl表示第l级预测分类器的角度参数;
由(14)和(15)可得预测的综合函数为:
式(16)中,αf表示损失权重以平衡f层的损失项,αl表示损失权重以平衡l层的损失项,设置al=αf=1;
采用随机梯度下降SGD计算最优参数,计算公式如下所示:
(W*,θ*,w*)=arg min L(W,θ,w) (17)*
W表示清晰图像的参数,w表示分类器的参数,θ表示分类器的角度参数,W表示清晰图像的最优参数,θ*表示分类器的最优角度参数,w*表示分类器的最优参数;
通过调节公式(14)中的第f级损失函数各个参数、公式(15)中的第l级损失函数参数、以及公式(16)中的预测综合函数各个参数,对绝缘子图像进行融合预测得到整个绝缘子显著特征区域图像。
7.根据权利要求6所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法,其特征在于,所述步骤3具体如下:步骤3.1、计算显著性概率 如式(18)所示:
式(18)中, 表示多环境网络Multi-Context Net输出特征, 表示区域网络Region-Net的输出特征,m表示超像素的显著性,若属于显著区域时,m=1,若属于背景区域时,m=
0,θ1表示显著区域的角度参数;
步骤3.2、在最后一个网络层中采用最小化结果和真值标签之间的最大损失,将步骤
3.1得到的绝缘子显著区域特征和背景区域特征进行准确分类,公式如式(19)所示:式(19)中,θj={φgc,j,φlc,j,γ,β},其中,φgc,j在模型中表示多环境网络Multi-Context Net建模的权重参数,φlc,j在模型中表示区域网Region-net建模的权重参数,表示在第i点的特征概率,γ表示区域网络Region Net权重比例系数,M表示点的数量,β表示多环境(Multi-Context Ne)权重比例系数, 表示多环境网络在第i这点的输出特征, 表示区域网络在第i这点的输出特征;
通过调节公式(18)中的显著性概率各个参数、公式(19)中的最大损失各个参数,进而得到绝缘子图像显著特征和背景特征的概率,然后把绝缘子图像进行准确分类,从而检测出绝缘子的缺陷;
由于原始图像较大,所以在公式(1)-(19)中使用原图像的1/8作为输入图像,进而生成绝缘子显著图像;
将每个分支的步幅分别设置为4,2,1,1,因此所有分支的输出具有相同的维度,其学习组合权重以生成显著的映射,再通过完全卷积层将FS、FC融合获得最终的绝缘子显著图像SF,计算公式如式(20)所示:SF=Fusion(FS,FC) (20)式(20)中,FS表示原图经过区域网络Region Net得到的准确的显著区域图像,FC表示粗略显著区域经过区域网络Region Net得到准确的显著区域图像。