利索能及
我要发布
收藏
专利号: 2018112032694
申请人: 河海大学常州校区
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,包括以下步骤:

1)采集双目图像信息:当搭载双目相机的无人机至绝缘子周围时,以镜头与绝缘子间无遮挡的角度拍摄绝缘子,并将获取的视频信息传输入图像分析模块进行处理;

2)图像分析模块以每间隔设定的频率对左目视频、右目视频同步取帧,组成“左目‑右目”双目图像对;

3)利用多特征融合算法对左目图像进行区域分割;

4)根据“左目‑右目”图像对的匹配结果,求取左目图像中的稀疏视差点,同时利用左目图像区域分割结果获取图像深度显著图,再根据深度显著图自适应设定阈值,获取绝缘子区域分割结果;

5)利用灰度分布波形分析实现绝缘子的自爆识别及定位;

6)依次对所有取得的“左目‑右目”图像对进行步骤3‑步骤5的处理,返回并记录检测时间、地理位置、绝缘子状态信息,自动生成巡检报告;

在所述步骤5)中,利用灰度分布波形分析实现绝缘子的自爆识别及定位的步骤为:

51)设置遍历线分别从水平方向与垂直方向遍历绝缘子分割图Object,统计每条水平线及垂直线在图像中经过的所有像素点的灰度值之和,并求出灰度值之和最大的遍历线,若遍历线为垂直线,则判断绝缘子分布为纵向分布,若所述遍历线为水平线,则判断绝缘子分布为横向分布,并将图片逆时针旋转90°,将绝缘子图像调整为纵向分布;

52)从绝缘子分割图Object第一行开始,寻找包含像素值为1的第一行作为绝缘子区域的起始行,取该行所有像素值为1的像素点的中值点作为绝缘子骨架的起始点Pstart(x,y),寻找包含像素值为1的最后一行作为绝缘子区域的终止行,取该行所有像素值为1的像素点的中值点作为绝缘子骨架的终止点Pend(x,y);

53)通过起始点Pstart(x,y)及终止点Pend(x,y),获取绝缘子骨架方向上的所有点的坐标: height为图像的高;

54)根据绝缘子骨架坐标点求解图像Object中,每个坐标点对应的与骨架方向垂直的所有线段,求解每个垂直线段上像素点值的总和value(1,i),i∈[1,height];

55)将像素点值的总和value绘制成曲线图,获取局部极大值点,根据局部极大点的分布,提取绝缘子自爆区域。

2.根据权利要求1所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤3)中,利用多特征融合算法实现左目图像的区域分割的具体步骤为:

31)首先利用简单线性迭代聚类算法将左目图像Ileft分割为n个超像素块,每个超像素赋予独有且连续的正整数标识符i∈[1,n];

32)将左目图像Ileft灰度化获取灰度图Gray,并将左目图像Ileft转换到CIELab颜色空间,获取左目图像在CIELab颜色空间的图像矩阵ILab,提取每个超像素区域的4维颜色特征{Li,ai,bi,gi},其中,Li,ai,bi分别为超像素i的L,a,b颜色分量均值,gi为超像素i的灰度均值;同时提取4维纹理特征{Cconi,Ccori,Ei,Hi},分别代表每个超像素区域灰度共生矩阵特性中的对比度均值、互相度均值、能量均值和齐次性均值,8维特征共同组成每个超像素区域的度量属性Spi:

Spi={Li,ai,bi,gi,Cconi,Ccori,Ei,Hi},i=1,2,3,4,…,n

33)设定只要存在共用边界的两个超像素块即为相邻超像素块,以此条件获取n个超像素块的相邻信息,组成m组相邻对,形成相邻超像素属性对Adjk={Spi,Spj),i,j∈[1,n],k∈[1,m];

34)计算相邻超像素属性对的加权欧氏距离作为差异性度量值Dk:其中,ε为设定常数,ω1、ω2分别为颜色特征和纹理特征的权重,以左目图像Ileft的全局颜色、纹理均方差调节颜色特征和纹理特征的权重:其中(h,w)为左目图像h行w列的像素点,H和W为左目图像的高和宽, 分别为左目图像的全局L、a、b颜色分量均值和灰度均值,Lhw、ahw、bhw、ghw分别表示左目图像中第h行w列的像素点的L、a、b颜色分量值与灰度值, 分别为左目图像Ileft全局灰度共生矩阵特性中的对比度均值、互相关均值、能量均值和同质性均值,d∈[1,4]表示灰度共生矩阵的4个方向;

35)获取自适应阈值 若相邻超像

素之间的差异性度量值小于阈值,则该相邻超像素对相似,筛选出所有相邻且相似的超像素对Adjsk|Dk<T,k∈[1,m′],m′为所有相邻且相似超像素对的总个数;竖线前为相邻相似超像素对的代表符号,竖线后为相邻相似超像素对的筛选条件;

36)合并相邻且相似超像素对;

37)将每个合并标号池内所有标号对应的超像素块合并:即为每个合并标号池从1至F依次赋予一个整数标识符f,并将该标号池的标识符f赋给该合并标号池内的所有超像素,则形成F个合并区域,完成左目图像的区域分割。

3.根据权利要求2所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤36)中,合并相邻且相似超像素对的过程为:构建n×n大小的上三角矩阵M,其中,n为超像素块的数量,相邻且相似的超像素对{l,r}在矩阵中对应的数值Mlr为1,其余为0,利用上三角矩阵M获取合并标号池Mergef,f∈[1,F],F为合并标号池的总个数,其步骤如下:a.从第l=1行开始,寻找当前行内所有数值为1的列标号rd,d∈[1,R],R为当前行中数值为1的总个数,并将当前行标记为已遍历行,不参与下次遍历,将数值为1的列标号与当前行标号组成合并标号池Merge1{l,rd};

b.遍历所有对应行号为rd,d∈[1,R]的行,寻找新的不属于当前合并标号池的列标号作为新的遍历行标号,重复步骤a,直至当前标号池没有新的标号进入,停止迭代,得到完整合并标号池Merge1;

c.依次选择未遍历过的行,重复步骤a和步骤b,直至所有行均被分配到对应的合并标号池Mergef,f∈[1,F],F为合并标号池的总个数。

4.根据权利要求2所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤4)中,获取深度显著图的步骤为:

41)利用改进SURF算法获取精确双目图像匹配点对作为稀疏视差点,步骤如下:a.利用SURF算法获取左右目图像特征点坐标及64维描述符,左右目图像的特征点定义为 其中Pos1、Pos2分别为左目和右目图像的特征点参数,mp、np分别为左右目图像中特征点的总数目, 为左目图像第ip1个特征点坐标,为右目图像第jp1个特征点坐标;

b.计算左右目图像的特征点参数Pos1、Pos2中所有点的欧式距离,选择欧式距离最小的点作为粗略匹配点,按欧氏距离升序对粗略匹配点进行排序,删除异常点,选择前kp个匹配点,定义为

c.根据k个匹配点 中相应点的斜率筛选匹配点,计算所有粗匹配点对的斜率,计算所有斜率的出现率,选取出现率最大的斜率作为主导斜率,保留与主斜率一致的匹配点对,删除其他异常斜率的匹配点,得到H组准确匹配点对:其中 和 分别为一组匹配点对中

左目、右目图像的特征点坐标;

d.计算所有匹配点对的横坐标的差值绝对值作为该点对的双目视差值获取左目图像的稀疏视差点集合

42)分别统计左目图像中F个合并区域中的所有视差点:Pf={Spadn},n∈[1,N],f∈[1,F],N为落入该区域内的视差点的总数,对落入该区域的所有视差点按视差值进行升序排列,若该区域内投影视差点个数N≥3,则取视差值中值作为区域视差值 若其0<N<3,取最小值作为区域视差值,若该区域内无视差点,则视差值取0,获取每个区域的深度视差图Pf: 其dt为视差点的视差值,t∈[1,N],F为合并区域数目,F个深度视差图共同组成完整的深度视差图P:

43)计算深度显著图均值作为分割阈值Th=avg(P),大于分割阈值的区域即为绝缘子区域Object:

5.根据权利要求1所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤55)中,具体步骤如下:

a.以步长step=设定值,利用均值滤波法去除曲线图毛刺,遍历像素点值的总和value,将当前value(i)重置为新的平滑值valuenew(i):valuenew(i)=avg([value(i‑5):value(i+5)]),i∈[step+1,height‑step],此处的i为左目图像的行标号,i∈[1,height];

b.若valuenew(i)>valuenew(i‑1)&valuenew(i)>valuenew(i+1)&valuenew(i)>avg(valuenew),则该点即为局部极大值点Pm(jj)=i,统计所有局部极大值点的横坐标,计算所有局部极大值点两两之间的横坐标的差值,将横坐标差的绝对值小于设定值的点作为重复局部极大点集,保留重复极大点集中value(Pm(jj))最大的点作为最终极大值点,其余点删除,获取最终的局部极大值点Pm′,并计算最终的局部极大值点Pm′的数量为nump;

c.求解每个局部极大值点的横坐标的间隔值diff:diff(1,jj)=Pm′(jj+1)‑Pm′(jj),jj∈[1,nump‑1],计算是否存在横坐标的异常间隔值diffq,即检测横坐标间隔值diff中大于间隔值均值1.2倍的值作为异常间隔值diffq,diffq←diff|diff>1.2·avg(diff),其中,avg(diff)指所有横坐标间隔值的均值,若存在,则提取异常间隔值对应的两端局部极大点Pm1′和Pm2′的横坐标i1和i2,i1<i2,则异常间隔区域regionq=[i1,i2],即绝缘子自爆缺失区域在左目图像中的位置,返回绝缘子自爆区域信息,若不存在,则返回绝缘子状态良好;diff,diffq,avg(diff)分别为:每个局部极大值点的横坐标间隔值、设定的异常横坐标间隔值、所有局部极大值点的横坐标间隔值均值。

6.根据权利要求5所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤b中,所述设定值为5。