利索能及
我要发布
收藏
专利号: 2024116512198
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的线路覆冰检测方法,其特征在于,具体包括以下步骤:

步骤S1、获取覆冰监测设备拍摄线路的原始覆冰图像,并制作相关数据集;

步骤S2、利用直方图均衡化增强原始覆冰图像中的亮度特征,将增强后的图像作为亮度特征图,并获取其平均亮度值和亮度标准差,分别编码为与亮度特征图维度一致的特征张量,与亮度特征图在通道维度上拼接,得到复合亮度特征图;

步骤S3、利用水平局部二值模式H‑LBP处理原始覆冰图像,获取其粗糙度纹理特征图,并利用灰度共生矩阵获取原始覆冰图像的对比度和同质性信息,分别编码为与粗糙度纹理特征图维度一致的特征张量,与粗糙度纹理特征图在通道维度上拼接,得到复合粗糙度特征图;

步骤S4、构建多分支线路覆冰类型识别模型IceNet‑T,包括主干分支、亮度分支和粗糙度分支,将原始覆冰图像输入主干分支,将复合亮度特征图输入亮度分支,将复合粗糙度特征图输入粗糙度分支,融合多分支提取特征,得到覆冰类型识别结果;

步骤S5、利用语义分割模型SCTNet检测分割原始覆冰图像中的线路覆冰区域,并结合多尺度条件随机场MSCRF优化模型的分割结果,提升分割精度;其中,MSCRF为Multi‑Scale Conditional Random Field;

步骤S6、根据语义分割模型对原始覆冰图像中主视角和旁视角线路的分割结果,分别推算水平覆冰厚度和垂直覆冰厚度,同时结合覆冰类型识别结果得出覆冰密度,利用等效面积法推算出当前线路的等效覆冰厚度,其中包括对旁视角可见、旁视角不可见以及夜间低光等环境状态的优化计算;其中,水平覆冰厚度为长径a;垂直覆冰厚度为短径b。

2.根据权利要求1所述的基于深度学习的线路覆冰检测方法,其特征在于,在步骤S2中,获取复合亮度特征图,具体包括以下步骤:步骤S2.1、使用直方图均衡化的方法增强原始覆冰图像中的亮度特征图,增强公式如下: ;其中, 是均衡化后图像中位置 处的像素灰度值, 是原始覆冰图像中位置 处的像素灰度值,L是灰度级数,其中,对于b位图b

像,L=2, 是原始覆冰图像中灰度值为 的像素数,N是图像的总像素数, 是原始覆冰图像中灰度值小于或等于 的像素的累计分布函数;

计算原始覆冰图像的平均亮度值和亮度标准差,公式如下: ;

其中, 表示平均亮度值, 表示亮度标准差,H、W和C是输入图像的高、宽和通道数,表示输入图像中 位置对应的亮度值;

步骤S2.2、构建由平均亮度值和亮度标准差组成的特征张量,即将这两个数值扩展为与图像大小相同的矩阵,与原图像数据在通道维度上拼接,公式如下: ;其中,表示与原图维度一致的平均亮度值特征张量, 表示与原图维度一致的亮度标准差特征张量, 表示元素全为1的矩阵,将扩展维度后的平均亮度值特征张量和亮度标准差特征张量与亮度特征图在通道维度上拼接,公式如下: 其中,表示最终得到的复合亮度特征张量,Concat表示通道维度拼接函数,

分别表示增强后的亮度特征图、扩展维度后的平均亮度值的特征张量、亮度标准差的特征张量。

3.根据权利要求1所述的基于深度学习的线路覆冰检测方法,其特征在于,在步骤S3中,获取复合粗糙度特征图,具体包括以下步骤:步骤S3.1、使用水平局部二值模式H‑LBP处理原始覆冰图像获得其粗糙度纹理特征图,水平局部二值模式专注于水平方向上的纹理信息,公式如下:其中, 表示位置

处的H‑LBP计算结果, 表示图像中位置 处的像素值,P是水平邻域范围, 是二值化函数,即: ;

H‑LBP公式由两部分组成,在加号的左边是对目标像素点和左侧水平邻域像素的比较,加号的右边是目标像素点和右侧水平邻域像素的比较,比较的结果分别二值化后被赋予权重 ,从而将结果编码为一个二进制数字,H‑LBP的结果 是一个代表水平纹理模式的整数,最终一张H×W大小的图像所计算出的H‑LBP特征图T可表示为:;

步骤S3.2、复合粗糙度纹理特征图中除了包含由H‑LBP获取的粗糙度纹理特征图,还包括了使用灰度共生矩阵推算出的对比度和同质性经扩展形成的特征张量,其中,对比度可表征覆冰图像的粗糙程度,同质性可表征覆冰图像的平滑程度,具体计算公式如下:;其中,Contrast为对比度即Ct,Homogeneity为同质性即Hg,L

表示灰度级数, 为灰度共生矩阵,表示灰度值为x和y的像素对在一定距离和方向上的联合出现概率;

步骤S3.3、得到粗糙度纹理特征图T以及原始覆冰图像的对比度Ct和同质性Hg后,需要将Ct和Hg扩展到与T相同的维度,以便与其在通道维度上进行拼接,扩展公式如下:;其中,H和W为粗糙度纹理特征图T的高、宽尺寸, 表示扩展维度后的对比度特征张量, 表示扩展维度后的同质性特征张量, 为元素全为1的矩阵,将粗糙度纹理特征图与编码扩展后的对比度和同质性特征张量在通道维度上拼接,公式如下:;其中, 表示生成的复合粗糙度特征图,Concat为通道维度

拼接函数,拼接后的 可增强图像的纹理特征表达能力。

4.根据权利要求1所述的基于深度学习的线路覆冰检测方法,其特征在于,在步骤S4中,针对步骤S2、S3提取得到的复合亮度特征图和复合粗糙度特征图,结合原始覆冰图像,构建了一个三分支覆冰类型识别模型IceNet‑T,提取融合三分支结果得到最终的覆冰类型识别结果,具体包括以下步骤:步骤S4.1、将原始覆冰图像输入主干分支,主干分支由深度学习迁移模型的主体特征提取网络构成,并通过微调其输出层结构,使其适应覆冰类型识别任务,将原始覆冰图像输入主干分支,提取全局的覆冰特征,提取过程可用如下公式表示:;其中,I表示输入的原始覆冰图像, 表示迁移模型进

行主体网络特征提取过程, 表示替换原迁移模型的全连接输出层, 为新的偏置项,表示ReLU激活函数,最终得到主干分支提取出的全局特征 ;

步骤S4.2、将复合亮度特征图和复合粗糙度特征图分别输入亮度分支与粗糙度分支,两个分支除了为适应各自接收的复合特征图维度而做出参数调整外,特征提取部分采用的网络结构相似,均由1个初始化模块、4个主体特征提取模块和1个分类器组成,具体的特征提取过程可用如下公式表示: 其中,表示复合亮度特征图, 表示复合粗糙度特征图,Init表示初始化模块,M表示主体特征提取模块,每个主体特征提取模块中都包含了一个SE通道注意力层,Classifier表示分类器,下标表示各自所属分支,上标表示不同模块,最终亮度分支和粗糙度分支分别得到特征图 和 ;其中,SE为Squeeze‑and‑Excitation;

步骤S4.3、得到三分支的提取结果 、 和 后,通过加权求和的方法,将不同分支提取的特征融合到一起,用如下公式表示:其中, 表示三分支融合后的特征, 分别表示主干分支、亮度分支和粗糙度分支的权重参数,且权重和为1,Result表示融合特征由Softmax函数转换得到的一个概率分布结果,其中概率最大者即为最终的覆冰类型识别结果。

5.根据权利要求1所述的基于深度学习的线路覆冰检测方法,其特征在于,在步骤S5中,为优化语义分割结果而使用的多尺度条件随机场MSCRF,具体包括以下步骤:步骤S5.1、根据SCTNet的网络结构,从其编码器和解码器的多层网络中提取出不同尺度的语义分割特征图,MSCRF通过结合多尺度特征图的空间和颜色信息,对分割结果进行细化和优化;语义分割模型不同卷积层提取出的多尺度特征图具有不同的维度,需要经过预处理将这些特征图调整到统一的尺寸,然后连同目标特征图一起输入MSCRF中进行迭代优化,预处理过程可用如下公式表示: 其中, 为调整后的多尺度特征图,Resize是对不同尺度的特征图 进行维度调整的函数,H和W为目标尺寸的高和宽,n为需要处理的特征图数量,最终的多尺度特征图可表示为集合: ;

步骤S5.2、MSCRF对输入的需要优化的目标特征图和多尺度特征图P,通过最小化一个能量函数,使目标特征图在具有相似颜色和位置区域内相邻像素之间标签一致,通过多次迭代更新,优化目标特征图的分割结果,迭代优化公式如下:其中,U表示Unary,即需要优化的目标特征

图, 表示不同尺度的特征图,n表示需要处理的特征图数量, 和 分别表示空间高斯权重和双边高斯权重,可分别表征特征图中的空间信息和颜色信息,Softmax函数用于将权重进行归一化处理,通过k次迭代后,最终输出的优化特征图 为:其中,Concat函数将不同尺度特征图的迭代结果在通

道维度拼接,Reshape函数将拼接后的迭代结果重新调整,使其通道维度和原输入目标特征图U相同,得到最终的优化结果 。

6.根据权利要求1所述的基于深度学习的线路覆冰检测方法,其特征在于,步骤S6中,使用等效面积法推算线路的等效覆冰厚度,包括以下步骤:步骤S6.1、利用语义分割模型对原始覆冰图像中的主视角和旁视角线路进行分割,得到线路的分割区域,同一视角下同一线路的覆冰区域面积 与其水平覆冰厚度 存在如下关系: ;已知该视角下裸线的直径 ,由语义分割得到裸线的像素面积 和覆冰状态下的像素面积 ,可使用如下公式推算出覆冰状态下的水平覆冰厚度 : 其中,即为等效面积法中所需的长径参数a,同理,可借助原始覆冰图像中旁视角线路的分割结果求得其垂直方向的覆冰厚度,即为等效面积法中所需的短径参数b;

步骤S6.2、等效面积法将覆冰线路的不规则横截面等效为一个具有相同面积的标准圆,利用该标准圆的半径减去裸线半径,得到线路的等效均匀覆冰厚度,首先将不规则覆冰横截面为一个规则的椭圆,并通过增加调节参数来使得该椭圆的面积接近原不规则横截面积,进一步将该椭圆等效为具有相同横截面积的标准圆,最后求得等效均匀覆冰厚度,该过程可用如下公式表示: 其中, 为需要求的等效均匀覆冰厚度,r为裸线半径, 为覆冰密度,a为长径参数,b为短径参数,等式左边表示等效标准圆面积减去裸线横截面积,等式右边括号内为椭圆面积减去裸线横截面积,表示裸线外的规则覆冰横截面,通过覆冰密度与一个常数参数来调节误差,从而得到如下的等效均匀覆冰厚度计算公式: 其中,覆冰密度 可根据覆冰类型的识别结果进行推算;

步骤S6.3、针对夜间因光线低暗而导致的旁视角线路难以观测的情况,对等效覆冰厚度计算公式做出优化调整,利用相同线路在同一天中白天最后时刻主视角和旁视角的覆冰状态来推断该线路后续的夜间旁视角覆冰状态,进而推算出夜间的短径参数 ;

推算白天最后时刻的长短径参数比例 : ;其中, 为白天最后时刻的长径参数; 为白天最后时刻的短径参数;

根据夜间主视角线路覆冰状态可得到夜间的长径参数 ,再结合白天最后时刻的长短径参数比 ,进一步推算出夜间的短径参数: ;

由白天最后时刻的长短径参数比 和夜间的长径参数 得到优化后的夜间等效覆冰厚度计算公式: ;

步骤S6.4、针对因线路布局导致旁视角线路几乎不可见或难以提取有效信息的情况,通过大量统计观测旁视角可见状态下长短径之间存在的线性关系,利用多项式函数关系描述旁视角可见状态下长短径之间的关系,从而由基于主视角的覆冰状态推算出旁视角的覆冰状态,收集大量旁视角可见状态下的长短径参数数据集 ,其中N为样本数量,多项式函数定义如下: 其中, 表示旁视角可见状态下的短径参数, 表示旁视角可见状态下的长径参数,n表示多项式的阶数, 表示各项式的系数;通过最小二乘法确定多项式的系数,使该函数接近数据点;利用大量的 数据拟合出规律函数 ,再根据旁视角不可见状态下检测计算得到的长径参数 ,推算出其短径参数 : 由规律函数 和长径参数 得到旁视角不可见状态下的等效覆冰厚度优化计算公式: 。

7.根据权利要求1所述的基于深度学习的线路覆冰检测方法,其特征在于,包含线路覆冰检测系统,所述线路覆冰检测系统包括:预处理模块、覆冰类型识别模块、覆冰分割模块和等效覆冰厚度计算模块;

预处理模块,用于获取覆冰监测设备拍摄到的原始覆冰图像,并经过亮度预处理模块和粗糙度预处理模块分别得到复合亮度特征图和复合粗糙度特征图;

覆冰类型识别模块,是一个包括主干分支、亮度分支和粗糙度分支的三分支卷积神经网络IceNet‑T,用于将原始覆冰图像输入主干分支,预处理获得的复合亮度特征图和复合粗糙度特征图分别输入亮度分支和粗糙度分支,融合三分支提取出的覆冰特征,得到覆冰类型识别结果;

覆冰分割模块,用于利用标注好的数据集训练语义分割模型SCTNet,并通过分割结果优化模块SegBoost中的多尺度条件随机场MSCRF对覆冰分割结果进行优化获得更精准的覆冰区域,提取出其中的主视角覆冰区域和旁视角覆冰区域的像素面积;

等效覆冰厚度计算模块,用于根据覆冰类型识别结果得到覆冰密度参数,再根据覆冰分割模块识别出的主视角和旁视角覆冰区域像素面积,推算出等效覆冰计算公式所需的长短径参数,进而计算出均匀的等效覆冰厚度,针对夜间、旁视角线路不可见对覆冰厚度计算公式进行优化调整,最终得到不同环境条件下的等效覆冰厚度计算结果。