利索能及
我要发布
收藏
专利号: 2024112767291
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,包括以下步骤:

S1、获取输电线路异物图像并进行数据标注,得到输电线路异物图像数据集;

S2、利用文生图扩散模型进行多模态数据增强,得到数据增强后的图像数据集,并划分为训练集及验证集;

S3、使用公共数据集对改进YOLOv9模型进行预训练,得到最佳的预训练权重;

S4、将步骤S2所得训练集输入预训练后的改进YOLOv9模型进行训练,每轮对验证集进行验证,获取效果最好的权重和超参数,得到输电线路异物检测模型;

S5、将输电线路异物检测模型配置到边缘设备上实现输电线路异物检测;

其中,所述改进YOLOv9模型包括骨干网络、颈部网络和头部网络和可编程梯度信息模块;骨干网络、颈部网络和头部网络依次连接构成主分支,可编程梯度信息模块连接骨干网络,可编程梯度信息模块作为辅助分支,颈部网络采用高层次筛选特征融合金字塔;采用MobileNetv4‑Small网络作为骨干网络,骨干网络包括依次设置的MNv4‑1模块、MNv4‑2模块、MNv4‑3模块、MNv4‑4模块和MNv4‑5模块,其中MNv4‑1模块包含一个卷积归一化模块,卷积归一化模块包括普通卷积和深度可分离卷积,首先通过普通卷积提取到图像的特征,然后使用深度可分离卷积进行空间特征的再次提取,然后将提取到的特征通道进行拆分成两部分,一部分不变,另一部分进行点卷积操作,点卷积将通道特征进行融合,然后经逐元素相乘操作,将两个分支的特征进一步融合,然后进行批归一化,并使用h‑swish激活函数;

MNv4‑2模块由连续两个卷积归一化模块串联而成,MNv4‑3模块由一个第一通用倒置瓶颈块、三个第二通用倒置瓶颈块及另一个第一通用倒置瓶颈块串联而成,MNv4‑4模块由连续两个第一通用倒置瓶颈块及四个第二通用倒置瓶颈块串联而成,MNv4‑5模块由两个卷积归一化模块串联而成;颈部网络使用的高层次筛选特征融合金字塔和三个RepNCSPELAN4特征融合模块, 高层次筛选特征融合金字塔包括三个坐标注意力机制模块、两个选择性特征融合模块,首先将MNv4‑3模块提取的8倍下采样特征、MNv4‑4模块提取的16倍下采样模块及MNv4‑5模块提取的32倍下采样模块分别经过三个坐标注意力机制模块消除冗余数据,压缩特征,然后分别经过1×1卷积层改变通道数,分别得到低级特征、中级特征和高级特征;

高级特征通过其中一个RepNCSPELAN4特征融合模块进行特征融合之后得到第一个输出特征;

通过其中一个选择性特征融合模块将高级特征和中级特征融合,然后经过一个RepNCSPELAN4特征融合模块进行特征融合之后得到第二个输出特征;

通过另一个选择性特征融合模块将高级特征和低级特征融合,然后经过一个RepNCSPELAN4特征融合模块进行特征融合之后得到第三个输出特征;

选择性特征融合模块将高级特征与低级特征融合的公式如下:

其中,CA表示坐标注意力机制模块的操作,BL为双线性插值, 为转置卷积,为高级特征, 为低级特征, 为扩展的高级特征, 为过滤后融合的特征;

第一个输出特征、第二个输出特征和第三个输出特征分别输入头部网络的三个检测头进行分类。

2.根据权利要求1所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,文生图扩散模型包括语言模型、文本编码器、图像编码器、图文配对的多模态模型、变分自编码器和U‑Net网络,变分自编码器包括编码器和解码器,通过语言模型、文本编码器和图像编码器对输电线路异物图像数据集进行处理,得到对应的文本特征向量和图像特征向量,用于训练图文配对的多模态模型,向训练后的图文配对的多模态模型输入异物的文本描述及背景的文本描述,生成文本编码向量;将随机矩阵输入变分自编码器的编码器中生成潜在空间低维矩阵,将潜在空间低维矩阵、文本编码向量、自定义的异物位置信息、背景初始信息、噪点强度输入U‑Net网络中进行噪声裁剪及合并操作,以及扩散加噪操作和反向扩散去噪操作,生成低维图像矩阵,将低维图像矩阵输入变分自编码器的解码器之中进行解码,生成重构图像,重构图像和原有的输电线路异物图像组成数据增强后的图像数据集。

3.根据权利要求2所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,训练图文配对的多模态模型时,将文本特征向量及图像特征向量构建为图像‑文本对,计算图像‑文本对的相似度对比损失,用于训练图文配对的多模态模型。

4.根据权利要求2所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,向训练后的图文配对的多模态模型输入异物的文本描述及背景的文本描述所构成的文本信息T,通过图文配对的多模态模型生成文本编码向量ZT={t1, t2,…,tn,tbg } ,其中, t1, t2,…,tn分别为第1,2,…,n条对异物的文本描述所对应的文本编码向量,tbg为背景的文本编码向量。

5.根据权利要求4所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,生成低维图像矩阵的过程为:步骤1:给定自定义的异物位置信息 以及固定的背景初始信息 ,其中

分别为第1,2,…,m个异物的位置信息,m≤n,即一个异物至少有一条文本描述;将异物位置信息以及固定的背景初始信息输入U‑Net网络中生成异物位置噪声信息ZLm={zL1, zL2,…,zLm}以及背景噪声信息zbg,其中zL1, zL2,…,zLm分别为第1,2,…,m个异物位置噪声信息; 然后在背景噪声信息上进行异物位置噪声信息的裁剪和合并操作,得到裁剪和合并之后的含有所有异物位置噪声信息的噪声 :;

其中,为噪点强度;

步骤2:变分自编码器的编码器将输入的随机矩阵x映射到潜在空间中得到潜在空间低维矩阵z, ,其中 为给定随机矩阵x时潜在空间低维矩阵𝑧 的条件概率分布, 为编码器生成的均值, 为编码器生成的标准差,为编码器的参数;

步骤3:将文本编码向量ZT、含有所有异物位置噪声信息的噪声 和潜在空间低维矩阵输入U‑Net网络,不断执行扩散加噪过程和反向扩散去噪过程,生成低维图像矩阵。

6.根据权利要求1所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,对于MobileNetv4‑Small网络的参数设计采用两阶段神经搜索架构,分别确定最佳卷积核尺寸和通用倒置瓶颈块配置。

7.根据权利要求1所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,将骨干网络中提取出来的8倍、16倍以及32倍下采样特征输入可编程梯度信息模块之中,可编程梯度信息模块将得到的分类以及回归的梯度信息补充到主分支之中。

8.根据权利要求1所述的基于YOLOv9和扩散模型的输电线路异物检测方法,其特征在于,头部网络使用聚焦损失函数,并引入调节因子d和u:;

其中, 为重构后的真实框和预测框的交并比,IoU为交并比,d和u均为调节因子,调节因子取值范围在(0,1)区间,聚焦损失函数的损失 为。