利索能及
我要发布
收藏
专利号: 2024111284867
申请人: 广东石油化工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,具体包括以下步骤:获取图像数据;

将所述图像数据输入IFS‑DETR模型,获取检测结果,其中,所述IFS‑DETR模型由训练集训练获得,所述训练集包括预处理的工业火灾烟雾图像和对应的边界框、类别标注;

所述IFS‑DETR模型由主干特征提取网络LeanNet、编码器、特征融合网络AFFNet、解码器和预测头组成;

所述主干特征提取网络LeanNet,用于对图像数据进行特征提取,获取若干个图像特征,其中,若干个所述图像特征包括第一图像特征、第二图像特征、第三图像特征和第四图像特征;

所述编码器,用于基于所述第四图像特征和位置嵌入,获取所述编码器的输出图像特征;

所述特征融合网络AFFNet,用于对所述第二图像特征、所述第三图像特征和所述编码器的输出图像特征进行融合,构成Memory;

所述解码器,用于基于所述Memory、内容查询和位置查询,获取所述编码器的输出图像特征;

所述预测头,用于对所述编码器的输出图像特征进行分类和预测对象的边界框,获取所述检测结果;

基于所述检测结果发送报警信息,实现面向石化厂区的结构化轻量级火灾烟雾检测。

2.如权利要求1所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,所述主干特征提取网络LeanNet包含若干个特征提取阶段,每个所述特征提取阶段均由卷积层和若干个DS‑C块组成,且每个所述DS‑C块均由深度可分离卷积层、标准卷积层、批归一化层和激活层构成;

其中,所述卷积层,用于对所述图像数据进行降维;所述DS‑C块,用于对降维后的图像数据进行特征提取,获取若干个所述图像特征;

所述DS‑C块为:

d1=Conv(DSConv(d))

d2=BN(ReLU(d1))

d3=Conv(d2)

其中,d为DS‑C块的输入特征,d1为经深度可分离卷积与标准卷积运算后的特征,d2为通过ReLU激活并批归一化后的特征,d3为卷积运算后的特征,dout为DS‑C块的输出特征,Conv(·)为标准卷积运算,DSConv(·)为深度可分离卷积运算,BN(·)为批归一化运算,ReLU(·)为激活函数, 为拼接运算。

3.如权利要求1所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,所述编码器由多头自注意力网络和前馈神经网络组成,且所述多头自注意力网络和所述前馈神经网络后均有一个残差链接;

其中,所述多头自注意力网络为:

其中,MultiHeadAtten(·)为多头自注意力运算,zq为query,q为zq的索引,ρ为输入特'征,m为多头注意力的头数,M为多头注意力的总头数,Wm、W m为可学习权重,k为采样key的索引,K为总采样key数,Amqk表示第m个头注意力权重,ρk为经key表示的特征。

4.如权利要求1所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,对所述第二图像特征、所述第三图像特征和所述编码器的输出图像特征进行融合之前还包括:将所述编码器的输出图像特征进行映射,并使用正弦位置编码补充位置信息,其中,所述正弦位置编码为:其中,PE(·)为编码结果,pos表示特征的位置,i为位置编码矩阵中第i个维度的值,dm为模型嵌入向量的维度。

5.如权利要求4所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,所述特征融合网络AFFNet由信息对齐模块、跨层信息融合模块和信息细化模块构成;

所述信息对齐模块,用于统一所述第二图像特征、所述第三图像特征和所述编码器的输出图像特征的尺度,获取对齐后的特征信息;

所述信息对齐模块为:

d11=Avgpool(S2)

d22=S3

d33=Interpolation(F1)

其中,d11为高维特征S2经平均池化降维后输出的特征,d22为特征S3,d33为低维特征F1经双线性插值升维后输出的特征,S2为主干网络第二阶段输出的特征层,S3为主干网络第三阶段输出的特征层,Avgpool(·)为平均池化运算,Interpolation(·)为双线性插值运算,F1为编码器的输出特征, 为拼接运算;

所述跨层信息融合模块,用于对所述对齐后的特征信息进行融合,获取融合后的特征信息;

所述跨层信息融合模块为:

L1=Conv1×1(D)

L2=EFCA(L1)

L=Conv3×3(L2)

其中,L1为经1×1大小卷积核运算后的特征,L2为经EFCA注意力运算后的特征,L为经3×3大小卷积核运算后的特征,Conv1×1(·)为卷积核为1×1的卷积运算,D为输入特征,EFCA(·)为高效频率通道注意力计算,Conv3×3(·)为卷积核为3×3的卷积运算;

所述信息细化模块,用于对所述融合后的特征信息进行细化,并结合所述编码器的输出图像特征,获取所述Memory;

所述信息细化模块为:

E1=RepC3[Conv1×1(f1)]

E2=RepC3[Conv1×1[Interpolation(f2)]]其中,E1为第一组输出特征,E2为第二组输出特征,RepC3[·]为重参数化模块,f1为第一组输入特征,Interpolation(·)为双线性插值运算,f2为第二组输入特征。

6.如权利要求5所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,所述跨层信息融合模块由第一卷积层、高效频率通道注意力网络和第二卷积层构成;

所述第一卷积层,用于对所述对齐后的特征信息进行初步提取,获取初步提取的特征信息;

所述高效频率通道注意力采用基于2D DCT的高效频率通道注意力网络,用于对初步提取的特征信息进行通道间信息交互,获取信息交互后的特征信息;

其中,所述2D DCT及其逆为:

式中, 为2D DCT的基,h为2D DCT基的高度,w为2D DCT基的宽度,H为2D DCT频谱图的高度,W为2D DCT频谱图的宽度,i为实数矩阵的行数,j为实数矩阵的列数, 为2D DCT频谱,2D表示二维, 为输入;

所述第二卷积层,用于对所述信息交互后的特征信息进行提取,获取所述融合后的特征信息。

7.如权利要求1所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,基于所述Memory、内容查询和位置查询,获取所述编码器的输出图像特征,包括:将IoU‑Aware查询引入所述IFS‑DETR模型,并对所述Memory进行交并比查询筛选,获取所述内容查询;

对所述Memory进行对比去噪训练,获取所述位置查询,其中,所述对比去噪训练包括匹配和去噪;

将所述Memory、所述内容查询和所述位置查询输入所述解码器,获取所述编码器的输出图像特征。

8.如权利要求7所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,所述解码器由可变形注意力网络、多尺度可变性注意力网络和前馈神经网络组成,且所述可变形注意力网络、所述多尺度可变性注意力网络和所述前馈神经网络后均有一个残差链接;

所述可变形注意力网络为:

其中,DeformAtten(·)为可变形多头自注意力运算,k为采样key的索引,K为总采样'key数,m为多头注意力的头数,Wm、Wm为可学习权重,Amqk表示第m个头注意力权重,Δpmqk表示第m个注意头部中第k个采样点的采样偏移量,zq为query,pq为二维参考点,ρ为输入特征,M为可变形多头自注意力的总头数;

所述多尺度可变性注意力网络为:

其中,MSDeformAtten(·)为多尺度可变形多头自注意力运算, 为查询元素参考点的l归一化坐标,ρ为多尺度输入特征,L为输入特征的层数,φl为归一化运算,l为特征图层级的索引,Amlqk为注意力权重,Δpmlqk表示第m个注意力head在第1个特征层上第k个采样点的采样偏移量。

9.如权利要求1所述的面向石化厂区的结构化轻量级火灾烟雾检测方法,其特征在于,获取所述预处理的工业火灾烟雾图像,包括:获取工业火灾烟雾图像;

对所述工业火灾烟雾图像进行清洗;

对清洗后的工业火灾烟雾图像进行边界框和类别标注,并进行双重检查,进而获取所述预处理的工业火灾烟雾图像。