利索能及
我要发布
收藏
专利号: 2023111788900
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,包括如下步骤:

S1、基于已知火灾图像视频数据,构建火灾图像数据集,包括若干自然光火灾图片、红外光火灾图片以及其图片中目标物的各个预设属性标签;

S2、构建Transformer与CNN相结合的轻量化自适应火灾烟雾火焰检测神经网络,包括主干网络以及与主干网络连接的检测网络,所述主干网络包括:卷积模块、以及与其相连的若干个深度可分离卷积模块、可变形自适应卷积与Transformer结合模块;所述检测网络包括若干个可变形自适应卷积检测模块;可变形自适应卷积与Transformer结合模块作为主干网络的输出端与检测网络相连;可变形自适应卷积检测模块作为轻量化自适应火灾烟雾火焰检测神经网络的输出端;

S3、利用步骤S1火灾图像数据集对步骤S2构建的Transformer与CNN相结合的轻量化自适应火灾烟雾火焰检测神经网络进行训练,得到轻量化自适应火灾烟雾火焰检测模型;具体为:以火灾图像数据集中若干自然光火灾图片、红外光火灾图片为输入,对应的火灾中烟雾和火焰的目标物位置为输出,对神经网络进行训练,训练过程中,对输入图片的特征进行动态提取,对火灾中烟雾和火焰的区域给出多个预测框,通过得分和非极大值抑制方法筛选出满足预设置信度的火灾烟雾和火焰的预测框的最好目标框,得到最优的火灾中烟雾和火焰的目标物位置;

S4、应用轻量化自适应火灾烟雾火焰检测模型,在火灾发生时,输入实时采集的火灾图像,对火灾烟雾和火焰中的目标物位置进行识别。

2.根据权利要求1所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S1包括以下子步骤:S101、将已知火灾图像视频通过切帧的方式处理成图片形式,再将图片以预定概率进行旋转‑镜像‑仿射操作,形成火灾图像数据集;

S102、利用LabelImg矩形框样本标注工具对火灾图像数据集中的图片进行标注,获得图片的中目标物的中心点、目标物宽度、高度及目标物类别名称。

3.根据权利要求1所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S2中,所述主干网络为:依次连接的第一3×3卷积、第一深度可分离卷积模块、第二深度可分离卷积模块、第三深度可分离卷积模块、第四深度可分离卷积模块、第五深度可分离卷积模块、第一可变形自适应卷积与Transformer结合模块、第六深度可分离卷积模块、第二可变形自适应卷积与Transformer结合模块、第七深度可分离卷积模块、第三可变形自适应卷积与Transformer结合模块;

所述检测网络为顺序连接的第一可变形自适应卷积检测模块、第二可变形自适应卷积检测模块、第三可变形自适应卷积检测模块;

第一可变形自适应卷积与Transformer结合模块作为主干网络的第一输出端连接第一可变形自适应卷积检测模块、第二可变形自适应卷积与Transformer结合模块作为主干网络的第二输出端连接第二可变形自适应卷积检测模块、第三可变形自适应卷积与Transformer结合模块作为主干网络的第三输出端连接第三可变形自适应卷积检测模块。

4.根据权利要求3所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S2中,深度可分离卷积模块包括依次连接的第一1×1卷积、逐层卷积、逐点卷积、第二1×1卷积,第一1×1卷积作为深度可分离卷积模块的输入端,第二1×1卷积作为深度可分离卷积模块的输出端。

5.根据权利要求3所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S2中,可变形自适应卷积与Transformer结合模块包括依次连接的第一可变形自适应卷积、第三1×1卷积、展开操作模块、Transformer模块、折叠操作模块、第四1×1卷积、第三可变形自适应卷积;还包括第二可变形自适应卷积,所述第二可变形自适应卷积和第一可变形自适应卷积同时作为可变形自适应卷积与Transformer结合模块的输入端;第二可变形自适应卷积的输出端连接第三可变形自适应卷积的输入端,所述第三可变形自适应卷积作为可变形自适应卷积与Transformer结合模块的输出端。

6.根据权利要求3所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S2中,可变形自适应卷积检测模块包括:边框检测模块和分类损失检测模块;

边框检测模块包括:依次连接的第四可变形自适应卷积、第二3×3卷积、第三3×3卷积、第五1×1卷积、边框回归损失检测单元;

分类损失检测模块包括:依次连接的第五可变形自适应卷积、第四3×3卷积、第五3×3卷积、第六1×1卷积、分类损失检测单元;

所述第四可变形自适应卷积、第五可变形自适应卷积同时作为可变形自适应卷积检测模块的输入端;边框回归损失检测单元、分类损失检测单元同时作为可变形自适应卷积检测模块的输出端。

7.根据权利要求1所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S3中,对步骤S2构建的Transformer与CNN相结合的轻量化自适应火灾烟雾火焰检测神经网络进行训练时,利用网络中深度可分离卷积模块进行下采样,利用可变形自适应卷积与Transformer结合模块对火灾情境下无规则变化的烟雾和火焰特征进行卷积计算,具体为:其中y(·)指卷积运算后在特征图上的输出结果;Pout指经过卷积运算过后输出特征的

2

位置;Pn指K×K卷积进行采样感受野中像素点的位置,Pn={Pij}(0≤i,j≤K‑1;0≤n≤K ‑1;

i,j,n∈N);ω(·)表示卷积中网络学习到的值;x(·)表示输入特征图上按网格化采样后的值;△Pn是对特征图上的点Pn进行的位置偏移量;△γn表示每个采样点上的权重系数。

8.根据权利要求5所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,可变形自适应卷积与Transformer结合模块中依次连接的展开操作模块、Transformer模块、折叠操作模块对第三1×1卷积的输入进行展开‑Transformer‑折叠操作,如下式:XG(p)=Transformer(XU(p)),1

其中,p是展开操作的一个Patch(P)中每个像素点的位置,一个P的宽和高分别为w、h;XU(·)为展开操作, 表示输入的高和宽的特征图,P=w·h, 为P的数量;XG(·)为折叠操作,

9.根据权利要求6所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,边框回归损失检测单利用CIoU损失及DFL损失,分类损失检测单元利用BCE损失;CIoU损失公式如下:其中:

B、Bt分别为预测框和真实框,b、bt分别为预测框和真实框的中心点位置,c为预测框和真实框所形成的最小包裹框的对角线距离,ρ为预测框和真实框的中心点之间的欧氏距离,α、ν分别为长宽比,w、h分别为预测框的宽和高,wt、ht分别为真实框的宽度和高度;

DFL损失公式如下:

DFL(Si,Si+1)=‑((yi+1‑y)log(Si)+(y‑yi)log(Si+1))    (5)DFL是以类似交叉熵的形式去优化与标签y最接近的左(yi)右(yi+1)两边位置的概率,用于网络能够快速的聚焦到目标位置的临近区域的分布中,S是输出分布;

BCE损失公式如下:

其中,LN表示样本数量,PTValue表示权重值,TValue表示标签值,PValue表示模型预测值。

10.根据权利要求1所述的一种轻量化自适应火灾烟雾火焰检测方法,其特征在于,步骤S3中,对Transformer与CNN相结合的轻量化自适应火灾烟雾火焰检测神经网络进行训练时,使用一种改进的动态自适应激活函数,用于缓解模型中的梯度消失,加速网路模型训练收敛的速度及提高网络的性能,具体如下式:其中x表示输入,β为可学习的动态自适应参数。