利索能及
我要发布
收藏
专利号: 2023106853524
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于级联网络的林火检测方法,其特征在于:执行如下步骤A至步骤B,实现对森林拍摄图像的林火检测;

步骤A.基于预训练好以森林拍摄图像为输入,以森林拍摄图像中林火局部图像、可疑雾状局部图像为输出,包含全局特征提取网络与局部特征提取网络的MC‑YOLOv5s结构的烟雾火焰检测网络,针对森林拍摄图像进行处理分析,判断森林拍摄图像中是否存在林火局部图像,是则判定森林拍摄图像所对应森林区域出现火情,触发报警;否则若存在可疑雾状局部图像,则进入步骤B;若不存在可疑雾状局部图像,则判定森林拍摄图像所对应森林区域未出现火情;

烟雾火焰检测网络还包括特征融合网络、颈部网络、以及检测头;其中,全局特征提取网络的输入端与局部特征提取网络的输入端相连,构成烟雾火焰检测网络的输入端,由全局特征提取网络、局部特征提取网络分别接收森林拍摄图像、并进行特征提取处理;全局特征提取网络串联结构中预设三类尺寸全局特征图的输出构成全局特征提取网络的三个输出端,局部特征提取网络串联结构中预设三类尺寸局部特征图的输出构成局部特征提取网络的三个输出端,且全局特征提取网络三输出端分别所对应全局特征图的尺寸与局部提取网络三输出端分别所对应局部特征图的尺寸之间一一对应相同;全局特征提取网络三输出端、局部提取网络三输出端分别对接特征融合网络的各输入端,由特征融合网络分别针对各组来自全局特征提取网络、局部提取网络的相同尺寸的全局特征图与局部特征图进行特征融合处理,获得三类尺寸特征融合图;特征融合网络的输出端经颈部网络连接检测头的输入端,由检测头中所包含分别与特征融合网络输出三特征融合图尺寸一一对应的检测框,分别接收相应特征融合图、并进行处理,输出森林拍摄图像中的林火局部图像、可疑雾状局部图像;

步骤B.基于预训练好以可疑雾状局部图像、以及可疑雾状局部图像所对应拍摄时森林区域的预设各气象要素值为输入,以可疑雾状关于烟雾或云雾的区分为输出的烟雾分类网络,根据可疑雾状局部图像所对应拍摄时森林区域的预设各气象要素值,针对可疑雾状局部图像进行处理分析,若判定可疑雾状为烟雾,则判定森林拍摄图像所对应森林区域出现火情,触发报警;若判定可疑雾状为云雾,则判定森林拍摄图像所对应森林区域未出现火情。

2.根据权利要求1所述一种基于级联网络的林火检测方法,其特征在于:所述全局特征提取网络按图像接收传递方向包括依次串联连接的第一Conv层、第一Conv+C3层、第二Conv+C3层、第三Conv+C3层、第四Conv+C3层、第一SPPF层,其中,第一Conv层的输入端构成全局特征提取网络的输入端,全局特征提取网络串联结构中分别对应预设三类尺寸全局特征图输出的第二Conv+C3层的输出端、第三Conv+C3层的输出端、第一SPPF层的输出端构成全局特征提取网络的三个输出端;各Conv+C3层的结构彼此相通,各Conv+C3层中按图像接收传递方向包括串联的Conv层与C3层,且Conv+C3层中Conv层的输入端构成Conv+C3层的输入端,Conv+C3层中C3层的输出端构成Conv+C3层的输出端。

3.根据权利要求1所述一种基于级联网络的林火检测方法,其特征在于:所述局部特征提取网络按图像接收传递方向包括依次串联连接的第二Conv层、第一GhostConv+C3层、第二GhostConv+C3层、第三GhostConv+C3层、第四GhostConv+C3层、第二SPPF层,其中,第二Conv层的输入端构成局部特征提取网络的输入端,局部特征提取网络串联结构中分别对应预设三类尺寸局部特征图输出的第二GhostConv+C3层的输出端、第三GhostConv+C3层的输出端、第二SPPF层的输出端构成局部特征提取网络的三个输出端;各GhostConv+C3层的结构彼此相通,各GhostConv+C3层中按图像接收传递方向包括串联的GhostConv层与C3层,且GhostConv+C3层中GhostConv层的输入端构成GhostConv+C3层的输入端,GhostConv+C3层中C3层的输出端构成GhostConv+C3层的输出端。

4.根据权利要求1所述一种基于级联网络的林火检测方法,其特征在于:所述特征融合网络的结构中,首先,特征融合网络的两输入端分别接收来自全局特征提取网络、局部提取网络的相同尺寸的局部特征图F1与全局特征图F2;

接着,局部特征图F1先依次经过第一平均池化AP层、第三Conv层用于聚合局部特征图的空间信息,再经过第一Softmax层获得局部特征图F1的权重 进一步将局部特征图F1的权重 结合全局特征图F2输送至第一相乘融合层进行相乘处理,获得全局融合特征图F′2;

同时,全局特征图F2先依次经过第一平均池化AP层、第四Conv层用于聚合全局特征图的空间信息,再经过第二Softmax层获得全局特征图F2的权重 进一步将全局特征图F2的权重 结合局部特征图F1输送至第二相乘融合层进行相乘处理,获得局部融合特征图F′1;

然后,局部融合特征图F'1与全局融合特征图F'2输送至第一Concat层进行拼接处理,再经过第五Conv层进行卷积降维处理,获得拼接融合特征图F3;

最后,拼接融合特征图F3被分别输送至第二平均池化AP层、第一最大池化MP层进行处理,第二平均池化AP层的输出端与第一最大池化MP层的输出端对接第二Concat层的输入端,第二Concat层的输出端依次串联第六Conv层、第三Softmax层,第三Softmax层的输出端对接第三相乘融合层的输入端,第三相乘融合层的输入端同时接收拼接融合特征图,由第三拼接融合特征图进行相乘处理,获得特征融合图F4。

5.根据权利要求1至4中任意一项所述一种基于级联网络的林火检测方法,其特征在于:基于鉴别器、预设数量出现火情的森林火灾样本图像、预设数量出现烟雾或云雾的森林雾状样本图像,且已知各森林火灾样本图像中林火局部区域、可疑雾状局部图像,以及已知各森林雾状样本图像分别对应的雾状特征图像;

根据各森林火灾样本图像,按照以森林火灾样本图像为输入,以森林火灾样本图像中林火局部图像、可疑雾状局部图像为输出,针对MC‑YOLOv5s网络进行训练;

同时根据各森林雾状样本图像,基于MC‑YOLOv5s网络中局部特征提取网络与鉴别器所构成的对抗网络,按照以森林雾状样本图像为输入,以森林雾状样本图像所对应雾状特征图像为输出,联系对抗网络的损失函数,针对MC‑YOLOv5s网络中局部特征提取网络进行训练,进而获得训练后的MC‑YOLOv5s网络,即构成预训练好的烟雾火焰检测网络。

6.根据权利要求5所述一种基于级联网络的林火检测方法,其特征在于:所述鉴别器自其输入端至其输出端依次包括串联的第七Conv层、第八Conv层、第九Conv层、第一全连接FC层。

7.根据权利要求1所述一种基于级联网络的林火检测方法,其特征在于:所述烟雾分类网络包括第三Concat层、第二全连接FC层、以及两条通道;

其中一条通道自其输入端至其输出端方向包括依次串联的七个Conv层,该通道的输入端构成烟雾分类网络的其中一输入端用于接收可疑雾状局部图像;另一条通道自其输入端至其输出端方向包括依次串联的两个Conv层,该通道的输入端构成烟雾分类网络的另一输入端用于接收可疑雾状局部图像所对应拍摄时森林区域的预设各气象要素值;两条通道的输出端对接第三Concat层的输入端,由第三Concat层针对来自两条通道的输出、以及可疑雾状局部图像所属森林拍摄图像所对应摄像头方位角进行拼接处理,第三Concat层的输出端对接第二全连接FC层的输入端,第二全连接FC层的输出端构成烟雾分类网络的输出端。

8.根据权利要求1所述一种基于级联网络的林火检测方法,其特征在于:所述预设各气象要素包括温度、湿度、风向、风速、大气压、降水量。