1.一种基于神经网络的火灾早期预警方法,其特征在于,包括以下步骤:
1)采集红外图像并对物体标注
1.1)采集预警场所的红外图像;
1.2)将采集的红外图像分辨率归一化为与神经网络输入端相适配的尺寸;
1.3)使用图像标注软件对归一化后红外图像中有温度但没有火灾隐患的物体进行标注,在图像上创建包围该物体的矩形框;
2)搭建并训练神经网络
搭建神经网络模型,将步骤1.3)的图像数据作为训练集,对神经网络模型进行训练,得到训练完成的网络模型;
3)判断火灾隐患
3.1)将待测红外图像输入步骤2)训练完成的网络模型中,得到包含物体预测框的红外图像,并对得到的检测图像的物体预测框内部进行像素0值填充,在进行0值填充之前,首先要判断预测框内部物体是否属于正常温度范围,若属于正常温度范围,进行0值填充;否则,不进行0值填充;
3.2)使用OSTU自适应阈值算法对红外图像的物体预测框外部进行处理,得到OSTU阈值T;
3.3)比较OSTU阈值T与经验设定的阈值A,并选择两者最大值,记为N;
3.4)比较N与图像物体预测框外部的每个像素值,若该像素值大于等于N,将该像素值赋值为255,否则将该像素赋值为0;
4)火灾报警
计算图像物体预测框外部的平均像素值,若该平均像素值大于等于设定的预警阈值B,进行本地和远程报警,否则不予报警。
2.根据权利要求1所述基于神经网络的火灾早期预警方法,其特征在于,步骤2具体为:
2.1)搭建YOLOV4神经网络模型,YOLOV4神经网络模型包括输入端、主干网络、特征金字塔和预测层;利用K‑means聚类生成不同尺度的先验框;
2.2)将1.3)标注后的图像作为YOLOV4神经网络模型中主干网络的输入,然后将标注后图像中矩形框尺寸调整为与YOLOV4神经网络模型输出值相适配的真实框尺寸;
2.3)将K‑means聚类得到的先验框通过预测层得到的调整参数调整为真实框,并通过位置损失函数、置信度损失函数、分类损失函数计算总损失值,直至总损失值收敛,训练完成。
3.根据权利要求2所述基于神经网络的火灾早期预警方法,其特征在于:步骤1.2)中,红外图像分辨率归一化的尺寸为416×416或者608×608。
4.根据权利要求3所述基于神经网络的火灾早期预警方法,其特征在于:步骤2.3)中,还包括选择COCO数据集对权重进行预训练过程。
5.根据权利要求4所述基于神经网络的火灾早期预警方法,其特征在于,步骤2.2)具体为:
2.2.1、将步骤1.3)得到的归一化后图像矩形框的尺寸调整为真实框的尺寸,真实框的尺寸为有效特征层的尺寸大小;
2.2.2、计算真实框在特征图上的中心点坐标和宽高值,真实框中心点坐标和宽高值都除以步长,得到真实框在特征图上的位置信息(Gx,Gy,Gw,Gh);
2.2.3、使用下式计算真实框相对于先验框的偏移量和尺度缩放大小:式中:Cx、Cy为特征图上网格点左上角坐标;
Pw、Ph为先验框宽高大小;
作为真实框数据参与损失函数的计算。
6.根据权利要求5所述基于神经网络的火灾早期预警方法,其特征在于,步骤2.3)具体为:
2.3.1、使用下式将K‑means聚类得到先验框通过预测层得到的调整参数调整为真实框:bx=σ(tx)+Cx (5)
by=σ(ty)+Cy (6)
式中:bx、by、bw、bh为预测框中心坐标和宽高;
tx、ty、tw、th为Yolo‑Head得到的4个调整参数;
Cx、Cy为相对于特征图左上角的偏移量;
Pw、Ph为先验框的宽高;
σ为sigmoid函数;
2.3.2、计算全部损失值loss:
loss=location_loss+confidence_loss+classes_loss (9)其中,
式中:location_loss表示预测框的位置损失函数confidence_loss表示预测框的置信度损失函数;
classes_loss表示预测框分类损失函数;
S×S为输出特征图的尺寸大小,也是网格大小;
B表示先验框数量,每个网格产生B个先验框;
表示第i个网格的第j个先验框是否负责这个object,若负责 等于1,否则等于0;
表示第i个网格的第j个先验框不负责这个object,若是则 等于1,否则等于0;
和 分别是在特征图的第i个网格的第j个先验框的真实框和预测框的中心点坐标;
和 分别是在特征图的第i个网格的第j个先验框的真实框和预测框的宽高;
IOU为真实框与预测框的交并比;
为真实框与预测框中心点的欧式距离;
2
c为同时包含预测框和真实框最小闭包区域的对角线距离;
和 分别是特征图中第i个网格的第j个先验框的真实框宽和高;
和 分别是预测框的宽和高;
和 分别是目标在真实框和第j个预测框中存在的置信度;
2.3.3、对YOLOV4网络进行训练,选择COCO数据集预训练权重,当总损失值收敛时,训练完成,得到权重文件。
7.根据权利要求6所述基于神经网络的火灾早期预警方法,其特征在于,步骤3.2)具体为:对于图像I(x,y),前景和背景的分割阈值记作T,属于前景的像素点数占整幅图像的比例记为ω0,其平均灰度μ0;背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1;图像的总平均灰度记为μ,类间方差记为g,图像的大小为S×S,图像中像素的灰度值小于阈值T的像素个数记作N0,像素灰度大于等于阈值T的像素个数记作N1,则:N0+N1=S×S (19)
ω0+ω1=1 (20)
μ=ω0*μ0+ω1*μ1 (21)
Λ Λ
g=ω0(μ0‑μ) 2+ω1(μ1‑μ) 2 (22)通过OSTU阈值算法处理步骤3.1)经过0值填充的图像,计算除预测框之外图像的OSTU阈值,得到OSTU阈值T。
8.根据权利要求7所述基于神经网络的火灾早期预警方法,其特征在于:步骤1.3)中,图像标注软件采用基于labelImg图像标注软件;
步骤2.1)中,所述主干网络采用CSPDarknet53网络结构;所述特征金字塔使用空间金字塔池化层SPP模块和PANet网络。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1至8任一所述方法的步骤。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求1至8任一所述方法的步骤。