1.一种楼宇内火灾初期火灾态势的预测方法,其特征在于,包括以下步骤:S1、基于火灾现场视频,提取视频的关键帧,构建火灾检测数据集,包括火灾视频的关键帧以及关键帧对应的火灾检测参数标签和可燃物类别标签;
S2、构建改进的双流融合火灾检测网络,用火灾检测数据集训练改进的双流融合火灾检测网络,得到火灾检测模型;
S3、将火灾图像为输入至火灾检测模型,获得火灾检测参数、以及可燃物类别,然后进行数据预处理,将预处理过后得到的火灾检测参数和可燃物分布特征进行融合,获得融合后的火焰参数;
S4、构建LSTM火焰预测网络,以融合后的火焰参数为输入,对应的火焰高度、火焰投影面积、火焰蔓延位置为输出训练LSTM火焰预测网络,获得火焰预测模型;
S5、构建ConvLSTM火灾预测网络,以火灾检测参数、以及可燃物分布特征为输入,对应的下一时刻火焰位置和大小为输出,训练ConvLSTM火灾预测网络,得到火灾预测模型;
S6、基于火灾检测模型、火焰预测模型、火灾预测模型,构建火灾态势的预测模型,将采集到的火灾视频输入至火灾态势的预测模型中,获得火焰高度、火焰投影面积、火焰蔓延位置、以及下一时刻火焰的位置和大小。
2.根据权利要求1所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,步骤S1中,提取视频的关键帧包括以下子步骤:S1.1、读取视频帧转化为灰度图像,通过三帧差分法计算当前帧与前后二帧图像差分值,三帧差分法计算公式如下式:,
其中, 分别代表连续的前后三帧的图像灰度值,三帧两两
相减,得到差分图像,进行与操作得到差分图像 ;
S1.2、利用差分图像的熵极值确定当前帧是否为关键帧,对差分图像统计像素灰度级别的数量,使用灰度直方图来完成,计算每个灰度级别的概率,将每个灰度级别的像素数量除以图像帧的总像素数量,以计算每个灰度级别的概率分布,即为概率密度函数 ;
S1.3、针对得到的概率密度函数,进行中值滤波平滑处理;
S1.4、对概率密度函数进行归一化处理,使概率密度的总和等于1,用于表示各个灰度级别的相对权重;
S1.5、对步骤S1.2得到的火灾视频每帧画面的概率密度函数 ,通过熵值计算公式得到每帧的熵值,计算公式如下: ;
S1.6、将计算得到的熵值 映射到以图像帧编号为轴的二维坐标轴x中,最后通过取分段内差分图像熵为极值的图像编号作为该分段中的关键帧n;
S1.7、返回执行步骤S1.1,直到遍历所有视频帧,获得所有关键帧。
3.根据权利要求1所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,步骤S2中,改进的双流融合火灾检测网络基于SlowFast网络构建,包括快通道、以及慢通道;快通道采用于提取时序数据的时间特征;慢通道用于提取时序数据的空间特征。
4.根据权利要求3所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,构建改进的双流融合火灾检测网络包括以下步骤:S2.1、设置快通道与慢通道的抽帧比率,即快通道每秒抽取的帧数为慢通道的倍,将提取的关键帧T输入至快通道,帧的图像尺寸为224×224×T;
S2.2、慢通道采用ResNet‑18网络作为骨干网络用于提取深层次的特征,慢通道的Resnet‑18网络包括输入层、卷积层、BN层、激活函数RELU、残差块、池化层、全连接层;第一层为一个7×7的卷积层,网络共包含4个残差块,每个残差块有两个残差单元,每个残差单元包含两个3×3卷积层,后连接一个全局平均池化层、以及全连接层;
S2.3、慢通道在进行深层次特征提取时,在网络的深层次加入时间维度上的卷积与快通道数据流进行融合,在ResNet‑18网络中Res3, Res4层将传统的二维卷积换成三维卷积;
S2.4、快通道采用3D的ResNet‑18网络,在Res2, Res3,Res4, Res5的每个残差单元第一层卷积层将二维卷积换成三维卷积,用于提取序列数据之间的时间特征;
S2.5、将快通道、慢通道输出的特征输入至CMDA模块,CMDA模块包括:通道注意力机制模块、以及时空注意力机制模块;CMDA模块将快通道、慢通道的特征向量拼接起来检测火灾与可燃物。
5.根据权利要求1所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,步骤S3中,数据预处理包括以下子步骤:S3.1、将火灾检测参数:火焰高度,火焰的投影面积,火焰的蔓延位置提取出来并存储;
其中火焰的蔓延位置为火焰质心位置;
S3.2、采取基于类别信息的过滤方法过滤得到可燃物分布特征;
S3.3、对火灾检测参数平滑降噪、正则化处理。
6.根据权利要求1所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,步骤S3中,对火灾检测参数和可燃物分布特征进行融合,获得融合后的火焰参数,是采用交叉注意力机制,具体包括以下子步骤:S301、计算可燃物分布特征的Q,K,V值,如下式:
,其中, 为线性变换矩阵, 表示火灾预测参
数, x表示可燃物分布特征;
S302、分别计算火灾预测参数Query值和可燃物分布特征Key的相似性,得到注意力分数,然后通过函数将注意力分数进行归一化;Key对应Value与归一化后的注意力分数相乘,得到1个参数的注意力输出,如下式: ,其中, ; 用于对点积结果进行缩放,d是k的
维度,T表示矩阵的转置。
7.根据权利要求1所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,步骤S4具体是:LSTM网络增加一个细胞状态C贯穿网络始终,在RNN的基础上增加了3个控制门:遗忘门,输入门,输出门;
遗忘门表示如下: ,细胞状态最开始设置为0向量; 是
sigmoid函数,这个函数输出为[0,1],即表示一个概率;将过往的细胞状态 进行更新Wf,xt,bf;其中Wf表示遗忘门的权重矩阵,xt表示当前时间步的输入,bf表示遗忘门的偏置向量;输入门的表达式表示为:;
;
则新的细胞状态Ct为:= ; ;
输出门表示为: ;
其中, 表示上一时刻火焰高度,bi表示输入门的偏置向量,xt表示当前时间步的输入, bc表示候选单元状态的偏置向量, 表示候选单元状态,bo表示输出门的偏置向量,ht表示表示当前时间步的隐藏状态,ot表示输出门的输出,Wi表示输入门的权重矩阵,Wc表示候选单元状态的权重矩阵,it表示输入门的输出,Wo表示输出门的权重矩阵, ft表示遗忘门的输出, 表示激活后的单元状态。
8.根据权利要求7所述的一种楼宇内火灾初期火灾态势的预测方法,其特征在于,步骤S5包括以下子步骤:S5.1、设置ConvLSTM编码层的网络参数,包括ConvLSTM层数,输入参数与输出参数;
ConvLSTM进行卷积计算,按照门结构进行输入更新细胞状态,遗忘,输出,:;
其中*代表卷积, 代表相同位置上对应元素的内积;
S5.2,经过深度ConvLSTM提取的时空特征作为时空注意力机制的输入,进行重要性特征信息关注;
S5.3,将经过注意力机制处理过的特征送入预测网络,预测网络由ConvLSTM cell组成深度为3层,输出的是每T帧火焰图像预测未来5帧火焰图像。