1.一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,包括如下步骤:步骤1、采集目标区域多视角RGB图像、多视角红外图像和气象数据,并对多视角RGB图像和气象数据进行预处理;
步骤2、对多视角红外图像进行高斯平滑处理;
步骤3、以CNN为骨干网络构建Smokey Net预测模型,将预处理后的多视角RGB图像和气象数据,以及高斯平滑处理后的多视角红外图像输入Smokey Net预测模型,进行多源数据融合;
步骤4、选择稀疏注意力机制、强注意力机制和多头注意力机制三种注意力机制;
步骤5、添加外部寄存器模块和长短期记忆网络;
步骤6、对Smokey Net预测模型进行训练,通过随机梯度下降更新模型权重,并调整损失函数和优化器,得到训练完成的Smokey Net预测模型,通过训练完成的Smokey Net预测模型对目标区域火灾进行预测。
2.根据权利要求1所述的一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,步骤1具体包括如下步骤:步骤1.1、选择来自不同来源的数据,包括不同方位摄像机所拍摄的不同角度的野外火灾发生的RGB图片、红外图片以及温度湿度的相关气象数据,原始数据集如下表示:其中 表示原始数据集, 表示 时刻 视角的红色图片, 表示 时刻 视角的绿色图片, 表示 时刻 视角的蓝色图片, 表示 时刻 视角的RGB图片相对应的红外图片, 表示 时刻的温度数据, 表示 时刻的风力数据, 表示 时刻的湿度数据;
步骤1.2、对数据集中的温度,湿度,风力数据进行预处理,使其范围符合图片像素范围
0‑255,以减少模型训练过程中的权重偏差问题,对温度,风力,湿度数据进行预处理方式为归一化,以下公式表示:;
则经过预处理后的数据集表示为:
其中 为 时刻温度数据归一化结果; 为 时风力数据归一化结果; 为 时刻湿度数据归一化结果; 表示 时刻的温度数据, 表示 时刻的风力数据, 表示 时刻的湿度数据; 为温度最小值, 为温度最大值, 为风力最小值, 为风力最大值, 为湿度最小值, 为湿度最大值;
步骤1.3、对数据进行标记或标注,即为每个样本分配正确的标签或类别,利用计算机视觉技术进行自动标记,即使用目标检测、语义分割的技术来检测图像中的火焰或烟雾区域;
步骤1.4、将数据集划分为训练集、验证集和测试集。
3.根据权利要求1所述的一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,步骤2具体包括如下步骤:步骤2.1、采取高斯滤波将每个数据点周围的邻域权重化,使得距离中心点越远的数据点权重越小,设一个大小为 的高斯核 ,中心点为 ,对于红外图像 中的每个像素记为 ,以下公式表示:
;
;
其中, 和 是高斯核的索引,循环遍历的范围为 ,
是输入图像中像素 的灰度值, 是卷积后
的输出图像中像素 的值, 是高斯核的标准差, 是自然对数的底;
步骤2.2、确定窗口大小,考虑图像的特性、噪声水平以及应用需求,选择7×7的窗口用以更好地平滑图像。
4.根据权利要求1所述的一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,步骤3具体包括如下步骤:步骤3.1、利用CNN分别提取每一帧RGB三色图像和红外图像,选取选择VGG16的倒数第二个卷积块的最后一层,也就是block5_conv3层,进行特征提取,VGG16的工作流程为输入时刻 视角的红色图片 、 时刻 视角的绿色图片 、 时刻 视角的蓝色图片及红外图像 经过VGG16后得到的特征图分别记为 ,以下公式表示:;
步骤3.2、进行多源数据融合,将经过CNN提取的每一幅RGB三色图像和红外图像的特征图片,与温度湿度风力的气象因素融合,生成新的特征图片,首先设温度、湿度、风向这三个数据源在 时刻的权重分别为 ,则加权融合的公式表示为:;
则融合完成后第 时刻的特征记为 ,公式表示为:
。
5.根据权利要求1所述的一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,步骤4具体为:稀疏注意力机制Sparse Attention的原理如下,选择RGB三色时序图像和红外时序图像的特征像素,以RGB三色时序图像中的红色R的第 个元素为例,其中是输入序列的第 个时刻第 个元素,记 为F1,因此第 个元素的 个时间序列为输入序列表示为 , 是序列的长度,首先是计算相似度,对于每个位置 计算它与其他位置 之间的关联度,通过内积、欧氏距离或余弦相似度来衡量,该过程为注意力机制内部黑盒计算,根据计算出的相似度,选择与每个位置 最相关的一些位置,形成稀疏子集 ,所使用的方法为根据相似度阈值选择,对于每个位置 ,利用选择的稀疏子集 中的位置 ,通过 softmax 函数计算注意力权重 ,其中 的公式如下:;
其中 表示位置 和 之间的相似度, 是温度参数用于控制分布的平滑度,
最后根据得到的注意力权重 ,得到位置 的输出特征 ,其公式为:
;
强注意力机制Hard Attention原理如下,在气温数据中,选取第 个时刻,其中 是输入序列的第 个时刻第 个元素,记 为 ,则其输入序列 ,是序列的长度,在每个时间步 ,Hard Attention会根据贪心策略选择一个位置 ,作为当前时间步的注意力焦点,然后根据选择的位置 ,计算当前时间步的注意力权重向量 ,其中只有位置 的权重为1,其他位置的权重为0,并且使用注意力权重向量 对值向量进行加权求和,得到当前时间步的输出向量 ,公式如下:;
最后根据每个时间步选择的位置得到的输出向量序列 ;
多头注意力机制Multi‑Head Attention原理如下,选择RGB三色图像和红外图像的特征像素以及气象数据的第 个时刻,其中 是输入序列的第 个时刻第 个元素,记为 ,则其输入序列:;
是序列的长度,首先,通过将输入序列 乘以查询矩阵 、键矩阵 和值矩阵 ,得到查询 、键 和值 ,然后,将查询、键和值分别分割成 个头,得到 ,其中 表示第 个头,对每个头 ,计算注意力分数 ,公式如下:;
其中, 是键的维度;
计算每个头的注意力输出 ,公式如下:
最后将所有头的注意力输出连接起来,并乘以输出矩阵 得到最终的输出见如下公式:。
6.根据权利要求1所述的一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,步骤5具体包括如下步骤:步骤5.1、增加外部寄存器,通过外部寄存器的使用来存储额外的特征图片同时不断更新以存储特征图片,从而增强其性能和泛化能力,工作过程为在训练过程中,选择性地将当前特征图片存储到外部寄存器中,替换旧的特征图片,每次更新1组,以保证外部寄存器中始终有10组数据;最后在模型的前向传播过程中,结合当前输入数据和外部寄存器中的特征图片;
步骤5.2、引入LSTM框架,其中 时刻LSTM状态的计算公式为:;
式中: 为输入向量; 为遗忘门在时刻 的激活向量; 为输入门在 时刻的激活向量; 为输出门在 时刻的激活向量; 为 时刻的记忆细胞激活向量; 为 时刻的隐藏状态激活向量; 为各自门的输入内核; 为各自门的循环内核; 为偏差; 为Sigmoid激活函数;tanh为双曲正切激活函数。
7.根据权利要求1所述的一种适合边缘计算的融合多源时序数据的火灾预测方法,其特征在于,步骤6中,通过随机梯度下降更新模型权重具体为:确定学习率,不断调整损失函数和优化器的设置,更新之后的学习率 为如下所示上式中,设定了初始动量power为 0.8 和初始学习率 为 0.001,并使用 表示最大迭代次数, 表示当前迭代次数。
8.一种适合边缘计算的融合多源时序数据的火灾预测系统,其特征在于,包括多视角多方位数据模块、红外数据平滑处理模块、新型Smokey Net架构模块和训练参数设置模块;
所述多视角多方位数据模块,包含不同方位摄像机所拍摄的不同角度的野外火灾发生前后的RGB图片、红外图片以及温度、湿度、风力气象数据;该模块用以提供更全面、多样化的信息,提高系统的鲁棒性,使其对于不同环境条件和火灾特征具有更好的适应能力;
所述红外数据平滑处理模块用于去除红外图片中所含夜间干扰光源;
所述新型Smokey Net架构模块通过结合CNN、LSTM和多模态稀疏变压器,Smokey Net架构能够将输入的RGB图片、红外图片以及温度、湿度、风力气象数据充分结合充分利用不同类型数据的信息,准确检测出野火烟雾并且预测野火的发展态势;
所述训练参数设置模块调整相关参数,提高野外火灾检测模型的训练效率、泛化能力和性能表现。
9.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1所述方法的步骤。