1.一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:包括以下步骤:将近期气象观测数据输入至训练好的气温预测模型,生成气温预测值;
其中,所述气温预测模型包括数据输入模块、编码器、信息蒸馏模块、解码器和预测信号融合单元,所述数据输入模块、编码器和解码器中引入自适应时序分解单元,所述编码器和解码器中引入稀疏注意力机制;
所述气温预测模型的训练方法包括:
获取历史气象观测数据,对历史气象观测数据进行样本划分,形成训练样本集和测试样本集;
从训练样本集中抽取单位训练样本传输至数据输入模块,单位训样本的结构为{输入数据,气温标签值},对输入数据进行分解,得到季节项数据,将输入数据中气温维度的数值抽取出来并对其取平均值,形成气温均值信号;
将输入数据和季节项数据作线性映射至高维向量空间,并对其加入位置信息编码和时间信息编码,分别形成编码输入数据和编码季节项数据;
将编码输入数据输入至编码器进行编码处理,得到编码信息,再将编码信息输入至信息蒸馏模块进行压缩处理,得到蒸馏信息;
将编码季节项数据和蒸馏信息输入至解码器进行解码处理,得到趋势项和季节项;
将气温均值信号、趋势项和季节项输入至预测信号融合单元进行融合,得到模型预测值;
将模型预测值和气温标签值输入损失函数MSE计算误差,根据误差判断模型是否收敛,当判断模型收敛时,模型训练完成,否则进行迭代训练,对模型参数进行更新,重复单位样本训练过程。
2.根据权利要求1所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:定义单位训练样本的输入数据长度I和气温标签长度O,并基于窗口长度为I+O对历史气象观测数据进行样本划分,训练样本集和测试样本集分别为70%和30%。
3.根据权利要求2所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:将输入数据中气温维度的数值抽取出来并对其取平均值,形成气温均值信号具体包括:将输入数据xen按O的长度进行截取,并根据气温维度具体编号k进行数值抽取,对其取均值后 作为预测信号的初始值,即气温均值信号,该步骤表示为公式(1):
4.根据权利要求3所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:将输入数据和季节项数据作线性映射至高维向量空间,并对其加入位置信息编码和时间信息编码具体包括:根据设置的I的具体数值,截取季节项数据S前I/2条数据;并根据数值O,添加长度为O的标量0,将两种信号融合得到 该信号作为解码器初始输入信号,以上流程可表示为公式(2)和(3)S,T=AdaSTL(xen[t‑I/2:t]) (2)其中:t为时间节点,即预测起始点,Concat为矩阵连接操作,xzero为标量0的占位符,T为趋势项;
将xen和 注入绝对位置编码和时间信息编码,对于序列位置pos和向量编号i,绝对位置编码计算方式如式(4)和(5)所示,xen和 每条记录包含了时间信息,包括年、月、日、时和分钟,如式(6)所示,首先将时间信息归一化,最后Embedding函数将离散的输入序列stackTime转换为连续的向量表示,如式(7)所示,为每条记录提供时间与位置信息编码后,将xen和 分别用Linear函数线性映射至高维向量空间,使其与编码矩阵的形状对应,具体如式(8)和式(9)所示,其中 为编码输入数据, 为编码季节项数据。
5.根据权利要求4所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:编码器对编码输入数据进行编码处理具体包括:设置编码器选择合适的层数N;
将 作为第1层编码器的输入信号,假设本层编码器层号为p,则输出的信号为 该信号同时作为第p+1层编码器的输入信号,依此类推;
假设本阶段在第p层编码器,将输入信号 输入稀疏自注意力机制中,首先如式(10)所示,为输入信号分配3个可学习矩阵W,将X转换后作为稀疏注意力矩阵的查询Q、键K和值V,其次利用残差连接将输入信号 与注意力输出值相加,得到最终的累加值,如式(10);
将最终的累加值输出至自适应时序分解单元AdaSTL,获取季节项分解结果 抛弃趋势项被抛弃,如式(11)所示:将 输入前馈神经网络FFN,并利用残差连接将 与FFN的输出结果累加,如式(12)所示,得到累加结果;
将累加结果传入自适应时序分解单元AdaSTL,获得季节项分解结果 将 作为本层编码器的输出信号,即编码信息,如式(13)所示:判断p是否小于N:若是,则将 传输至第p+1层编码器,再次进行处理;若不是,则将作为最终的编码信息传输至信息蒸馏模块。
6.根据权利要求5所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:信息蒸馏单元对编码信息进行压缩处理具体包括:定义卷积核长度kernelSize,并利用一维卷积网络conv1D对 进行局部特征获取,得到xconv,如式(14)所示;
利用Relu函数将xconv中的负值转换为零,并保留正值,得到xrelu,如式(15)所示;
使用最大池化层MaxPool对xrelu进行下采样操作,降低数据量,如式(16)所示,最终将编码信息 压缩为蒸馏信息
7.根据权利要求6所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:解码器对编码季节项数据和蒸馏信息进行解码处理,具体包括:设置解码器选择合适的层数M;
假设本层编码器层号为l,则输入信号由 构成,第l层解码器输出信号为将 输入稀疏注意力,并利用残差连接将输出与 累加得到累加结果;
将上一步骤得到的累加结果传入第1个自适应时序分解单元AdaSTL,得到 和传入预测信号融合单元, 继续传输至解码器内部的下一个模块,具体如公式(17)所示:将 和步骤220得到的 传入交叉注意力机制,其中 作为交叉注意力的查询矩阵,作为交叉注意力Cross Attention的键矩阵和值矩阵,交叉注意力机制的输出结果与累加,得到累加值;
将上一步骤得到的累加值传入第2个自适应时序分解单元AdaSTL,得到 和传入预测信号融合单元, 继续传输至解码器内部的下一个模块,如公式(18)所示:将 传入前馈神经网络FFN,将 与FFN输出结果累加,如公式(19)所示,得到累加值;
将上一步骤得到的累加值传入第3个自适应时序分解单元AdaSTL,得到 和传入预测信号融合单元, 则作为本层解码器的输出值 具体如公式(19‑20)所示:判断l是否小于M:若是,则将 传输至第l+1层解码器再次进行信息处理;若不是,则将作为 传输至预测信号融合单元。
8.根据权利要求7所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:预测信号融合单元对将气温均值信号、趋势项和季节项输入进行融合具体包括:预测信号融合单元获取3*M个 1个 和1个均值信号
为每个 和 分配一个多层感知机MLP,提高其非线性表达能,同时将其转换至与预测信号一致形状;
将 所有 和 累加,形成得到模型预测值,即气温预测信号。
9.根据权利要求7所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:编码器和解码器中稀疏自注意力机制构建流程如下:为输入信号X分配3个可学习矩阵W,使用W对X进行转换后形成查询矩阵Q、键矩阵K、值矩阵V,具体如式(21)所示,步骤2,将Qi与所有键向量的点积值除以 使用SoftMax函数归一化为概率分布;
获得Qi所属的注意力分数向量 如式(22)所示,
采用Kullback‑Leibler稀疏性度量法分类查询向量Qi,将稀疏性得分排名前u的查询向量Qi组成稀疏查询矩阵 如式(23)所示,步骤4,对空缺部分使用均值向量 填充,如公式(24)所示,SA(·)为稀疏注意力机制, 为多次填充操作,
10.根据权利要求7所述的一种基于稀疏注意力与自适应时序分解的气温预测方法,其特征在于:编码器和解码器中自适应时序分解单元构建流程如下:构建n种具有不同分解效果的STL单元,通过可学习矩阵w对输入信号x进行线性变换,i随后输入STL时序分解单元,输出季节项和趋势项,具体如公式(25)所示,其中p为STL单元的超参数,i∈{1,...,n},i i i i
S ,T=STL(ρ ,xw) (25)i i i
根据SoftMax函数分配的权重,将分解项S 、T融合为S、T,具体如公式(26)所示,其中β为权重,
1 n 1 n
β ,...,β=SoftMax(S ,...S) (26)将所有趋势子项和季节子项累加,形成趋势项T和季节项S,最后使用多层感知机MLP增加非线性能力,具体如公式(27),