利索能及
我要发布
收藏
专利号: 2023106336496
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,基于informer模型包含编码器和解码器,对informer模型进行如下改进,编码器的输入端接收目标地区的历史时间序列,编码器包括依次相连的注意力模块、切片模块、蒸馏模块,编码器的输出端与蒸馏模块的输入端相连,解码器的输入端与蒸馏模块的输出端相连;注意力模块接收序列矩阵,将其转换为单头注意力并输出至切片模块;切片模块接收序列矩阵和单头注意力,将其转换为多头注意力并输出至蒸馏模块;蒸馏模块接收序列矩阵对其进行蒸馏获得新序列矩阵,蒸馏模块接收多头注意力,对其修剪注意力头,获得新的多头注意力;将新序列矩阵和新的多头注意力输出至解码器,解码器输出预测序列。

2.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,基于所述改进后的informer模型,获取目标地区在历史时间段内的历史冰雹强度数据和历史气象信息数据,构建包含目标地区的历史冰雹强度序列数据以及目标地区的历史气象信息数据的数据集,利用数据集对改进后的informer模型进行训练,得到训练完成的冰雹强度预测模型,具体包括以下步骤:步骤1、获取目标地区在历史时间段内的历史冰雹强度数据和历史气象信息数据,并对其进行预处理和归一化操作,获得目标地区在历史时间段内预设时间间隔的历史冰雹强度t t时间序列X;对冰雹强度时间序列X进行统一转换,获得目标地区在历史时间段内的冰雹强度序列矩阵 其中,t表示每个时间间隔的坐标在时间序列中的位置;

步骤2、将冰雹强度序列矩阵 输入到注意力模块中,并在ProbSparse自我注意力机制中构建依赖关系,得到单头注意力矩阵Attention(Q,K,V);

步骤3、将冰雹强度序列矩阵 和单头注意力矩阵Attention(Q,K,V)输入到切片模块中,通过对冰雹强度序列矩阵 进行切片并输入至基于多感知域MPD的多粒度注意力机制,将单头注意力矩阵Attention(Q,K,V)转化为具有不同粒度的多头注意力MultiHead(Q,K,V);

步骤4、将多头注意力MultiHead(Q,K,V)和冰雹强度序列矩阵 输入至蒸馏模块中,针对多头注意力MultiHead(Q,K,V),通过修剪注意力头以消除头部冗余信息,得到新的多头注意力MultiHeadnew(Q,K,V);对冰雹强度序列矩阵 进行蒸馏操作,获得新序列矩阵步骤5、将新的多头注意力MultiHeadnew(Q,K,V)和新序列矩阵 输入至解码器中,针对编码器中新的多头注意力MultiHeadnew(Q,K,V),编码器和解码器的注意力层进行特征交互,将新序列矩阵 输入到解码器中的多头注意力层中,同时在解码器中输入由及 组成的动态采样序列 其中, 为编码器输入的后半部分,序列 数值为t零,解码器使用生成式解码方法,得到目标地区在目标时刻的预测冰雹强度序列Y;

步骤6、将目标地区的历史冰雹强度序列数据以及目标地区的历史气象信息数据作为输入,对应的目标地区的未来冰雹强度序列作为输出,利用数据集对待训练冰雹强度预测模型进行训练,得到训练完成的冰雹强度预测模型。

3.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述步骤1具体包括以下步骤:首先,获取目标地区在历史时间段内各时刻的历史冰雹强度数据,进而构建目标地区t在历史时间段内预设时间间隔的历史冰雹强度时间序列X , 其中, 为历史时间段内各时刻t下目标地区的第i个冰雹强度特征向量,i∈{1,...,Lx},Lx表t示序列X的长度,dx表示输入要素尺寸,即每个时间间隔的输入特征维度数, 表示t时刻目标地区的冰雹强度数据;

t

基于编码器包括卷积层和全连接层,对冰雹强度时间序列X输入卷积层中;对每个时刻的历史冰雹强度数据 进行一维卷积处理,得到特征向量 通过全连接层处理每个时间点对应的特征向量 所对应的位置信息,对序列进行位置编码;位置编码的公式如下:其中

其中,PE表示被编码的向量,其中t表示坐标在序列中的位置;2j和2j+1表示向量的第

2j和2j+1个维度,编码的维度为d_{model};

最后,把2维的坐标序列映射到d_{model}维度,并和位置编码后的向量PE进行相加,得到嵌入位置信息后高维向量的冰雹强度序列矩阵 具体的公式如下:

4.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述步骤2具体包括以下步骤:将冰雹强度序列矩阵 输入到编码器中,并将其在ProbSparse自我注意力机制中构建依赖关系:其中,Q、K、V在根据目标地区在历史时间段内的冰雹强度序列矩阵 得到的多头注意力机制层中分别表示查询、键和值,W为计算权值操作,V值的权重通过查询Q和键K计算得出,在计算出查询Q和键V的权重以后,再计算得到V值的加权和,d指输入的维度;

其中,

第i个Query的attention系数的概率形式为:为了衡量输入序列对应编码器中自注意力单元的依赖关系,度量query的稀疏性,使用KL散度来计算query的attention概率分布与均匀分布的概率分布的相对熵,其中,第i个query的稀疏性的评价公式为:其中, 为对于所有key的Log‑Sum‑Exp, 为算数平均值;

通过以上评价方式,得到ProbSparse self‑attention,即:

5.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述步骤3具体包括以下步骤:将冰雹强度序列矩阵 进行切割时间块MPD,在中,将其划分为N等长的部分;N为设置的超参数,其中层输入(1)的MPD机制为 其中 表示层切片的不同时间块;

通过投影本地数据为每个分割的本地块构建本地数据依赖关系 通过可学习的矩K阵 Wi , 进入不同的子空间;

(1)

然后,将两个空间向量之间的相似性 和 通过点积计算并乘以Vi ,重建输入数据将MPD的N层输出设置为 由于每个本地块的数据

只与块内的数据建立依赖关系生成 为了使局部块边数据在周围数据之间建立依赖关系,提出交叉注意力方法;

1

首先对输出进行重新切片,X_Layer第一层:

对所提出的基于MPD的多粒度注意力机制通过不同头部处理不同感知域的方法进行建模;将X_Layer由MPD机制生成的输出作为不同注意力头的输入;其中,X_Layer为X_Layer=j{X_Layer}j∈[N]

j

其中总X_Layer 指MPD机制的第j层的输出;层j越深,输出感知域越大;每个头的queryN输入相同:Q=X_Layer ;key值和value值在同一头中相同,在不同的头之间不同:K=V=X_jLayer ,j∈[1,...,N];

N Q j K J V

headi=Attention(X_LayerWi ,X_LayerWi ,X_LayerWi)Q K Q K V

其中,Wi ,Wi , 为可学习的矩阵,Wi ,Wi ,Wi分别表示第i个注意力机制层的头中的Q,K,V的线性变化;

当每个头的计算完成后,将每个头的结果合并,多头注意力机制层的输出为:o

MultiHead(Q,K,V)=Concat(head1,head2,...,headh)W;

o

其中,W表示投影线性层的权重,Concat指数组拼接操作。

6.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述步骤4具体包括以下步骤:对于多头注意力,MultiHead(Q,K,V)通过修剪消除头部的冗余信息,实现正则化;

设定 修剪过程如下:

*

其中,h表示第几个头部,h为超参数p相似度最小的头部;

得到新的多头注意力MultiHeadnew(Q,K,V):o

MultiHeadnew(Q,K,V)=Concat(head1,head2,...,headh)W其中,

7.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述步骤4具体包括以下步骤:对于冰雹强度序列矩阵 进行自我注意力的蒸馏操作,提炼出主要的注意力,缩短输入的时间维度;从j层到j+1层的蒸馏操作为:其中,[·]AB表示修剪过的多头自注意力机制;Conv1d表示在时间维度上执行一维卷积,其中卷积核宽度为3,并且后面跟随ELU激活函数,MaxPool表示进行最大池化下采样,池化窗口宽度为2,使得单个层级特征在时间维度减半。

8.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述步骤5具体包括以下步骤:将序 列 输入 到解 码器中 ,同时 在解 码器中 输入 动态采 样序 列其中, 为start token,由截取编码器的输入的后半段序列组成; 为预测序列保留的placeholder,数值为零;

整个解码器的解码过程采用一次前向过程解码,得到最后输出的预测序列

9.根据权利要求1所述的针对特征过少地区冰雹强度的长时间序列预测方法,其特征在于,所述历史气象信息数据包括根据预设的采样时间间隔获取待预测目标区域的冰雹强度,获取每个冰雹强度采样时刻的与风电功率相关的气象信息,与风电功率相关的气象信息包括风速、风向、气温、气压、湿度。