1.基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,包括如下步骤:S1、采集待观察区域的ENSO原始数据,进行预处理,构建ENSO样本数据集;
S2、构建两层Dense Block网络对ENSO样本数据集进行压缩,获得时空序列的高维空间特征F;
S3、将步骤S2得到的时空序列的高维空间特征图输入至注意力机制连接MIMG‑Encoder‑Decoder架构中,进行自适应特征修正,通过预测网络获得最终预测结果;
S4、以步骤S3获得的预测结果为输入,经过转置卷积模块,恢复特征图原始大小;
S5、ENSO样本数据集中T帧数据的矢量序列为输入、其对应的预测序列为输出,结合两层Dense Block网络、注意力机制连接MIMG‑Encoder‑Decoder架构、以及转置卷积模块构建并训练ENSO时空预测模型,并在训练中采用早停法、设置学习率自动衰减。
2.根据权利要求1所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S2具体为:以两层Dense Block模块构建一个卷积神经网络,以X=(B,S,C,H,W)为输入,其中,B表示批量大小,S表示时间步,C表示通道数,H表示输入特征图的高,W表示输入特征图的宽,通过Dense Block模块提取每次输入的空间特征,每一层的输入都是前面所有层的输出的集合,如下式:xk‑1=Hk([x0,x1,…,xk‑2])
其中,X0表示第1个月 区域的SSTA经过第一层后提取的特征值,该层学习到的特征Xk‑1被直接传递到后面的所有层作为输入,如下式:Xk=Hk([x0,x1...,xk‑11)
其中,[X0,X1,…,Xk‑1]表示前k层对第1个月 区域的SSTA提取的特征集合,Hk表示三个连续操作:批量归一化、ReLU激活函数、3×3卷积的复合函数。
3.根据权利要求1所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S3包括如下子步骤:S301、构建MIMG‑Encoder‑Decoder架构:Encoder对时空序列的高维空间特征图进行编码,将其转换为向量形式,然后Decoder对该向量进行解码,还原为输出序列;在编码模块中,经过Dense Block模块和注意力机制提取特征后的输出作为ST‑LSTM的输入然后生成它的隐状态,接着进入三层MIMG堆叠模块,在解码模块中使用三层MIMG堆叠模块,所有输入序列共享Encoder的参数且所有输出序列共享Decoder的参数;
S302、用Attention模块连接Dense Block和MIMG‑Encoder‑Decoder架构:将时空序列C*H*W的高维空间特征F作为Attention模块的输入,F∈R ,再经过通道注意力模块一维卷积McC*1*1∈R ,将卷积结果乘原图,将通道注意力模块输出结果作为空间注意力模块的输入,进行
1*H*W
空间注意力模块的二维卷积Ms∈R ,再将输出结果与原图相乘,如下式:
F'=Mc(F)*F
F"=Ms(F')*F'。
4.根据权利要求3所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S302包括如下子步骤:S302‑1所述通道注意力模块,输入的时空序列的高维空间特征F先经过两个并行的MaxPool层和AvgPool层,将特征图维度从C*H*W变为C*1*1,然后经过MLP模块,将通道数压缩为原来的1/r,再扩张到原通道数,经过ReLU激活函数得到两个激活后的结果,将这两个输出结果进行逐元素相加,再通过一个sigmoid激活函数得到CAM的输出结果,最后将这个输出结果乘原图,变回C*H*W的大小,如下式:其中,σ是激活函数,W0、W1是MLP的两个权重, 是平均池化, 是最大池化;
S302‑2、空间注意力机制首先将通道注意力的输出Mc(F)在通道维度平均池化和最大池化 然后将产生的特征图进行拼接起来,然后在拼接
7x7
后的特征图上,使用滤波器大小为7×7的卷积操作f 产生最终的空间注意力特征图Ms(F),如下式:S302‑3、将空间注意力机制输出,即Nino3.4区域的SSTA在空间和通道维度上提取到的特征,作为ST‑LSTM下一个时间步的输入。
5.根据权利要求3所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S301具体为:所述MIMG模块,在MIM的基础上嵌入了递归门控卷积的残差形式rgConv,首先使用 来获得一组投影特征 和 如下式:其中,rgConv的输入特征的维度为高×宽×通道数H×W×C,p、q表示投影特征,是执行通道混合的投影层,k表示层数,C0是第1阶的通道数,Ck是第k+1阶的通道数,n‑1是最大阶数;
然后递归地执行门控卷积,如下式:
pk+1=fk(qk)⊙gk(pk)/α,k=0,1,…,n‑1
其中,fk表示深度方向的卷积层,gk表示按不同顺序的匹配维度;k表示层数,pk、qk表示第k层的投影特征;
将最后一个递归步骤的输出pn输入给投影层 再以残差的形式输出rgConv的结果y:其中,p0是原始特征,pn是经过n层递归后输出的特征。
6.根据权利要求5所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,MIM中包括两个级联的时间记忆复用模块来取代时间遗忘门:非平稳模块MIM‑N以及平稳模块MIM‑S;
所述非平稳模块MIM‑N以 为输入,用于捕获基于两个连续隐藏表示之间的差分的非平稳变化,其基于差分平稳假设产生不同的特征,t表示时间步长,l表示层数,N表示非平稳模块MIM‑N中的水平过渡存储单元,D是由MIM‑N学习并输入MIM‑S的差分特征:所述平稳模块MIM‑S以非平稳模块MIM‑N输出的差分特征 和外部时间记忆细胞 作为输入,捕获时空序列中近似平稳的变化,T是通过虚拟遗忘门的内存,S表示平稳模块MIM‑S中的水平过渡存储单元:MIM将PredRNN中的遗忘门替换为级联的两个模块的最终输出 更新了非平稳模块MIM‑N以及平稳模块MIM‑S,首先是时间维度流的特征传递,C表示时间记忆,W表示权重,f、i、g分别表示遗忘门、输入门、输入调制门,*表示卷积:然后是空间特征记忆流的传递,M表示空间记忆:
其中,Wmg表示空间记忆单元和输入调制门之间的权重,Wxg表示输入和输入调制门之间的权重,Whg是隐藏层和输入调制门之间的权重,W′xf表示输入和遗忘门之间的权重,W′xi表示输入门的权重,b′f是遗忘门的偏置项,bg是输入调制门的偏置项,bi是输入门的偏置项,gt、it是t时刻的输入调制门、输入门, 是t时刻l层的时间记忆单元,所有带有上标′均表示空间特征记忆流特征,不带有上标′的为时间维度记忆流特征;
非平稳模块MIM‑N以及平稳模块MIM‑S将平稳变化和非平稳变化相结合后,通过激活函数,得到输出,如下式其中,Wxo表示输出门权重,bo表示输出门的偏置项,Wco表示时间记忆单元和输出门之间的权重,Wmo表示空间记忆单元和输出门之间的权重,Who表示隐藏层和输出门之间的权重,表示t时刻l层的时间记忆单元, 表示t时刻l层的空间记忆单元,ot表示t时刻的输出;
经过MIM的当前层的隐藏层状态 以投影特征p0的形式输入到rgConv,得到当前层的隐状态的输出
7.根据权利要求1所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S4具体为:将MIMG‑Encoder‑Decoder的输出输入到一个由三层反卷积构成的重构网络中,将外推出的序列特征重构成原序列的大小;每一层反卷积重构网络都包含反卷积层、标准化层和LeakyReLU激活函数层;第一层反卷积的参数设置为卷积核大小为(3,3),通道数为128,跨步为2;第二层反卷积的参数设置为卷积核大小为(2,2),通道数为
64,跨步为2,padding为1;第三层反卷积的参数设置为卷积核大小为(3,3),通道数为1,跨步为1,padding为1。
8.根据权利要求1所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S5具体为:对待观察特征的区域where 在任意时间点对该区域的观察用一个矢量
表示,T帧数据空间维度上为固定大小的空间区域表示为M×N个格点,每一个格点包含随着时间变化的C个测量,随时间变化的T个时间步的观察用矢量序列X1,X2…,XT这T帧数据表示;时空序列是在给出之前的的J帧数据的条件下外推未来的K帧数据,构建ENSO时空预测模型如下式:经过t层状态更新才可得到预测序列
在所述时空序列预测外推未来的K帧数据时,损失函数定义如下式:
其中,N表示训练样本数,σ,i∈[1,N],oi表示第i个样本的预测输出,yi表示第i个样本的真实标签;
同时利用交叉验证作为训练、验证的策略,选择将均方误差MSE、平均绝对误差MAE作为检测模型得分的标准,所述均方误差MSE、平均绝对误差MAE的公式分别为:其中,输出y的下标有两种表示形式:label、test,分别表示样本标签和测试样本的输出,在本发明的训练策略上,利用Adam算法优化梯度。
9.根据权利要求8所述的基于递归门控卷积和注意力机制改进的ENSO时空预测方法,其特征在于,步骤S5中,在训练中采用早停法、设置学习率自动衰减具体为:当模型在验证集上的误差比上一次训练结果差时,保存上一次迭代结果中的模型参数,同时计数器counter加1,当counter和patience相等时,停止训练;预设Eopt(t)是在迭代次数t时取得最好的验证集误差,则Eopt(t)=mint′≤tEva(t′),泛化误差的增长率,如下式:在网络训练过程中,采用了学习率自动衰减策略以加快训练速度,如下式:
其中,decay_rate为初始系数,epochi表示第i次训练,α0是初始学习率。