1.一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,包括以下步骤:S1,随机掩码时空序列图像;
S2,构建网络模型,并将掩码标记后的时空序列图像输入网络进行模型训练;网络模型包括以UNet为核心模型的编码器‑解码器结构,在编码器中嵌入了SwinTransformer模块,并引入了SENet注意力机制;
S3,模型训练过程中,输入图像通过前向传播过程得到预测值,然后根据损失函数进行反向调优不断对模型进行微调,最小化损失函数,实现模型的准确预测能力;
S4,训练过程中使用L1+L2正则化,以防止过拟合。
2.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,S1中,对图像序列的patch进行随机掩码,然后再标记掩码区域,并将标记后的图像序列输入网络;
并且在S1中,使用掩码率为75%的输入图像进行训练,并对随机掩码后的输入图像应用了批量归一化操作,使其服从高斯分布以稳定训练过程。
3.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,S2中,编码器包括双卷积操作、最大池化操作、Swin Transformer模块和SENet注意力机制;双卷积操作用于将图像的特征通道数加倍,最大池化用于将特征图的尺寸减半,四个双卷积操作和最大池化操作交错排列,以学习时空序列中的短期依赖信息;在编码器的最后部分嵌入Swin Transformer模块,用于学习时空序列中的长期依赖信息;在每一层的双卷积和最大池化操作之间引入了SENet注意力机制,以关注通道维度上的重要信息并抑制对当前任务不重要的次要信息。
4.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,S2中,Swin Transformer模块包括Patch Partition、Linear Embedding和Swin Transformer Block;首先图片序列通过Patch Partition层进行分块处理,将特征图划分为多个不相交的区域,然后通过Linear Embedding层对每个像素的通道数据进行线性变换,最后通过SwinTransformer Block层进行特征提取。
5.根据权利要求4所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,所述Swin TransformerBlock中的W‑MSA模块用于将多头自注意力计算限制在每个局部窗口内,SW‑MSA模块能够让信息在相邻的窗口中进行传递,多头自注意力的计算过程为:MultiHead(Q,K,V)=Concat(head1,...,headh) (3)Q K V
其中,Q,K,V的物理意义分别是查询向量、键向量和值向量,W ,W ,W表示卷积核, 表示查询向量的维度大小,B表示相对位置偏执。
6.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,所述SENet注意力机制包括Squeeze和Excitation两个操作,首先对卷积得到的特征图进行Squeeze操作以获得通道维度上的全局特征,然后对得到全局特征进行Excitation操作以学习各个通道之间的关系以及不同通道所占的权重大小,再利用得到的权重乘以最初的特征图以得到最终的特征。
7.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,S3中,在模型训练过程中,进行前向传播和反向调优两个步骤,假设有训练样i i本N(x ,y),其中i∈[1,N],输入为 标准输出为 预
测输出为 损失函数定义为MSE,即预测值与真实值之间的欧式距离,如
下所示:
8.根据权利要求1所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,S4中,L1、L2正则化的表达分别如公式(5)和(6)所示:L1(w)=α∑i|wi| (5)
其中,α是一个常数,用于控制正则化的程度,wi表示权重的倒数,L1正则化通过让权重向量在最优化过程中变得稀疏以防止过拟合;在损失函数中加上了L1正则化作为惩罚项,最终的损失函数如公式(7)所示,同时,通过设置Adam优化器的weight_decay参数部署了L2正则化;
9.根据权利要求8所述的一种利用随机掩码和Transformer改进的短临降水预报方法,其特征在于,在模型训练过程中,引入了学习率衰减策略,衰减过程如公式(8)所示:其中,decay_rate表示初始系数,epochi表示第i次训练,α0表示初始学习率。
10.一种利用随机掩码和Transformer改进的短临降水预报系统,其特征在于,包括:图像处理模块:用于随机掩码时空序列图像;
模型构建模块:用于构建网络模型,并将掩码标记后的时空序列图像输入网络进行模型训练;网络模型包括以UNet为核心模型的编码器‑解码器结构,在编码器中嵌入了Swin Transformer模块,并引入了SENet注意力机制;
预测模块:模型训练过程中,输入图像通过前向传播过程得到预测值,然后根据损失函数进行反向调优不断对模型进行微调,最小化损失函数,实现模型的准确预测能力;
优化训练模块:训练过程中使用L1+L2正则化,以防止过拟合。