1.一种基于多路径聚合Transformer的卫星云图超分辨率重建方法,其特征在于,包括以下步骤:S1:卫星云图数据预处理;
S2:根据步骤S1处理后的图像数据制作用于超分辨率技术的彩色卫星云图数据集;
S3:构建基于多路径聚合Transformer超分辨率网络模型;
S4:使用步骤S2中的数据集对步骤S3搭建的重建模型进行训练、优化和测试,并保存得到的最优模型结构和权重;
S5:将低分辨率卫星云图输入步骤S4得到的最优超分辨率模型中,最后生成高分辨率卫星云图。
2.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法,其特征在于,步骤S1卫星云图数据预处理包括以下步骤:S11:选用葵花‑8号卫星波段5,波段4,波段3的反照率数据制作自然色彩的卫星云图,并通过人工筛选,剔除分辨率低,色彩偏差大的图像数据;
S12:对S11得到的卫星云图数据按步长300像素进行剪裁,得到每张为600像素×600像素的图像,作为高分辨率卫星云图数据集。
3.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法,其特征在于,步骤S2包括以下步骤:S21:将步骤S12剪裁后的图像根据图像中的特征进行分类,分为冰云,水云,海洋,植被,沙漠五类卫星云图数据;
S22:根据图像包含信息的丰富程度和超分辨率任务对训练数据的需求剔除步骤S21中不合格的样本;
S23:将步骤S22获得的600像素×600像素的数据样本分成两份,一份用双三次差值方法按1/2和1/4比例进行下采样生成两种低分辨率的图像数据,另一份作为对应的高分辨率数据;
S24:将步骤S23获得的所有数据样本划分为训练集、验证集和测试集,训练集包括五类图像,每类图像600张,验证集和测试集包括每类图像5张。
4.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法,其特征在于,步骤S3包括以下步骤:S31:浅层特征提取部分,通过一个3×3卷积提取图像的浅层特征同时扩展图像的通道数;
S32:深层特征提取部分,利用基于Transformer结构和注意力机制有效捕获卫星云图中的图像的特征细节,其中包含6个改进的多路径Transformer模块,即MTB,每个模块串联在一起;每个MTB内包含6个多路径Transformer层,即MTL;每个MTL包含双路聚合自注力机制DASA和多尺度特征聚合块MFAB;浅层特征通过残差连接与深层特征融合;DASA通过双路径卷积聚合不同深度的特征,并且利用通道注意力帮助自注意力激活更多像;DASA能够在空间,通道,深度三个维度探索特征间的相关性,并且利用卷积关注更丰富的局部信息并减小参数量,DASA中的自注意力机制计算公式为: ,其中 由双路径中1×1卷积路径生成的 和带有通道注意力的卷积组路径生成的 加权合并得到,B,C,H,W分别表示输入特征的批量大小,通道数,高,宽;加权公式表达为:, , ,其中 和 为赋予 和 的权重,分别为0.2和0.8,和 分别表示1×1卷积路径和带有通道注意力的卷积组路径,表示输入特征;
是由双路径生成的特征聚合并线性变换得到的三维向量, 由 转置得到; 表示输出的特征, 表示softmax函数,其公式为:,其中 为特征向量,表示 的第维数据;
MFAB由移位卷积和多尺度交互操作组成,移位卷积可以帮助局部像素参与不同通道组之间的特征关联计算,多尺度交互操作能够进一步建立相邻区域特征之间的关联;MFAB利用更丰富的区域特征,使模型能够与目标区域进行空间交互并自适应收敛,以减轻卫星云图的模糊和云遮挡对超分辨率任务造成的不利影响,具体公式表达为:,
,其中
为输入特征; 为按通道维度分割后的四组特征; 表示切分函数; 表示移位卷积; 表示提取的多尺度特征; , ,
, 表示不同卷积核大小的深度可分离卷积; 表示不同尺
度特征经过交互后的输出; 为可学习的权重,且 ;为最后的输出特征;
S33:图像重建部分,融合深层特征提取部分输出的所有特征,浅层特征通过残差连接与融合的深层特征结合,再利用亚像素卷积重建得到高分辨率图像,过程公式为:,其中 表示重建的高分辨率云图, 包含亚像素卷积层和降维卷积层,和 分别表示浅层特征提取部分和深层特征提取部分的输出。
5.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法,其特征在于,步骤S4使用步骤S2中数据集对步骤S3搭建的重建模型进行训练、优化和测试,并保存得到的最优模型和权重,具体包括以下步骤:S41:设置各项训练参数并开始训练模型,其中bachsize设置为8;初始学习率设置为
0.0002;通道数为64;输入图像尺寸为48×48;总训练轮数为800,每50轮验证一次并保存模型权重;
S42:构建用于模型反向传播的基于 的损失函数; 损失的表达形式为:,其中,N为训练样本的数量,为真实的高分辨率卫星云图,为重建的高分辨率卫星云图, 表示重建模型中的参数,图像经过模型处理后与真实图像计算损失值,用于参数的迭代更新;
S43:验证和测试模型效果时先将重建的三通道图像转为YCbCr图像,再在Y通道上使用峰值信噪比PSNR和结构相似性SSIM作为评价指标来客观评价模型的重建性能;峰值信噪比PSNR的计算公式为: ,其中 为两张图片之间的均方误差, 是图片的最大可能像素值,PSNR通过计算两幅图像间的对应像素之间的误差来评估图像重建效果;当重建图像与真实图像的峰值信噪比大于30.0dB时,说明重建效果良好;
结构相似性SSIM的计算公式为:
,其中 表示为真实的高分辨率图像,表示为重建的高分辨
率图像, 和 分别表示为真实高分辨率图像和重建图像的平均灰度值, 和 分别表示为真实高分辨率图像和重建图像的标准差, 表示为真实高分辨率图像和重建图像的协方差, 和 为常数,且 , , , ,是像素值的动态范围;当重建图像与真实图像的结构相似性大于0.8时,说明重建效果良好;
S44:对比验证得到的评估结果,如果此次得到的评估结果最高则将此轮模型权重保存为最优权重;
S45:通过Adam优化算法更新网络的参数;Adam优化算法更新网络参数的过程表示为:, , ,
, , ,其中 是均方误差函数 对 的
梯度, 是对梯度 的一阶矩估计,是对梯度 的二阶矩估计, 是对 的偏差修正, 是对 的偏差修正,矩估计的指数衰减速率 为0.9、为0.99, 是步长,取值为0.001, 是常数其值为 , 是计算的 的更新值, 为 时刻的 值,将 和 的值求和应用到 ;
Adam优化算法更新网络参数首先对参数向量、一阶矩向量和二阶矩向量进行初始化;
然后循环迭代地更新各个部分,使参数 收敛,即时间步 加1,更新偏差的一阶矩估计和二阶矩估计,接着计算一阶矩估计的偏差修正和二阶矩估计的偏差修正,再更新目标函数在该时间步上对参数 所求的梯度,最后再更新模型的参数 ;循环上述步骤,迭代模型直到完成训练次数,最后输出最优模型权重。
6.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法,其特征在于,步骤S5包括以下步骤:S51:将步骤S4中保存的最优权重加载到步骤S3搭建的重建模型中;
S52:将低分辨率卫星云图输入重建模型中生成高分辨率卫星云图。