1.一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:包括以下步骤:
S1:分别对Pavia University数据集和Pavia Center数据集中的图像进行预处理,获得训练集A和测试集;
用于训练的原始低分辨率高光谱图像以及用于训练的高分辨率多光谱图像共同构成训练集A;
S2、构建基于分类引导和多级残差增强的图像融合网络;
所述基于分类引导和多级残差增强的图像融合网络,包括上采样模块和通道注意力模块以及并联的波段嵌入模块和空间注意力模块,波段嵌入模块连接第一个3×3卷积层,第一个3×3卷积层分别连接多级残差增强模块和分类网络,分类网络输出的图像即为分类任务的输出结果;分类网络和空间注意力模块均与信息交互模块连接,多级残差增强模块和信息交互模块均与第一个逐元素相乘模块连接,第一个逐元素相乘模块与第二个3×3卷积层连接;上采样模块、通道注意力模块以及波段嵌入模块并联,通道注意力模块以及第二个
3×3卷积层均与第二个逐元素相乘单元连接,上采样模块以及第二个逐元素相乘模块均与基于注意力的多尺度融合模块相连接,基于注意力的多尺度融合模块的输出图像即为重建的高分率高光谱图像;
S3、构建基于分类引导和多级残差增强的图像融合网络的总生成损失 ;
S4、基于训练集A得到训练集B,利用训练集B对基于分类引导和多级残差增强的图像融合网络进行训练,得到基于分类引导和多级残差增强的图像融合网络模型;
波段嵌入模块的输入数据为原始低分辨率高光谱图像及原始高分辨率多光谱图像,上采样模块、通道注意力模块的输入数据为原始低分辨率高光谱图像,空间注意力模块的输入数据为原始高分辨率多光谱图像;
S5、将待处理低分辨率高光谱图像和待处理高分辨率多光谱图像输入至训练好的基于分类引导和多级残差增强的图像融合网络模型中,前向传播一次,即可得到预测的重建的高分率高光谱图像以及分类结果。
2.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S1具体包括如下步骤:
S1‑1、基于Pavia University数据集中的图像获取用于训练的原始低分辨率高光谱图像以及用于测试的原始低分辨率高光谱图像;
S1‑2、基于Pavia Center数据集中的图像获取用于训练的原始低分辨率高光谱图像以及用于测试的原始低分辨率高光谱图像;
S1‑3、基于Pavia University数据集中的图像用于训练的原始高分辨率多光谱图像以及用于测试的原始高分辨率多光谱图像;
S1‑4、基于Pavia Center数据集中的图像用于训练的原始高分辨率多光谱图像以及用于测试的原始高分辨率多光谱图像;
用于训练的原始低分辨率高光谱图像以及用于训练的高分辨率多光谱图像共同构成训练集A;用于测试的原始低分辨率高光谱图像以及用于测试的高分辨率多光谱图像共同构成测试集。
3.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,波段嵌入模块包括下采样模块,下采样模块的输入端与空间注意力模块的输入端连接,下采样模块的输出端与第一个Concat层连接,第一个Concat层的输入端与通道注意力模块的输入端连接,第一个Concat层的输出端与像素混洗模块连接,像素混洗模块的输出端以及下采样模块的输入端均与第二个Concat层连接,第二个Concat层的输出端作为波段嵌入模块的输出端。
4.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,空间注意力模块包括最大池化层和平均池化层,最大池化层的输入端和平均池化层的输入端相连接,最大池化层的输出端和平均池化层的输出端均与Concat层连接,Concat层还依次连接第一个卷积层、第一个Sigmoid层、第二个卷积层以及第二个Sigmoid层,第二个Sigmoid层的输出端以及最大池化层的输入端均与逐元素相乘单元的输入端相连接。
5.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,通道注意力模块包括最大池化层和平均池化层,最大池化层的输入端和平均池化层的输入端相连接,最大池化层还依次连接第一个全连接层、第一个ReLU激活层、第二个全连接层,平均池化层依次连接第三个全连接层、第二个ReLU激活层、第四个全连接层,第二个全连接层和第四个全连接层的输出端均与Add层连接,Add层依次连接卷积层和Sigmoid层,Sigmoid层的输出端以及最大池化层的输入端均与逐元素相乘模块连接。
6.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,多级残差增强模块包括三个依次连接的多级残差连接模块,第一个多级残差连接模块的输入端与第三个多级残差连接模块的输出端均与Add层连接,三个多级残差连接模块的结构相同、功能也相同。
7.根据权利要求6所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,多级残差连接模块包括四个卷积单元,四个卷积单元之间通过多级残差连接的方式进行连接,每个卷积单元均包括依次连接的3×3卷积层、RELU激活层和Concat层,最后一个卷积单元的Concat层输出端连接3×3卷积层,3×3卷积层的输出端以及第一个卷积单元的输入端均与Add层相连接。
8.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,信息交互模块包括依次连接的卷积层、最大池化层和Add层,卷积层的输入端与分类网络的输出端连接,Add层的输入端与空间注意力模块的输出端连接,Add层的输出端连接Sigmoid层。
9.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S2中,基于注意力的多尺度融合模块包括5×5卷积层和第一个3×3卷积层,5×5卷积层的输入端以及第一个3×3卷积层的输入端均与和通道注意力模块输出端连接的第二个逐元素相乘单元的输出端相连接,5×5卷积层的输出端连接第三个逐元素相乘单元,第一个3×3卷积层的输出端连接第四个逐元素相乘单元,5×5卷积层的输出端和第一个3×3卷积层的输出端还均与第一个Add层相连接,第一个Add层连接空间注意力模块,空间注意力模块分别与第三个逐元素相乘单元的输入端和第四个逐元素相乘单元的输入端相连接,第三个逐元素相乘单元的输出端和第四个逐元素相乘单元的输出端还均与第二个Add层连接,第二个Add层的输出端以及上采样模块的输出端均与第三个Add层连接,第三个Add层连接通道注意力模块,上采样模块的输出端还连接第二个3×3卷积层,第二个3×3卷积层连接第五个逐元素相乘单元,第二个Add层还连接第六个逐元素相乘单元,通道注意力模块的输出端分别与第五个逐元素相乘单元的输入端和第六个逐元素相乘单元的输入端相连接,第五个逐元素相乘单元的输出端和第六个逐元素相乘单元的输出端均与第四个Add层相连接。
10.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方法,其特征在于:步骤S4具体包括如下步骤:
S4‑1、基于训练集A得到训练集B;
按照地物类别,分别将用于训练的原始低分辨率高光谱图像进行划分,然后从9种地物类别分别对应的原始低分辨率高光谱图像中均随机选择10%的图像及其相对应的标签作为用于训练的原始低分辨率高光谱子图像;按照地物类别,分别将用于训练的原始高分辨率多光谱图像进行划分,然后从9种地物类别分别对应的原始高分辨率多光谱图像中均随机选择10%的图像及其相对应的标签作为用于训练的原始高分辨率多光谱子图像;用于训练的原始低分辨率高光谱子图像和用于训练的原始高分辨率多光谱子图像构成训练集B;
所述基于分类和多级残差增强的高光谱与多光谱图像融合方法的训练过程中,每一个训练epoch中输入一个训练集B,不同训练epoch中输入的训练集B均采用步骤S4‑1来获取;
S4‑2、将步骤S4‑1得到的训练集B输入至本申请基于分类引导和多级残差增强的图像融合网络中,进行前向传播,在总生成损失 的引导下进行反向传播,更新基于分类引导和多级残差增强的图像融合网络的权重参数和超参数;迭代2000个epoch后,即完成基于分类引导和多级残差增强的图像融合网络的训练过程,得到基于分类引导和多级残差增强的图像融合网络模型。