利索能及
我要发布
收藏
专利号: 2023107622601
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,针对高光谱图像,执行如下步骤S1‑步骤S4,完成高光谱图像的去噪:步骤S1:采集预设数量的高光谱图像,其中包括纯净高光谱图像和噪声高光谱图像,对所采集的所有高光谱图像进行预处理,预处理后的各高光谱图像均包含噪声,并根据预设比例将预处理后的高光谱图像划分为训练集和测试集;

步骤S2:构建高光谱图像去噪网络模型,该模型以预处理后的高光谱图像为输入,以重构的纯净高光谱图像为输出,高光谱图像去噪网络模型包括改进后的SwinIR网络、空间信息与光谱信息提取模块、协调注意力模块、空间信息编码与光谱信息编码融合模块、残差图像重构模块;

所述改进后的SwinIR网络将SwinIR基础网络的浅层特征提取的3*3卷积替换为空间信息与光谱信息提取模块,以提取高光谱图像的二维空间特征和三维光谱特征;

所述空间信息与光谱信息提取模块包括二维卷积层Conv_2d、三维卷积层Conv_3d_1、三维卷积层Conv_3d_2,并对三者进行卷积拼接,以提取不同尺度的空间特征矩阵及光谱特征矩阵;

所述协调注意力模块采用平均池化、卷积、规范化、非线性层的方法,融合不同尺度的空间特征矩阵及光谱特征矩阵,捕获远程依赖关系并保留位置信息,获得整体特征矩阵;

所述空间信息编码与光谱信息编码融合模块首先针对整体特征矩阵采用二维步长进行编码,获得整体特征向量,其次引入三维编码方法,采用三维步长对步骤S1所获得的预处理后的高光谱图像进行三维特征编码,得到光谱特征向量,引入自适应池化层,融合不同长度的整体特征向量、光谱特征向量,得到编码向量;

所述残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像采用卷积Conv_first进行空间特征提取后直接进行编码重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,再采用反卷积Conv_last,最终获得重构的纯净高光谱图像;

所述的空间信息与光谱信息提取模块包括空间二维卷积、光谱三维卷积、卷积拼接过程,具体过程如下:所述空间二维卷积采用3*3二维卷积层Conv_2d提取高光谱图像的空间信息,获得空间特征矩阵;

所述光谱三维卷积采用并行的两个相同通道不同卷积核大小的三维卷积层,即分别采用C*3*3的三维卷积层Conv_3d_1和C*7*7的三维卷积层Conv_3d_2提取高光谱图像的光谱信息,获得两个光谱矩阵,其中C表示光谱维度;

所述卷积拼接是将分别经过三维卷积层Conv_3d_1和三维卷积层Conv_3d_2卷积后的两个光谱矩阵根据通道维度相加,得到光谱特征矩阵;

所述的协调注意力模块首先对光谱特征矩阵进行batch维度降维,将降维后的光谱特征矩阵与空间特征矩阵进行拼接,获得维度为C*H*W的光谱特征与空间特征拼接矩阵,其中C为光谱维度,H和W分别为高度和宽度,将光谱特征与空间特征拼接矩阵作为输入,依次经过并行的平均池化层、整体二维卷积层、整体规范化层和非线性层,最后由并行sigmoid激活函数输出,得到融合后的整体特征矩阵;

所述的空间信息编码与光谱信息编码融合模块包括二维空间信息编码、三维光谱信息编码以及编码融合;

所述二维空间信息编码采用4*4的二维步长对整体特征矩阵进行分割、编码,提取空间信息,获得整体特征向量;

所述三维光谱信息编码采用2*2*2的三维步长对步骤S1所获得的预处理后的高光谱图像进行分割、编码,提取光谱信息,获得光谱特征向量;

所述编码融合是将整体特征向量和光谱特征向量连接后,分别通过并行的自适应平均池化层和自适应最大池化层,得到长度统一的平均池化向量和最大池化向量,并将二者相加,再经过sigmoid激活函数输出,最终得到编码向量;

所述的残差图像重构模块首先对步骤S1所获得的预处理后的高光谱图像进行3*3的卷积Conv_first,然后使用4*4步长编码后进行图像重构,获得残差图像;其次通过编码向量重构得到整体图像,将残差图像和整体图像根据预设权重结合,并对其进行3*3的反卷积Conv_last,最终获得重构的纯净高光谱图像;

所述图像重构的过程为:编码后的向量首先通过归一化层,再通过多头自注意力机制,在多头自注意力机制后引入残差,再通过归一化层,最后通过多层感知机,并在其结尾同样引入残差;

步骤S3:针对高光谱图像去噪网络模型,以训练集中的各高光谱图像为输入,以重构的纯净高光谱图像为输出,应用损失函数对高光谱图像去噪网络模型进行预设次数的训练,获得训练完成的高光谱图像去噪网络模型;

步骤S4:将测试集中的各高光谱图像输入训练完成的高光谱图像去噪网络模型,获得测试集中的各高光谱图像对应的重构的纯净高光谱图像,并针对去噪结果进行评价。

2.根据权利要求1所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S1中所述的预处理包括以下步骤S11‑步骤S12:步骤S11:针对纯净高光谱图像,手动添加不同强度的噪声,并通过缩放、随机旋转进行数据增强,针对噪声高光谱图像,进行随机旋转;

步骤S12:将步骤S11所获得的各高光谱图像进行裁剪,统一为64*64大小。

3.根据权利要求2所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S3中所应用的损失函数如下式:;

式中,L1_Charbonnier_loss表示损失函数,y表示步骤S1所获得的预处理后的高光谱图像,x表示去噪后的重构的纯净高光谱图像, 为常数项,取值为 。

4.根据权利要求3所述的一种基于SwinIR的高光谱遥感图像去噪方法,其特征在于,步骤S4中去噪结果进行评价的指标为:峰值信噪比、结构相似性、光谱角度匹配。