利索能及
我要发布
收藏
专利号: 2021100351366
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多尺度纹理转移残差网络的遥感卫星超分辨率方法,其特征在于,包括:

S1:将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像,将目标低分辨率遥感卫星图像进行分块操作,分出相互重叠的低分辨率遥感卫星图像块;

S2:将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作,提取出相应的精细遥感图像特征图后,对各精细遥感图像特征图进行上采样操作,使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致;

S3:将精细遥感图像特征图发送到参考图像多尺度残差模块,由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息,使用交叉的方式实现特征信息共享,参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合;

S4:通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像;

S5:利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析,以确定是否输出生成的最终高分辨率卫星图像;

所述低分辨率深度残差模块包括以串联方式连接的若干个残差块,在所有残差块之后为若干个对精细遥感图像特征图进行上采样操作的像素重组层;

步骤S2包括:

S2.1:将各低分辨率遥感卫星图像块输入卷积层,以生成第一粗糙遥感图像特征图,将第一粗糙遥感图像特征图发送到低分辨率深度残差模块,通过低分辨率深度残差模块中的各残差块得到精细遥感图像特征图;

S2.2:将各精细遥感图像特征图与各自对应的第一粗糙遥感图像特征图进行特征融合得到第一融合遥感图像特征图,然后通过若干个像素重组层对第一融合遥感图像特征图进行上采样操作,使得第一融合遥感图像特征图放大若干倍至与下采样之前的高分辨率遥感卫星图像一样的尺寸。

2.根据权利要求1所述的方法,其特征在于,所述参考图像多尺度残差模块包括三层子网络,不同的子网络使用不同的卷积内核和不同数量的残差块。

3.根据权利要求2所述的方法,其特征在于,步骤S3包括:

S3.1:将输入对应的遥感卫星参考图像通过卷积核提取遥感卫星参考图像的第二粗糙遥感图像特征图,然后与放大后的第一融合遥感图像特征图一起输入卷积核进行特征融合得到第二融合遥感图像特征图,然后将第二融合遥感图像特征图进行下采样后,再输入若干个残差块,对第二融合遥感图像特征图进行精细提取,得到第二精细遥感图像特征图后对第二精细遥感图像特征图后进行上采样得到上采样后的第三精细遥感图像特征图,其中,参考图像多尺度残差模块外使用跳跃连接的方式进行特征信息融合;

S3.2:将第三精细遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第三融合遥感图像特征图,然后将第三融合遥感图像特征图输入至若干个残差块,对第三融合遥感图像特征图再次精细提取后上采样得到上采样后的第四精细遥感图像特征图,其中,第四精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像具有相同尺寸大小;

S3.3:将上采样2倍后融合得到的第三融合遥感图像特征图再次上采样后,与第四精细遥感图像特征图进行融合得到第四融合遥感图像特征图,然后将第四融合遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第五融合遥感图像特征图,将得到的第五融合遥感图像特征图输入至若干个残差块,得到更精细的第五精细遥感图像特征图。

4.根据权利要求3所述的方法,其特征在于,步骤S4包括:

将第五精细遥感图像特征图与第四精细遥感图像特征图进行融合得到第六融合遥感图像特征图,然后通过卷积层来更新提取的第六融合遥感图像特征图,并采用另一卷积层降维后输出得到重建遥感卫星的超分辨率大图。

5.根据权利要求4所述的方法,其特征在于,步骤S5包括:

利用判别器对重建遥感卫星的超分辨率大图与下采样之前的高分辨率遥感卫星图像进行对比,若符合下采样之前的高分辨率遥感卫星图像的分布,则输出生成的最终高分辨率卫星图像,反之,则不输出。

6.一种多尺度纹理转移残差网络的遥感卫星超分辨率装置,其特征在于,包括:

分块模块,用于将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像,将目标低分辨率遥感卫星图像进行分块操作,分出相互重叠的低分辨率遥感卫星图像块;

低分辨率深度残差模块,用于将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作,提取出相应的精细遥感图像特征图后,对各精细遥感图像特征图进行上采样操作,使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致;

参考图像多尺度残差模块,用于将精细遥感图像特征图发送到参考图像多尺度残差模块,由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息,使用交叉的方式实现特征信息共享,参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合;

融合模块,用于通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像;

判别模块,用于利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析,以确定是否输出生成的最终高分辨率卫星图像;

所述低分辨率深度残差模块包括以串联方式连接的若干个残差块,在所有残差块之后为若干个对精细遥感图像特征图进行上采样操作的像素重组层;

所述低分辨率深度残差模块,用于执行以下操作:将各低分辨率遥感卫星图像块输入卷积层,以生成第一粗糙遥感图像特征图,将第一粗糙遥感图像特征图发送到低分辨率深度残差模块,通过低分辨率深度残差模块中的各残差块得到精细遥感图像特征图;将各精细遥感图像特征图与各自对应的第一粗糙遥感图像特征图进行特征融合得到第一融合遥感图像特征图,然后通过若干个像素重组层对第一融合遥感图像特征图进行上采样操作,使得第一融合遥感图像特征图放大若干倍至与下采样之前的高分辨率遥感卫星图像一样的尺寸。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。