利索能及
我要发布
收藏
专利号: 2020105601185
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度机制和注意力机制的遥感图像时空融合方法,其特征在于,包括以下步骤:S1、分别将t0和t1时刻的高时间、低空间分辨率图像和t0时刻的低时间、高空间分辨率图像输入第一、第二卷积神经网络;

S2、融合步骤S1中两类图像在三个不同尺度上的特征图;

S3、将融合结果输入注意力机制,包括以下子步骤,

S3.1、对输入的特征图在通道维度进行赋值,对特征图的每一个特征图赋予不同的权值;

S3.2、在通道维度对特征图进行赋值后,对特征图的特征信息进行赋值;

S4、将包含权值的特征图输入全连接层,进行重建图像,最后得到t1时刻的高空间分辨率图像;

所述步骤S1具体包括以下子步骤:

S1.1、对t0和t1两个时刻的高时间、低空间分辨率图像作差,得到它们的残差图像,低空间分辨率图像的大小为a×a,然后将得到的残差图像输入第一卷积神经网络;

S1.2、将t0时刻的低时间、高空间分辨率图像输入第二卷积神经网络,高空间分辨率图像的大小为16a×16a;

S1.3、第一卷积神经网络和第二卷积神经网络是并行的结构,分别使用卷积层提取两类图像在三个不同尺度上的特征图,三个不同尺度分别为4a×4a,8a×8a和16a×16a;

所述步骤S1的第一卷积神经网络由卷积层和反卷积层构成,而第二卷积神经网络由卷积层和池化层构成,第一卷积神经网络用于对输入图像进行上采样,第二卷积神经网络用于将输入图像下采样;因为两类输入图像的尺度差异,这样的网络结构可以将两类遥感图像投影到同一尺度,也便于提取图像更丰富的特征信息;

所述步骤S2具体包括以下步骤:

S2.1、选择输出两个并行网络中的三个特征图,这三个特征图分别包含图像在不同尺度上的特征信息;

S2.2、分别对相同尺度上的两类特征图进行融合,得到三个融合后的特征图;

S2.3、将三个融合后的特征图重新采样到统一尺度,再对它们进行融合,最后得到一个融合结果;

所述步骤S2的低空间分辨率图像的三个特征图分别表示为fi(M12),i=1,2,3,高空间分辨率图像L1的三个特征图分别表示为fi(L1),i=1,2,3,当i值相同时,表示两类图像的特征图在同一尺度,分别对同一尺度的特征图进行融合得到Fi,再对Fi重新处理到同一尺度,对Fi进行融合得到最终的融合结果F,它们的融合过程为:Fi=fi(M12)+fi(L1)

F=F1+F2+F3。

2.根据权利要求1所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法,其特征在于,所述步骤S1的t0时刻的低空间分辨率图像M1和t1时刻的低空间分辨率图像M2的残差图像M12计算公式为:M12=M2‑M1。

3.根据权利要求1所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法,其特征在于,所述S3将融合结果输入注意力机制,包括以下子步骤,S3.1、使用通道注意力机制对输入的特征图在通道维度进行赋值,其主要通过卷积层对特征图的通道进行缩放,然后使用Sigmoid函数对特征图的通道赋予不同的权值;

S3.2、在通道维度对特征图进行赋值后,使用空间注意力机制对特征图的上的房屋、河流和农田等特征信息进行赋值,在这一步同样使用Sigmoid函数对特征图进行赋值,特征图的权重值在网络迭代过程中会不断调整,直至网络收敛。

4.根据权利要求3所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法,其特征在于,所述步骤S3的注意力机制由通道注意力机制和空间注意力机制构成,目的是让包括河流、房屋和农田在内的一些关键区域得到重点学习;其中,通道注意力机制是通过缩放特征图的通道,使用Sigmoid函数每一个通道赋予不同的权重,从而增强对关键通道的注意力,而空间注意力机制是对特征图上的特征信息进行赋值,聚焦于特征图上的重要信息,特征图上的权重值都是在网络迭代中逐步更新,在网络收敛后,Sigmoid函数对特征图赋予的权重值才能最终确定。

5.根据权利要求4所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法,其特征在于,所述步骤S4是通过两个全连接层进行图像重建,控制输出特征图通道数,最终得到的结果图像的通道数与输入图像相同,即预测的t1时刻的高空间分辨率图像。