1.一种渐进式双解耦的SAR辅助遥感影像厚云去除方法,其特征在于,包括以下步骤:
11)获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集:基于光学遥感影像数据集SEN12MS‑CR,综合考虑厚云遮挡率、下垫面类型及有云影像与参考影像间的时相差异,进行数据集构建;
12)构建渐进式双解耦的SAR辅助遥感影像厚云去除模型:该模型由增强厚云遮挡影像结构信息恢复的多模态数据渐进式融合模块和细化厚云遮挡影像光谱信息恢复的辐射引导校正模块组成;
13)训练渐进式双解耦的SAR辅助遥感影像厚云去除模型:将获取的厚云遮挡光学遥感影像和SAR影像数据作为输入,以无云参考影像作为参考对模型进行监督训练,迭代训练多次,保存最佳模型权重用于厚云去除结果验证;
14)待厚云去除的厚云遮挡光学遥感影像及对应SAR影像数据的获得及预处理;
15)光学遥感影像厚云去除结果的获得:将成对的厚云遮挡光学遥感影像和SAR影像数据输入到渐进式双解耦的SAR辅助遥感影像厚云去除模型,得到云去除后的光学影像。
2.根据权利要求1所述的渐进式双解耦的SAR辅助遥感影像厚云去除方法,其特征在于,所述获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集包括以下步骤:
21)基于具有全球数据的光学遥感影像数据集SEN12MS‑CR构建数据集;
211)SEN12MS‑CR数据集由169个均匀分布在各大洲和气象季节的非重叠区域组成,所有区域的平均地面覆盖面积为52×40平方千米,对应5200×4000像素的完整场景图像,进行256×256像素、步长为128像素的裁切后,平均每个场景获得700个图像块,不仅数据量大,还涵盖多种地物覆盖类型;
212)SEN12MS‑CR数据集包含经过校正和地理配准后成对的哨兵1号SAR影像、哨兵2号无云影像和哨兵2号有云影像,其中作为参考的无云图像为可获得最接近有云影像采集时间的清晰影像,经人工筛选后所得;
213)哨兵2号光学影像数据包含13个波段,所有波段被截断值[0,10000],并归一化到[0,1]之间,哨兵1号SAR影像的VV和VH偏振图像分别被切割成值[‑25,0]和[‑32.5,0],并缩放到范围[0,1];
22)综合考虑厚云遮挡率、下垫面类型及有云影像与参考影像间的时相差异,从SEN12MS‑CR数据集中筛选数据,构建用于网络训练的子集;
221)获取哨兵2号有云影像的厚云遮挡率;
基于云检测算法,对有云影像进行逐像素分类,区分云和云阴影覆盖区域和无云背景区域,将云和云阴影区域像素值置为1,背景区域像素值置0,即可获得用于计算厚云遮挡率的二值掩膜图;
其中,ri表示第i个影像的厚云遮挡率,mi表示第i个影像的二值掩膜图,sum(mi)表示统计二值掩膜图中值为1的像元个数,Mi、Ni表示第i个影像的大小,二者乘积即为影像像元总个数;
222)获取哨兵2号无云影像的下垫面类型;
基于灰度共生矩阵,分析无云影像的空间纹理结构特征,通过计算影像中有一定距离和方向的两点灰度之间的相关性,反映影像在方向、间隔、变化幅度及快慢的综合信息,定量评价影像的复杂程度;
其中,(x,y)表示大小为(Nx,Ny)的影像中像元的坐标,i表示该像元的灰度值,P(i,j,dθ,)表示统计该像元与距离为d、方向为θ、灰度为j的像元(x+Δx,y+Δy)同时出现的概率;
其中,Et表示根据灰度共生矩阵Pt(i,j,d,θ)计算所得的第t个影像的纹理复杂度熵值,纹理复杂度熵值越大表示影像的纹理越复杂;
将数据集所有无云影像的纹理复杂度熵值归一化后,将其分为复杂度不同的5个子集Y={Y1,Y2,Y3,Y4,Y5},纹理复杂度熵值范围分别为{0,0.2}、{0.2,0.4}、{0.4,0.6}、{0.6,
0.8}、{0.8,1};
223)基于221)和222)获得的统计数据,合成考虑时间差异对地物覆盖类型变化影像的SEN12MS‑CR数据集子集作为训练渐进式双解耦的SAR辅助遥感影像厚云去除模型的数据集;
从5组纹理复杂度不同的子集中根据厚云遮挡率分组选择样本影像三元组,厚云遮挡率也按{0,0.2}、{0.2,0.4}、{0.4,0.6}、{0.6,0.8}、{0.8,1}范围分为5组,共25个不同复杂度和厚云遮挡率分组,每个分组提取400个样本,共10000个影像三元组数据子集,将子集按
8:2划分为训练集和验证集;
基于二值掩膜图、无云影像和有云影像合成用于模型训练的数据集;通过二值掩膜图提取有云影像受云污染的区域和对应无云影像的相对位置,通过逐像素替换的方式进行数据集合成;
Xcloudy=XeM+Ye(1‑M) (4)
其中,Xcloudy表示合成的有云影像,M表示二值掩膜图,X表示原数据集中的有云影像,Y表示原数据集中的无云影像,e表示哈达玛内积,即逐像素相乘;
23)最终用于模型训练的合成数据集为由合成的厚云遮挡光学遥感影像、原数据集无云参考影像和原数据集SAR影像三元数据构成,共10000对,其中8000对作为训练集,2000对作为验证集。
3.根据权利要求1所述的一种渐进式双解耦的SAR辅助遥感影像厚云去除方法,其特征在于,所述构建渐进式双解耦的SAR辅助遥感影像厚云去除模型包括以下步骤:
31)基于U型结构和小波变换构建用于增强厚云遮挡影像纹理结构信息恢复结构引导渐进式融合模块;
311)构建用于分离影像频域信息的频域解耦子模块,采用小波变换对影像进行高频和低频信息分解,获得相当于原始输入两倍下采样的水平、垂直和对角三个方向的高频子图和一个低频子图,其中低频子图作为下一阶段频域解耦子模块的输入,再次进行频域分解,三个方向的高频子图作为通道自适应子模块的输入;
312)构建用于增强输入通道可扩展性的通道自适应子模块,该子模块基于通道注意力机制网络结构,由压缩、激励和扩张三阶段组成,使用全局平均池化和全局最大值池化分别对输入进行压缩,激励阶段由2个全连接层,第一个全连接层后接Relu激活函数,第二个全连接层输出的最大值池化特征图和平均池化特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量,在扩张阶段将归一化权重向量和原输入进行逐通道相乘,获得通道自适应输出,作为结构引导融合子模块的输入;
313)构建用于融合光学影像和SAR影像结构信息的结构引导融合子模块,该子模块由双层交叉注意力机制组成,用两个1×1卷积核分别提取光学影像输入和SAR影像输入的两个矩阵K键值,V值,其中提取到的SAR影像输入的矩阵Ksar转置与Vsar相乘,相乘结果作为矩阵Qopt,与矩阵Kopt和Vopt进行自注意力计算得到结构引导融合子模块的融合结果,作为频域重构子模块的输入;
314)构建用于恢复影像高低频信息和尺度信息的频域重构子模块,通过小波逆变换将最后一阶段频域解耦子模块的低频子图和结构引导融合子模块输出高频子图进行频域重构,恢复频域信息和空间分辨率,重构特征图经过通道自适应子模块后作为下一阶段重构的低频信息输入,经过四阶段重构后获得与输入相同空间分辨率、恢复结构信息的去云输出;
32)构建用于细化厚云遮挡影像光谱信息恢复的辐射引导校正模块;
321)构建用于增强光谱信息提取的残差分支,该分支由三个残差组组成,每个残差组由四个残差块堆叠而成,第一个残差组的输出由辐射引导子模块进行辐射一致性约束后与原输出拼接作为下一个残差组的输入,第二个残差组的输出由语义引导子模块进行语义一致性约束后作为第三个残差组的输入;
322)构建用于保证前后景辐射一致性的辐射引导子模块,该子模块根据二值掩膜图对输入有云影像的无云区域和结构引导渐进式融合模块输出的重构图中对厚云遮挡区域的重建部分进行解耦,分别作为背景和前景,基于自适应实例归一化调整背景和前景的均值和标准差来确保辐射一致性;
322)构建用于保证前后景语义一致性的语义引导子模块,该子模块通过卷积组进一步提取辐射引导子模块的语义信息,卷积组由卷积核大小分别为7×7、5×5和3×3的卷积层堆叠而成,每个卷积层后接一个实例归一化层和一个Relu激活层。
4.根据权利要求1所述的一种渐进式双解耦的SAR辅助遥感影像厚云去除方法,其特征在于,训练渐进式双解耦的SAR辅助遥感影像厚云去除模型包括以下步骤:
41)将用于模型训练的合成数据集中成对的SAR影像和厚云遮挡的光学影像输入结构引导渐进式融合模块,获取初步恢复结构信息的去云输出;
411)进行浅层特征提取,获取SAR影像和光学影像的差异特征;浅层特征提取采用相同结构的不同分支,不同模态的输入均执行一次卷积核大小为3×3的卷积操作和一次通道自适应子模块的特征提取,加强通道维的信息交互;
通道自适应子模块的输入执行全局最大值池化和全局平局池化得到两个通道维的特征向量,分别送入一个共享权重的包含两层全连接层和Relu非线性激活操作的多层感知机,得到的最大值池化特征图和平均池化特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量,将归一化权重向量和原输入进行逐通道相乘后,作为频域解耦子模块的输入;
412)将提取到的SAR和光学影像的浅层特征图分别输入频域解耦子模块,进行高低频信息分解后利用结构引导融合子模块进行高频结构信息引导的多模态信息融合;
4121)分别对SAR和光学影像的浅层特征图进行基于Haar小波基的二维离散小波变换,进行第一阶段频域解耦,得到空间分辨率为原图二分之一的水平、垂直和对角三个方向的高频子图,在通道维进行拼接后,作为第一阶段结构引导融合子模块的输入;
4122)通过两个1×1卷积操作分别提取光学影像第一阶段高频子图输入和SAR影像第一阶段高频子图输入的两个矩阵K键值,V值,进行第一阶段结构引导融合,其中提取到的SAR影像输入的矩阵Ksar转置后与Vsar相乘作为Qopt,引导厚云遮挡的光学影像基于空间结构的相似性进行缺失信息补充,将Qopt与矩阵Vopt和Kopt进行自注意力计算得到结构引导融合子模块的融合结果,作为第四阶段频域重构子模块的高频输入;
4123)将第一阶段分解获得低频子图作为第二阶段频域解耦子模块的输入,进一步分解,高频子图拼接后进行第二阶段结构引导融合,输出作为第三阶段频域重构子模块的高频输入;
4124)将第二阶段分解获得低频子图作为第三阶段频域解耦子模块的输入,进一步分解后,高频子图拼接后进行第三阶段结构引导融合,输出作为第二阶段频域重构子模块的高频输入;
4125)将第三阶段分解获得低频子图作为第四阶段频域解耦子模块的输入,进一步分解后,高频子图拼接后进行第四阶段结构引导融合,输出作为第一阶段频域重构子模块的高频输入,光学影像的低频子图执行通道自适应操作,获得低频特征图,作为第一阶段频域重构子模块的低频输入;
413)将融合后的高频特征图和低频特征图作为输入,进行与解耦分支对称的重构操作;
4131)第一阶段频域重构子模块的输入由步骤4125)获得的低频特征图和步骤4124)获得的高频特征图组成,对高、低频特征图进行逆小波变换后,得到两倍上采样的第一阶段重构图,执行通道自适应操作后,获得低频特征图作为第二阶段频域重构子模块的低频输入;
4132)重复步骤4131)操作,逐步进行第二、三、四阶段频域重构操作后获得与输入相同空间分辨率、恢复结构信息的去云输出;
42)将结构引导渐进式融合模块获得的恢复结构信息的去云输出与厚云遮挡的光学影像进行残差连接后作为辐射引导校正模块的输入,获得恢复光谱信息的去云输出;
421)输入第一个残差组,经过四个残差块,每个残差块执行两次卷积核大小为3×3的卷积操作,第一次卷积后经过一次Relu非线性激活操作,第二次卷积后与该残差块输入进行跳跃连接后经过一次Relu非线性激活,获得输出;
422)第一个残差组的输出与辐射引导子模块进行交互,进行前后景辐射校正;辐射引导子模块利用输入的云掩膜提取原厚云遮挡光学影像无云区域作为后景,将恢复结构信息的去云输出补充的云遮挡区域作为前景,分别计算两个区域的均值与标准差,基于自适应实例归一化,保证修复的前景与背景辐射保持一致;
fimaging=f*(σinput/σout)+(μinput‑μout) (5)其中,f表示第一个残差组的输出,σinput、σout分别表示输入光学影像和恢复结构信息的去云输出的标准差,μinput、μout分别表示二者均值,fimaging表示经过辐射校正的辐射引导子模块的输出,该输出与f相加后作为第二个残差组的输入;
423)第二个残差组的输出与语义引导子模块进行交互,进行前后景语义校正;语义引导子模块的输入为fimaging,输入依次执行一次卷积核大小为7×7、一次卷积核大小5×5和一次卷积核大小3×3的卷积操作,每次卷积后经过实例归一化和Relu非线性激活操作,获得语义引导子模块的输出,该输出与第二个残差组的输出拼接后作为第三个残差组的输入;
424)第三个残差组的输出即为恢复结构信息和光谱信息的云去除遥感影像;
43)使用L1损失函数lossL1和SSIM损失函数lossssim作为SAR辅助遥感影像厚云去除模型的损失函数,对云去除后的遥感影像与无云参考影像进行计算得到损失,通过损失值反向传播确定梯度向量;
L1损失函数表达式如下:
lossL1=|y‑f(x)|1 (6)
其中,y表示无云参考影像,x表示有云影像,f(x)表示云去除后的遥感影像;
SSIM损失函数表达式如下:
其中,x表示云去除后的遥感影像,y是无云参考影像,μx和μy分别表示均值, 和 表
2 2
示标准差,σxy表示协方差,C1=(k1L)、C2=(k2L)是用来维持稳定的常数,L是像素值的动态范围,k1=0.01,k2=0.03;
44)按设定的训练轮数迭代训练多次,保存验证集去云效果最佳模型权重。