1.一种结合超分辨率技术的遥感图像语义分割方法,其特征在于,包括以下步骤:S1:遥感图像数据预处理;
S2:根据步骤S1处理后的图像数据制作用于低分辨率遥感图像分割任务的数据集;
S3:构建结合超分辨率技术的遥感图像语义分割模型;
S4:使用步骤S2中的数据集对步骤S3搭建的分割模型进行训练、优化和测试,并保存得到的最优模型结构和权重;
S5:将低分辨率遥感图像输入步骤S4得到的最优超分辨率模型中,最后生成高分辨率的图像分割结果。
2.根据权利要求1所述结合超分辨率技术的遥感图像语义分割方法,其特征在于,步骤S1包括以下步骤:S11:选用ISPRS Vaihingen数据集、ISPRS Potsdam数据集以及LoveDA数据集,通过人工筛选,剔除分辨率低,色彩偏差大的图像数据;
S12:将原数据集中的图像与标签切分成1024像素×1024像素的块重新组成新的数据集,按照8:2随机分配为训练集和测试集。
3.根据权利要求1所述结合超分辨率技术的遥感图像语义分割方法,其特征在于,步骤S2包括以下步骤:S21:将S12得到的数据集中的图像数据进行4倍和2倍的随机下采样,生成256像素×
256像素的低分辨率LR数据集,LR图像作为模型的输入,原始图像作为高分辨率HR图像,标签不变;
S22:根据图像包含信息的丰富程度、超分辨率任务以及分割任务对训练数据的需求剔除步骤S21中不合格的样本;最后生成包含LR图像,HR图像以及标签的LR‑HR数据集:LR‑Vaihingen,LR‑Potsdam,LR‑LoveDA。
4.根据权利要求1所述结合超分辨率技术的遥感图像语义分割方法,其特征在于,步骤S3包括以下步骤:S31:多尺度特征编码器,编码器采用双路径结构:下采样路径和上采样路径;下采样路径采用残差自注意力块RSAB;编码器中共有m个残差自注意力块RSAB,每个残差自注意力块RSAB以比例因子为2对特征图像进行下采样,并通过跳转连接将输出传递给解码器;上采样路径使用亚像素卷积以比例因子2对特征图进行两次上采样,为解码器中HR特征的处理提供了足够的低频信息;具体来说,在编码器中,输入的LR图像首先经过3×3卷积生成特征,表示实数,B、C、H、W分别表示特征向量的批次大小、通道数量、长、宽四个维度的值;然后 被馈送到下采样路径和上采样路径;在下采样路径中, 经过m个级联的RSAB生成包含丰富语义信息的深层特征 ,该过程可以表示为:,其中 表示第 个RSAB,在每
个RSAB中,特征首先经过一个带有残差级联的卷积组,然后通过下采样卷积降低分辨率并加宽通道数,最后经过一个带有自注意力的卷积组建立像素间的关联;给定输入特征,RSAB的过程可以表示为: ,其中表示第一个卷积组的输出, 表示RSAB中的基本卷积组, 和 分别表示内核大小为3和1的卷积运算, 表示Silu激活函数, 表示BatchNorm归一化操作, 表示下采样卷积, 表示下采样卷积的输出特征, 表
示自注意力机制, 是RSAB的输出;在上采样路径中, 经过n次亚像素卷积来提高分辨率,该过程表示为: ,其中 是亚像素卷积输出的HR图像的特征, 表示第i个亚像素卷积;
S32:超分辨率融合解码器,解码器由级联的超分辨率Transformer块SRTB构成,利用超分辨率和分割任务在特征提取和处理方面的共性,SRTB在探索深层特征的语义信息的同时实现超分辨率解码;解码器由m+n个SRTB组成,m和n分别表示RSAB和亚像素卷积的数量;编码器中下采样路径的输出用作解码器的输入;同时,编码器中的特征通过跳转链接与解码器中相应大小的特征进行组合;具体来说,编码器的输出特征 在进入解码器后经过m+n个级联的SRTB进行处理;每个SRTB实现了超分辨率特征和语义特征的提取和过滤,并且同时融合编码器中具有相同尺度的特征;解码器的过程可以表示为:,其中 是解码
器的输出; 表示第i个SRTB; 表示编码器中下
采样路径的第i个RSAB的输出特征; 表示编码器中上采样路径的第i个亚像素卷积的输出特征;SRTB采用Transformer结构来完成信息传递,使用交叉融合自注意力CFSA替代原始自注意力;假设输入特征 ,单个SRTB的过程可以表示为:其中 是CFSA的输出特征, 表示CFSA操作; 是
SRTB的输出特征; 表示用于上采样的亚像素卷积;CFSA利用双路径结构,其中一条路径用于保留输入特征的原始信息,另一条路径使用具有通道注意力的卷积组来细化特征并建立特征的局部关联;两条路径处理的特征通过自适应融合和线性映射生成包含丰富局部信息的 V;然后 V通过自注意力机制建立特征之间的远程关联;具体来说,假设输入的CFSA特征为 ,表是实数,b、c、h、w分别表示向量的批次大小、通道数量、长、宽四个维度的值;解码器的两条路径生成特征F1和F2的过程可以表示为:其中 表示1×1卷积运算, 表示移位卷积;移位
卷积可以有利于局部像素参与不同通道组之间的移位特征; 表示通道注意机制;由2
于CFSA采用窗口自注意力,首先根据窗口大小w 对F1和F2进行分区,w表示窗口的宽;然后通过线性映射计算得到 和 ; 、 被赋予可学习的权重,然后自适应聚合生成特征 ;F1和F2通过特征拼接融合,然后通过线性映射计算得到特征V;
V进行注意力计算;这些过程可以表示如下: 其中 和
表示可学习权重; 表示线性映射运算; 表示Softmax函数,d表示特征的维度, 表示 的转置矩阵, 表示CFSA的输出特征;
S33:多路径特征细化块,解码器结合了编码器提供的包含丰富低频信息的特征,它完成了深层语义信息的提取与高频特征的重构;通过矩阵加法简单地融合这些特征会降低分割精度;因此,设计多路径特征细化模块MFRB来使这些特征更有效地融合以提高分割精度;
MFRB将输入的特征被分成四组,通过多尺度卷积和不同注意力机制处理,然后通过逐元素相乘以实现空间交互,最后自适应融合;具体来说,给定输入特征 ,它首先经过1×1卷积,然后在通道维度上均分为四部分,分别命名为F1、F2、F3、 ;然后F1、F2、F3、F4通过不同的卷积或者注意力机制进行处理,公式如下表示:;其中 表示1×1卷积, 表示1×1卷积,用
于扩展通道数和交互信息; 表示特征在通道维度上切分的操作; 表示3×3 卷积 ; 和 分 别表 示通 道注 意 力和 中心 注 意力 ; ∈表示多尺度特征;为了实现特征信息的空间交互, 将分别与
、 和 相乘,获取特征 ,如下表示: 然后给这些特征
赋予权重并进行聚合,其流程表示如下: 其中 表示自适应聚合后的特征, 、 、 为可学习权重, + + =1;最后通过1×1卷积将 的通道维度的数量降到
3。
5.根据权利要求1所述结合超分辨率技术的遥感图像语义分割方法,其特征在于,步骤S4具体包括以下步骤:S41:设置各项训练参数并开始训练模型,其中批次大小设置为4;初始学习率设置为
0.001;模型内部通道数为64;输入图像尺寸为3通道,256×256像素;总训练轮数为1000,每
50轮验证一次并保存模型权重;
S42:构建用于模型反向传播的基于交叉熵的损失函数;每个像素对应的损失函数为:,其中 为一个取值为0或1的one‑hot向量, 为该像素的模型预测值经过softmax或sigmoid函数之后的概率值;整个图像的损失就是每个像素的损失求平均;
得到的损失值用于参数的迭代更新;
S43:验证和测试模型效果使用平均F1分数mF1和平均交并集mIoU;mIoU计算公式为,其中设表示真实值,表示预测值, 表示将预测为的概率,mIoU值大于0.8时分割结果较好;F1分数是统计学中用来衡量二分类模型精确度的一种指标,在β=1的情况,F‑Score称为F1‑Score,值是从0到1的,1是最好,0是最差;公式为:,其中FN表示被判定
为负样本,但事实上是正样本的像素个数;FP:表示被判定为正样本,但事实上是负样本的像素个数;TN表示被判定为负样本,事实上也是负样本的像素个数;TP表示被判定为正样本,事实上也是正样本的像素个数;对于图像超分辨效果验证时先将重建的RGB图像转为YCbCr图像,再在Y通道上使用峰值信噪比PSNR和结构相似性SSIM作为评价指标来客观评价模型的重建性能;峰值信噪比PSNR的计算公式为: ,其中 为两张图片之间的均方误差, 是图片的最大可能像素值,PSNR通过计算两幅图像间的对应像素之间的误差来评估图像重建效果;当重建图像与真实图像的峰值信噪比大于30.0dB时,说明重建效果良好;结构相似性SSIM的计算公式为: ,其中 表示为真实的高分辨率图像,表示为重建的高分辨率图像, 和 分别表示为真实高分辨率图像和重建图像的平均灰度值, 和 分别表示为真实高分辨率图像和重建图像的标准差, 表示为真实高分辨率图像和重建图像的协方差, 和 为常数,且 ,, , ,是像素值的动态范围;当重建图像与真实图像的结构
相似性大于0.8时,说明重建效果良好;
S44:对比验证得到的评估结果,如果此次得到的评估结果最高则将此轮模型权重保存为最优权重;
S45:通过Adam优化算法更新网络的参数;循环上述步骤,迭代模型直到完成训练次数,最后输出最优模型权重。
6.根据权利要求1所述结合超分辨率技术的遥感图像语义分割方法,其特征在于,步骤S5包括以下步骤:S51:将步骤S4中保存的最优权重加载到步骤S3搭建的超分辨率分割模型中;
S52:将低分辨率遥感图像输入模型中生成高分辨率可视化分割结果图。