1.一种基于多尺度深度监督的高分辨遥感图像语义分割方法,其特征在于,包括以下步骤:
步骤1,获取ISPRS Potsdam数据集和Vaihingen数据集,对数据集进行统一预处理后划分为训练集、验证集和测试集;
步骤2,搭建多尺度深度监督网络MDSNet,包括空间分支、语义分支网络和多尺度特征融合部分;所述空间分支、语义分支网络和多尺度特征融合部分均为四层结构;
步骤3,将训练集输入至多尺度深度监督网络MDSNet中训练,计算损失函数并进行反向传播,更新网络参数,获取训练好的参数模型;
步骤4,将测试集输入到训练好的参数模型中,输出目标图像的分割图;
步骤2包括:
所述空间分支包括四层空间去冗余残差模块,四层空间去冗余残差模块的输出由浅至深为S1,S2,S3和S4,空间去冗余残差模块的输出是B×A×H×W四维特征,其中B为批大小、A为通道数、H为长、W为宽;
第二层空间去冗余残差模块的通道数比第一层空间去冗余残差模块的通道数扩大一倍,长和宽缩小一倍;第三层空间去冗余残差模块的通道数比第二层空间去冗余残差模块的通道数扩大一倍,长和宽缩小一倍;第四层空间去冗余残差模块的通道数比第三层空间去冗余残差模块的通道数扩大一倍,长和宽缩小一倍;
将S2,S3和S4进行通道重新加权连接,根据不同特征图的可学习参数判断每个通道数的差异程度,动态调整通道的重要性,最后将通道重新加权连接的输出M4作为多尺度特征融合部分中第四层输入;
步骤2还包括:所述语义分支网络包括四层残差注意力Mamba,残差注意力Mamba用于细粒度特征的提取,残差注意力Mamba包括残差Transformer和Mamba,四层残差注意力Mamba的输出由浅至深为C1,C2,C3和C4,通道数与长宽变化与空间分支一致;
在空间分支和语义分支之前采用双层卷积块进行特征的粗略提取,每层卷积块中包含一次常规卷积、批归一化和ReLU激活函数;
所述多尺度特征融合部分包括大内核分组特征提取模块与多尺度卷积注意模块,其中,大内核分组特征提取模块用于将空间分支输出S、上采样和通道重新加权输出M和语义分支输出C三类特征进行选择性融合提取,大内核分组特征提取模块将特征映射与注意系数逐步结合起来,通过引入分组卷积整合来自浅层和深层的特征;将分组卷积后的特征进行批归一化,并进行特征融合,之后对特征融合结果进行普通卷积,并与初始的空间分支输出S和语义分支输出C进行拼接,最后送入多尺度卷积注意模块中;
将空间分支和语义分支网络输出的特征采用四层多尺度卷积特征融合模块与三层高效上采样卷积块连接,三层高效上采样卷积块的输出由浅至深依次为M1,M2和M3,将每一层多尺度卷积特征融合模块的输出输入分割头,进行分割,分割头包括一次3×3卷积核的普通卷积块、一次1×1卷积核的普通卷积和一次上采样;分割头有四层,对应四层多尺度卷积特征融合模块;
步骤3包括:将特征维度为b×3×256×256的遥感图像送入多尺度深度监督网络
MDSNet中,其中b为batch_size,batch_size表示一个批次训练的图像总数;3表示为通道数;将遥感图像送入双层卷积块中,输出特征维度变为b×64×256×256,完成对原始图像特征的粗略提取;
将双层卷积块的输出送入空间分支与语义分支网络中;对于空间分支,所述第一层空间去冗余残差模块包括左半部分和右半残差部分,其中,所述左半部分包括为水平垂直卷积,所述右半残差部分为残差结构;先将b×64×256×256的特征进行水平垂直卷积,卷积核分别为3×1、3×3和1×3,并将3×1、3×3和1×3三次不同卷积核的卷积结果拼接生成大小为b×192×128×128的四维特征;将包含方向特征的四维特征送入第一层空间去冗余残差模块的右半残差部分,四维特征分别送入去除ReLU的卷积块、去除ReLU的坐标卷积块,去除ReLU的卷积块和去除ReLU的坐标卷积块卷积核分别为1×1和3×3,输出结果均为b×64×128×128的四维特征,将去除ReLU的卷积块的结果输入小波变换卷积中,小波变换卷积的卷积核为5×5,输出结果为b×64×128×128的四维特征,最后将去除ReLU的卷积块、去除ReLU的坐标卷积块和小波变换卷积的输出四维特征相加,并经过一次ReLU激活函数,得到结果为b×64×128×128的四维特征S1;所述去除ReLU的坐标卷积块包括坐标卷积和批归一化;
第二、第三与第四层空间去冗余残差模块的处理过程与第一层空间去冗余残差模块相同,输出结果分别为b×128×64×64的四维特征S2、b×256×32×32的四维特征S3与b×
512×16×16的四维特征S4,具体公式为:
F1=fconcat(CBR1×3(CBR1×1),CBR3×1(CBR1×1),CBR3×3(CBR1×1))
FSDCM=ReLU(fconcat(CB1×1(F1),WTcon2d5×5(CB1×1(F1)),CoCB3×3(CoCBR3×3(F1))))其中F1为特征表现力增强后的结果,FSDCM为空间去冗余残差模块的输出结果;fconcat(·)为拼接操作,CBRn×m为卷积块,包含n×m大小卷积核的常规卷积、批归一化和ReLU激活函数;ReLU(·)为激活函数,CBn×m为去除ReLU激活函数的卷积块,WTcon2dm×m为m×m大小卷积核的小波变换卷积;CoCBRm×m为坐标卷积块,包含m×m大小卷积核的坐标卷积、批归一化和ReLU激活函数;CoCBm×m为去除ReLU激活函数的坐标卷积,其中m和n为正整数;
多尺度深度监督网络MDSNet采用最后面的三层特征提取层输出S2,S3,S4进行特征融合,对输入特征M4以S4的标准进行上采样,将上采样后的特征图按照第一维度进行拼接,得到拼接后的特征图,通过将输入特征的通道数相加,设置一个具有相同通道数的可学习权重参数,并对可学习权重参数进行归一化,将拼接后的特征图与归一化后的权重参数相乘,实现输入特征的加权操作,得到加权特征,将加权特征进行拼接,并通过步长为4,卷积核为
4×4的卷积操作得到b×512×16×16的四维特征M4;
对于语义分支网络,残差注意力Mamba包括残差Transformer和Mamba,残差Transformer通过自注意力机制,直接建模输入图像的全局关系,从而捕获长距离的依赖性;
残差Transformer包括高效注意力块ETB,高效注意力块ETB采用高效多头自注意力机制求取注意力分数,将双层卷积块的结果输入残差Transformer中,输出结果为b×64×128×128的四维特征,公式为:FFN(x)=σ(xW1+b1)W2+b2
其中EMSA(Q,K,V)为高效多头自注意力的输出,Q表示查询向量,K表示关键向量,V表示数值向量,EMSA(Linear(x))表示经过全连接层的高效多头自注意力机制,IN(·)为实例规范化,Conv(·)为卷积核为1×1的卷积,T表示转置;FFN(x)为全连接前馈网络层,x为输入特征;W1,W2是线性变换的权重矩阵;b1,b2是偏置项,σ是非线性激活函数,为高效多头自注意力的残差连接结构;Linear(·)为全连接层;y为残差Transformer的最终输出;
残差Transformer对全局语义特征进行提取后,将y输入第一层残差注意力Mamba的视觉状态空间VSS模块中,对y进行局部语义特征提取,VSS模块包括状态空间模块SSM,将残差Transformer的输出结果输入残差注意力Mamba中,得到b×64×128×128的四维特征C1,第二、三与四层残差注意力Mamba的处理过程与第一层残差注意力Mamba相同,输出结果分别为b×128×64×64的四维特征C2、b×256×32×32的四维特征C3与b×512×16×16的四维特征C4,具体公式为:X1=Silu(Linear(LN(y)))
X2=LN(SSM(Silu(DWConv(Linear(LN(x))))))
其中LN(·)表示层归一化,Silu(·)表示Silu函数激活操作,X1与X2分别为Silu函数的输出和LN层归一化的输出;DWConv(·)为深度可分离卷积, 为乘积操作,XVSS为残差注意力Mamba最终输出结果;
最后,将S1、S2、S3、S4和C1、C2、C3、C4,M4一同送入多尺度特征融合部分中,第四层多尺度特征融合的输入为S4、C4和M4,将三个四维特征S4、C4和M4送入大内核分组特征提取模块中,每一个输入经过一次卷积核为3×3的组卷积与批归一化,均输出b×256×16×16的四维特征,再将S4、C4和M4经过组卷积和批归一化的结果进行拼接,并经过ReLU激活函数、去除ReLU的卷积块和Sigmoid操作,输出结果为b×1×16×16的特征,最后将b×1×16×16的特征与S1、C1进行哈达玛积,输出b×512×16×16的四维特征,最后将b×512×16×16的四维特征输入多尺度卷积注意模块,得到b×512×16×16的四维特征M3,作为第三层多尺度特征融合的输入,第三、二、一层的多尺度特征融合过程与第四层多尺度特征融合过程相同,第三、二、一层的多尺度特征融合输出结果分别为b×256×32×32的四维特征、b×128×64×64的四维特征、b×64×128×128的四维特征;将多尺度特征融合结果分别送入分割头中,输出结果均为b×6×256×256的四维特征,6代表着分割的六个类别。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:通过随机采样裁剪对
Vaihingen数据集进行数据增强。
3.根据权利要求2所述的方法,其特征在于,步骤3还包括:使用损失函数对最终分割结果b×6×256×256的四维特征和第二、第三、第四层分割头的输出进行监督,作为辅助损失,利用辅助损失对主要损失进行修正,公式为:λmian=λaux=λDiceLoss+λCELoss
λ=λmian+δ(λaux1+λaux2+λaux3)
其中,λDiceLoss为Dice Loss损失;X代表真实分割图像的像素标签,Y表示多尺度深度监督网络MDSNet预测分割图像的像素类别,C是类别是数量;λCELoss为交叉熵损失;N是图像中像素点的数量,yi是第i个像素的真实标签,yi,c是一个二进制指标函数,表示第i个像素是否属于类别c,如果是则yi,c为1,否则yi,c为0;pi,c表示多尺度深度监督网络MDSNet对第i个像素属于类别c的预测概率;λmian为主要损失,λaux1为第二层分割头输出的辅助损失;λaux2为第三层分割头输出的辅助损失;λaux3为第四层分割头输出的辅助损失;δ为加权系数,λ为最终的总损失值。
4.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至3中任一项所述的方法的步骤。
5.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令在计算机上运行时,执行如权利要求1至3中任一项所述的方法的步骤。