1.一种图神经网络与Mamba模型结合的U型多模态融合分割方法,其特征在于:所述的方法包括:获取遥感图像集,标注得到类别标签集,将遥感图像集、类别标签集切成固定大小后,将切好的数据集分为训练集、验证集;
构建多模态融合分割网络,主体架构由编码器、融合层、解码器和分割头组成;
将训练集、验证集进行类别平衡与增强,输入多模态融合分割网络进行训练,取精度最高时的参数权重;将遥感图像全集,切分输入至多模态融合分割网络中,得到遥感图像地物解译的语义分割结果所述的构建多模态融合分割网络的编码部分采用Mamba‑Graph结合的方式;
解码器通过利用多个上采样模块来恢复隐藏的融合特征以用于最终分割过程;分割头对解码器的输出结果经两层全连接MLP处理后,得到最终输出;
所述的构建多模态融合分割网络包括以下步骤:
(1)将训练集包括RGB、DSM遥感图像,顺序输入编码器中,在每次下采样之前保留当前特征表示,依次得到RGB与DSM各4份不同分辨率的特征表示;
(2)将编码器最后一层输出的特征表示RGB4与DSM4做为并行融合模块的输入得到Fusion4,依次类推得到Fusion1、Fusion2、Fusion3;
C*H/16*W/16
(3)解码器第一层以Fusion4∈R 做为输入,其中H*W为原输入图片大小,C为通道数,解码器第一层通道数 与编码器最后一层通道数 对应,以此类推解码器第一层由残差块组成,具体为Co n v 3x3+BN+ReLU)+X,自解码器第二层起,解码器融入Fusioni特征后,再输入至残差块中;
所述的编码器前三层由Mamba构成,编码器最后一层由Graph构成;融合层由并行融合模块组成。
2.根据权利要求1所述的一种图神经网络与Mamba模型结合的U型多模态融合分割方法,其特征在于:所述的训练集包括RGB、DSM遥感图像。
3.根据权利要求1所述的一种图神经网络与Mamba模型结合的U型多模态融合分割方法,其特征在于:所述的训练集、验证集比例为7:3。