1.一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,包括如下步骤:S1、获取数据集,所述数据集包括训练集和验证集;
S2、建立Transformer分支和卷积分支网络模型,并将图像数据输入模型中,通过多次下采样获得遥感图像的不同尺度的特征信息,为特征融合做准备;
S3、利用双向引导模块引导Transformer分支和卷积分支进行特征提取;
S4、在解码阶段,通过解码模块修复像素定位,充分利用两分支提取到的不同层级的特征进行融合上采样;
S5、不断迭代训练模型,进行精准度测试,直至模型达到预想效果。
2.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,所述步骤S1具体包括如下步骤:S1.1、从Landsat‑8号卫星和Sentinel‑2号卫星上获取高清遥感图像;
S1.2、对遥感图像进行裁剪;
S1.3、对裁剪完成的图像进行标注,使用Labelme对裁剪完成的图片进行人工掩膜标注,标注类型为三类:云、云影和背景;
S1.4、划分数据集,将上述得到的图片按4∶1进行划分,即将80%作为训练集,20%作为验证集。
3.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,所述步骤S2的网络模型为双分支融合网络模型,由编码阶段和解码阶段两部分组成;在编码阶段,使用Transformer和卷积网络相互引导的双支路结构去提取不同层级的特征,融合全局特征和局部特征;在解码阶段,利用Transformer分支和条状卷积分支提取到的不同层级的语义信息和空间信息进行上采样,融合高级语义信息和空间位置信息,实现云和云影的精准定位和精细分割。
4.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,Transformer分支的表达式如下:T1=Convembed(di)
T2=MHA{Flatten[Convproj(T1)+di]}
其中,di表示Transformer分支第i层的输入矩阵(i=0,1,2,3,4),x0表示输入到模型的矩阵, 和 分别表示表示Transformer分支的第i层和第i+1层的输出矩阵, 表示卷积分支的第i层输出经过多级池化后的特征图,Convembed(·)表示卷积嵌入层,Convproj(·)表示卷积投影层,Flatten(·)表示将二维数据展开成一维数据,MHA(·)表示多头注意力层,Norm(·)表示层归一化,MLP(·)表示多层感知机,Reshape(·)表示将一维数据变为二维数据。
5.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,条状卷积分支的表达式如下:C1=δ{norm[Conv1×3(ei)]}
C2=δ{norm[Conv3×1(C1)]}
C3=Maxpooling(C2)
上式中,ei表示条状卷积分支第i层的输入(i=0,1,2,3,4),x0表示输入的原始图像,和 分别表示表示条状卷积分支的第i层和第i+1层的输出, 表示Transformer分支的第i层经过双线性插值上采样成为同相同大小的特征图,δ(·)表示激活函数RELU,norm(·)表示BatchNorm,Conv1×3(·)和Conv3×1(·)分别表示卷积核大小为和的条状卷积,Maxpooling(·)表示最大池化层。
6.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,解码阶段的具体操作如下:Di=Upsample{δ[DWConv(Mi)]},i=1,2,3,4上式中, 和 分别表示Transformer分支和卷积分支第i层的输出,Di表示解码器第i层的输出,Upsample(·)表示双线性插值上采样,δ(·)表示记过函数GELU,DWConv(·)表示深度可分离卷积,Concat(·)表示拼接操作。
7.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法,其特征在于,所述步骤S5的具体训练过程如下:S5.1、将做好数据集进行挑选,将全图为背景的进行剔除,然后将训练集和验证集按照
8∶2进行分拣,检测结果图像中的每个像素代表了输入图像的对应像素在本次训练过程中的检测结果,若该像素被网络判断为云,则检测结果中的对应位置像素为[128,0,0],若该像素被判断为云影,则对应位置像素为[0,128,0],否则为[0,0,0];
S5.2、设置一次训练所选取的样本数为3、最大迭代次数为300、学习率为0.001;
S5.3、进行网络模型训练,在输入原始遥感图像时,正向传播计算得到当前网络的输出图片,利用交叉熵损失函数,计算输出图片与人工标注标签之间的误差,利用链式法则将这个误差反向传播到网络中,在反向传播的过程中,使用Adam优化器进对网络的参数进行更新,完成一轮学习;当训练次数达到预设阈值或测试的准确度达到目标数值后,表明所搭建的网络模型已经符合要求。