1.一种基于Transformer的遥感图像建筑物提取方法,其特征在于,所述基于Transformer的遥感图像建筑物提取方法,包括:获取遥感图像,并对遥感图像进行预处理;
将预处理的遥感图像输入深度学习模型进行语义分割,得到建筑物分割结果;
其中,所述深度学习模型为非对称网络结构,包括四层结构的编码器Swin
Transformer、多分支加权金字塔池化模块、三层结构的解码器和多级特征级联融合模块,其中:
所述编码器Swin Transformer接收预处理的遥感图像,并通过四层结构输出四种尺寸的特征图F1、F2、F3、F4;
所述多分支金字塔池化模块设有三个,三个多分支金字塔池化模块分别取编码器Swin Transformer后三层结构输出的特征图F2、F3、F4,对特征图F2、F3、F4处理后输出特征图F22、F32、F42;
所述解码器中的第一层结构获取特征图F42与F32处理并输出特征图F32′,第二层结构获取特征图F32′与F22处理并输出特征图F22′,第三层结构获取特征图F22′与F1处理并输出特征图F1′;
所述多级特征级联融合模块将特征图F22′和特征图F32′进行特征融合得到特征图F22″,再将特征图F1′和特征图F22″进行特征融合得到最终的分割图,将最终的分割图作为建筑物分割结果。
2.如权利要求1所述的基于Transformer的遥感图像建筑物提取方法,其特征在于,所述预处理包括将遥感图像缩放至图像尺寸为512×512。
3.如权利要求1所述的基于Transformer的遥感图像建筑物提取方法,其特征在于,所述编码器Swin Transformer的四层结构根据数据流向分别定义为第一层结构、第二层结构、第三层结构和第四层结构;
第一层结构由数据输入侧至输出侧包括依次连接的补丁划分块、线性嵌入块和Swin Transformer块,第二层结构、第三层结构和第四层结构中每层结构由数据输入侧至输出侧包括依次连接的补丁合并层和Swin Transformer块;
其中第一层结构输出特征图F1,第二层结构输出特征图F2,第三层结构输出特征图F3,第四层结构输出特征图F4。
4.如权利要求1所述的基于Transformer的遥感图像建筑物提取方法,其特征在于,所述对特征图F2、F3、F4处理后输出特征图F22、F32、F42,包括:对于特征图F4,对应的多分支金字塔池化模块设置分支数目为4,对特征图F4进行不同尺度的池化操作,得到分别对应每个分支的特征尺寸分别为1、2、3、6的特征图,给对应的每个分支赋予的权值分别为0.1、0.2、0.2、0.5,每条分支上的特征图经过深度可分离卷积之后,通过双线性插值恢复与特征图F4同样的尺寸再进行加权拼接,对拼接后的特征图进行一次卷积操作得到特征图F42;
对于特征图F3,对应的多分支金字塔池化模块设置分支数目为4,对特征图F3进行不同尺度的池化操作,得到分别对应每个分支的特征尺寸分别为1、2、3、6的特征图,给对应的每个分支赋予的权值分别为0.1、0.2、0.2、0.5,每条分支上的特征图经过深度可分离卷积之后,通过双线性插值恢复与特征图F3同样的尺寸再进行加权拼接,对拼接后的特征图进行一次卷积操作得到特征图F32;
对于特征图F2,对应的多分支金字塔池化模块设置分支数目为5,对特征图F2进行不同尺度的池化操作,得到分别对应每个分支的特征尺寸分别为1、4、8、16、32的特征图,给对应的每个分支赋予的权值分别为0.1、0.1、0.2、0.2、0.4,每条分支上的特征图经过深度可分离卷积之后,通过双线性插值恢复与特征图F2同样的尺寸再进行加权拼接,对拼接后的特征图进行一次卷积操作得到特征图F22。
5.如权利要求1所述的基于Transformer的遥感图像建筑物提取方法,其特征在于,所述解码器的三层结构根据数据流向分别定义为第一层结构、第二层结构和第三层结构,且每层结构包括补丁扩张层和分流注意力模块。
6.如权利要求5所述的基于Transformer的遥感图像建筑物提取方法,其特征在于,所述解码器中的第一层结构获取特征图F42与F32处理并输出特征图F32′,第二层结构获取特征图F32′与F22处理并输出特征图F22′,第三层结构获取特征图F22′与F1处理并输出特征图F1′,包括:特征图F42输入至第一层结构中的补丁扩张层,经过补丁扩张层的扩张处理后与特征图F32进行通道维度的拼接,将拼接后的特征图输入至第一层结构中的分流注意力模块,第一层结构的分流注意力模块输出特征图F32′,同时将特征图F32′输入至第二层结构中的补丁扩张层;
特征图F32′经过第二层结构中的补丁扩张层的扩张处理后与特征图F22进行通道维度的拼接,将拼接后的特征图输入至第二层结构中的分流注意力模块,第二层结构的分流注意力模块输出特征图F22′,同时将特征图F22′输入至第三层结构中的补丁扩张层;
特征图F22′经过第三层结构中的补丁扩张层的扩张处理后与特征图F1进行通道维度的拼接,将拼接后的特征图输入至第三层结构中的分流注意力模块,第三层结构的分流注意力模块输出特征图F1′。
7.如权利要求1所述的基于Transformer的遥感图像建筑物提取方法,其特征在于,所述多级特征级联融合模块将特征图F22′和特征图F32′进行特征融合得到特征图F22″,再将特征图F1′和特征图F22″进行特征融合得到最终的分割图,将最终的分割图作为建筑物分割结果,包括:先对特征图F32′进行双线性插值得到和特征图F22′同样尺寸大小的特征图F32″,在将特征图232″与特征图F22′进行相加并继续通过双线性插值得到与特征图F1′同样尺寸大小的特征图F1″,最后将特征图F1″与特征图F1′进行特征融合得到最终的分割图。