1.一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法,其特征在于,包括:将获取的遥感影像,制作成遥感影像数据集并逐一打好标签,并将遥感影像数据集划分为训练集、验证集和测试集;
对遥感影像经处理后得到的遥感图像进行预处理,增加数据的多样性;
将预处理后的遥感图像进行特征提取,收集包含建筑物信息的特征图;并获得图像的全局特征;
将收集到的包含建筑物信息的特征图和获得到的图像的全局特征进行特征融合,得到包含局部信息与全局信息的语义特征,并将获得包含丰富上下文信息的特征映射;
将划分好的训练集和验证集样本经过预处理操作之后,进行训练,迭代数轮直至模型收敛,保存训练好的模型权重;
对划分好的测试集进行分割并分类,得到模型输出的可视化结果对模型进行评估。
2.根据权利要求1所述的一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法,其特征在于:所述收集包含建筑物信息的特征图通过ResnetBlock实现,所述ResnetBlock具体计算步骤如下:输入一个特征图A,首先经过第一个1×1卷积进行通道信息的交互,然后经过一个3×3卷积进行特征提取,最后再经过一个1×1进行通道数调整,然后通过残差连接与输入的特征图A相加得到提取的特征C;在残差连接中加入1×1卷积来对输入特征图A进行下采样;数学表达式如下:
1×1 3×3 1×1 1×1
C=f (f (f (A)))+f (A)
其中,f1×1和f3×3分别表示卷积核为1×1和3×3的卷积。
3.根据权利要求2所述的一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法,其特征在于:所述获得图像的全局特征通过Swin TransformerBlock实现,所述SwinTransformerBlock设计的具体步骤如下:所述SwinTransformerBlock包括交替设置的窗口多头自注意力层、偏移的窗口多头自注意力层和多层感知机,每个多头自注意力层、偏移的窗口多头自注意力层和多层感知机之前都连接一个标准化层;每经过一个标准化层层之前都会有一个残差连接将经过多头自注意力层、偏移的窗口多头自注意力层或多层感知机的特征进行连接;数学计算表达式如下:其中,W‑MSA表示窗口多头自注意力层,SW‑MSA表示偏移的窗口多头自注意力层,MLP表l‑1示多层感知机,LN表示标准化层,x 表示上一个编码器的输出序列, 表示第l块W‑MSA的l l+1输出序列, 表示第l+1块SW‑MSA的输出序列,x 和x 分别表示第l和第l+1块MLP的输出序列。
4.根据权利要求1所述的一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法,其特征在于:所述得到包含局部信息与全局信息的语义特征通过自适应注意力模块实现,所述自适应注意力模块计算步骤如下:对提取的特征Ci与Ti进行Concat操作并通过一个1×1卷积进行的信息交互,经过全局平均池化对空间信息压缩得到1×1×C的向量,经过一个Sigmoid非线性激活函数得到通道特征权重,将得到的权重与分别经过1×1卷积的Ci与Ti进行矩阵乘法得到具有通道注意力的特征图FCi和FTi,FCi表示重点关注CNN提取的特征,FTi表示重点关注Transformer提取的特征;最后将两个特征向量相加得到融合后的特征信息Fi,数学表达式如下:Fi=FCi+FTi,i=1,2,3,4
1×1
其中,i表示网络特征提取的四个阶段,f 表示卷积核为1×1的卷积, 表示矩阵乘法,Avgpool表示全局平均池化,Concat表示将不同的特征图进行拼接。
5.根据权利要求4所述的一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法,其特征在于:所述获得包含丰富上下文信息的特征映射通过多尺度特征融合模块实现,所述多尺度特征融合模块计算步骤如下:输入四个不同尺度特征图Fi分别经过3×3卷积进行特征图分辨率的调整,得到统一分辨率大小的特征图,然后经过Concat将四个特征图进行拼接得到包含丰富上下文信息的图像特征W;数学变换如下所示:
3×3 3×3 3×3 3×3
W=Concat[f (F1),f (F2),f (F3),f (F4)]
3×3
其中,f 表示卷积核为3×3的卷积,Concat表示将不同的特征图进行拼接,i=1,2,3,
4。
6.根据权利要求1所述的一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法,其特征在于:所述对划分好的测试集进行分割并分类,得到模型输出的可视化结果对模型进行评估,具体包括:采用Accuracy、Precision、Recall、F1分数和mIoU指标来评估算法性能,其数学描述分别如下:其中,Accuracy表示正确分类像素所占比例,Precision正确分类的正象素占所有预测正像素的比例,Recall表示正确分类的正像素占所有正像素的比例,F1表示综合Precision和Recall性能的指标,mIoU为平均交并比,用来表示图像分割的精度,TP、TN、FP、FN分别表示真正例、真负例、假正例、假负例的像素点数目。
7.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1‑6所述的方法中的任一方法。
8.一种计算设备,其特征在于,包括:
一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1‑6所述的方法中的任一方法的指令。