1.一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:该方法包括以下步骤:S1:数据获取,获取资源三号ZY‑3遥感影像,数字高程模型DEM以及建筑高度矢量数据;
S2:数据预处理和数据划分,包括将获取的ZY‑3数据进行预处理,并利用处理后的ZY‑3影像生成MABI多视角建筑指数,将获取的DEM数据进行重采样,以及将建筑矢量数据进行栅格转化,并利用分布均匀的实地采样标签对建筑矢量数据进行准确性验证;最后,将经过预处理的ZY‑3数据以及经过重采样的DEM数据分为任务1和任务2;
S3:建筑高度反演,将所述S2中的任务1、任务2以及建筑矢量栅格输入多尺度深度监督网络M‑DSNN架构进行建筑高度反演;
所述M‑DSNN架构包括:2+3结构,即2编码器‑3解码器架构、特征融合模块和动态共享模块,特征融合模块和动态共享模块均处于编码器和解码器之间,其中特征融合模块是为解决来自多光谱以及多视角分支生成特征融合问题,动态共享模块是为解决两个解码器共享多光谱分支生成特征的问题;
在所述编码器架构中,编码器采用深度可分离残差卷积来构建,多分支向下采样K‑Dumping,即结合左分支SoftPool向下采样操作,右分支膨胀卷积加MaxPool向下采样操作来捕获更丰富的特征信息,合并左右分支的输出来增强特征的表示能力,并且在特征块中引入动态傅里叶变换去噪模块来减少特征提取过程中的噪声;
所述特征融合模块将多视角输入和多光谱输入的特征进行动态融合,首先经过特征映射、分离、融合和动态选择得到初始融合特征,对多光谱特征进行通道/空间注意力操作,并与初始融合特征进行concat连接和卷积操作,得到最终融合后的特征;
所述动态共享模块通过联合多光谱输入特征和通道空间注意力结果,经过concat和卷积操作得到融合特征,并利用torch类型转换函数Parameter()生成的可训练参数和Softmax操作动态调整权重a和b,实现融合特征的高效共享和输出;
所述解码器架构中,将处理好的特征分别经过三个解码器的反卷积和卷积组合求得三个结果,并concat连接合并输出建筑高度估计最终结果result;
S4:损失函数和网络设置,损失Loss函数采用加权损失函数,模型运行中批处理大小batch_size设为8,迭代次数为300次,采用Adam优化器以及动态学习率,并且在训练集中采用随机翻转、线性拉伸的数据增强策略;
S5:建筑高度制图,对测试区重庆、北京以及广州三个城市的建筑高度进行提取和制图。
2.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S1中,获取ZY‑3遥感影像,包括:正视、前视、后视全色影像以及多光谱影像,以及免费公开的30mDEM数据和高德地图建筑矢量数据。
3.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S2中,ZY‑3高分遥感影像预处理过程包括:正视、前视、后视全色影像以及多光谱影像的正射校正;前视、后视全色影像基于正视全色影像的图像配准和重采样;以及多光谱影像与正视全色影像的图像融合。
4.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S2中,利用处理后的ZY‑3影像生成MABI多视角建筑指数,计算公式为:MABI=max{|Xα‑Xβ|,|Xα‑Xγ|,|Xβ‑Xγ|} (1)其中,Xα,Xβ和Xγ分别表示在同一区域上获得的前视,正视和后视全色影像的像素值。
5.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S2中,将30m DEM数据通过ENVI图像配准进行重采样,调整其空间分辨率,使其与处理后的ZY‑3影像保持一致,即2.5m。
6.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,编码器采用深度可分离残差卷积来构建,多分支向下采样K‑Dumping即结合左分支SoftPool向下采样操作,右分支膨胀卷积加MaxPool向下采样操作来捕获更丰富的特征信息,合并左右分支的输出来增强特征的表示能力,并且在特定的特征块中引入动态傅里叶变换去噪模块来减少特征提取过程中的噪声,具体为:编码器采用残差加深度可分离卷积的形式,将第一轮卷积块换成深度可分离卷积,深度可分离卷积即将标准卷积分为两个独立的步骤:深度卷积和逐点卷积;
多分支向下采样K‑dumping模块,左分支先进行SoftPool池化操作,SoftPool池化采用了SoftMax算法,并进行两步操作,计算公式(2)~(3)所示:计算每个像素块的特征权重wi:
其中,ai、aj分别表示Mi、Mj的像素值;Mi表示第i个待池化操作像素块;Mj表示第j个待池化操作像素块;
将每一块的权重和其像素值相乘,并逐个相加:
M=∑i∈Rai×wi,R∈(1,2,3,4),i=1,2,3,4 (3)右分支首先采用三核膨胀卷积扩大特征的感受野,再利用MaxPool池化对膨胀结果进行向下采样,最后将两者结果进行一核卷积输出;
动态傅里叶变换去噪FFT‑Denoise,在倒数第一和倒数第二的特征块加入动态傅里叶去噪FFT‑Denoise模块,将其矩阵域转化为频域,利用高斯滤波器求出特征块每个维度的权重矩阵:fX(x)表示一维高斯函数沿水平方向表示;
fY(y)表示一维高斯函数沿垂直方向表示;
fX(x)·fY(y)表示在二维空间中,通过将一维高斯函数沿水平方向和垂直方向相乘得到的二维高斯函数,两者取相同的值,表示水平方向和垂直方向的标准差相同;
σ为滤波核,将上式二维高斯函数求出的权重矩阵进行求和取平均值,过滤掉低频分量后逆转换为矩阵域输出。
7.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,特征融合模块将多视角输入和多光谱输入的特征进行动态融合,首先经过特征映射、分离、融合和动态选择得到初始融合特征,然后,对多光谱特征进行通道/空间注意力操作,并与初始融合特征进行concat连接和卷积操作,得到最终融合后的特征:H×W×C H
S31:特征映射模块通过合并多视角输入MV_Input∈R 和多光谱输入MS_Input∈R×W×C H×W×2C,R表示特征图维度,进行concat连接得到融合特征块S∈R ,将S进行卷积操作后分H×W×2C H×W×2C别得到特征映射S1∈R 和S2∈R ,其中,H、W和C分别为特征矩阵的高、宽和通道数;
2C×1 2C
S32:分离操作Devide:分别将S1和S2进行特征信息整合操作得到Sdv1∈R 和Sdv2∈R×1,计算公式表示为:
其中,S(i,j)为每个通道的像素值;
2C×1
S33:融合操作Fusion:将分离出来的整合特征信息Sdvk进行融合得到Sfs∈R ,k=1,
2,具体计算表示为:
Sfs=Relu(BN(Sdv1+Sdv2)) (6)
其中,Relu为线性激活函数,BN为线性拉伸;
S34:动态选择Select:采用软注意机制对不同空间尺度的信息进行自适应选择,将自适应选择生成的两个特征W1、W2分别和初始特征相乘输出得到特征Z1和Z2,再将Z1和Z2进行
2C×1 H×W×C
相加卷积操作得到权重选择模块的输出OWS,其中,Z1、Z2∈R ,OWS∈R ,W1和W2的计算公式表示为:i表示第i个分量;
2Cx1
Sfs(i)表示融合特征向量Sfs∈R 的第i个分量;e为求指数操作;W2求取公式同理;
S35:计算出OWS后,对多光谱特征输入分支执行通道/空间注意力操作,得到结果OCS,各个分支段以及OCS的计算公式表示为:Otemp=(MLP(Maxpool(MS_Input))+MLP(Avgpool(MS_Input)))×MS_Input (9)OCS=Conv2d(Concat(Maxpool(Otemp),Avgpool(Otemp)))×Otemp (10)其中,MLP为多层感知机,MaxPool为最大池化,AvgPool为平均池化;
S36:将OWS和OCS进行concat连接加卷积操作,再将得到的结果和MV_Input进行concat连H×W×2C接操作得到最终特征Out∈R 。
8.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,所述动态共享模块通过联合多光谱输入特征和通道空间注意力结果,经过concat和卷积操作得到融合特征,并利用torch类型转换函数Parameter()生成的可训练参数和Softmax操作动态调整权重a和b,实现融合特征的高效共享和输出,具体为:动态共享模块将多光谱输入特征MS_Input和通道空间注意力结果OCS联合进行concat、卷积操作得到融合模块,并将融合模块和两个自适应动态权重a和b相乘得到两个最终特征结果Out1和Out2,动态共享模块通过Parameter()函数生成一个和融合模块一样大小的可训练参数weight,再通过Softmax操作得到动态权重a和b,即a=Softmax(weight),b=Softmax(1‑weight) (11)。
9.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,所述解码器架构中,将处理好的特征分别经过三个解码器的反卷积和卷积组合求得三个结果,并concat连接合并输出最终结果result:解码器模块采用传统解码器方法,即反卷积+卷积结构,将融合特征Out经过解码器Decoder 1得到结果Building Height1,两个动态共享后的特征Out1和Out2分别经过解码器Decoder 2和Decoder 3分别得到结果Building Height2和Foot Print,最后将三者结果进行concat+卷积操作得到最终建筑高度结果Result。
10.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S4中,Loss函数采用加权损失函数,模型运行中批处理大小为8,迭代为300次,采用Adam优化器以及动态学习率,并且在训练集中采用随机翻转、线性拉伸等数据增强策略;具体为:由于M‑DSNN属于多任务网络模型,除了两个建筑高度提取任务和建筑高度总结果之外,还包括建筑足迹提取任务,因此,为了满足网络模型训练需要,引入多任务的加权损失函数;
首先,采用均方误差MSE作为建筑高度提取任务的损失函数:
其中 和Hi分别表示建筑高度预测值和建筑高度真实值,n为预测建筑物的所有数量;
在建筑足迹提取任务中,采用二进制交叉熵BCE损失函数:
Hi表示建筑i的参考足迹标签,1表示建筑,0表示非建筑,Pi表示建筑足迹i的预测概率;
将LMSE和LBCE结合起来表示总的损失函数L:
n为3,表示3个建筑高度提取任务,σ表示任务的不确定性;
另外,在网络训练中,卷积之间的通道变换为翻倍变化,变换域为32~512,迭代次数为
300次,采用Adam优化器对网络中的参数进行优化,使用动态学习率,设置初始学习率为10‑3,在200‑250次迭代衰减0.1,并在250‑300次迭代再衰减0.1,批量大小设置为8;为提高模型的泛化能力,防止过拟合,增强模型对不同变换和噪声的鲁棒性,在训练数据中进行概率为0.5的数据增强策略,包括图像垂直翻转、水平翻转以及图片线性拉伸;
所述S5中,建筑高度制图,具体为:将建筑高度反演结果进行制图,设置背景底色为黑色,建筑高度值变化范围由灰度值显示,亮度越暗,高度值越小,反之,高度值越高。