1.一种光学与SAR图像注意力协同的积雪深度预测方法,其特征在于,包括以下步骤:步骤1:获取训练数据,所述训练数据包括光学图像、SAR图像以及积雪深度标签;
步骤2:构建光学与SAR图像注意力协同网络,所述网络包括:骨干网络模块、协同注意力整合模块和全局局部融合上采样模块;
步骤3:对训练数据中的图像进行数据增强处理,然后将图像与对应的标签转化为张量,输入到光学与SAR图像注意力协同网络中训练;
步骤4:将需要预测的一组光学图像和SAR图像转换成张量形式,输入训练好的光学与SAR图像注意力协同网络,得到积雪深度预测值;
构建光学与SAR图像注意力协同网络,具体包括;
模块1:骨干网络模块;
所述骨干网络模块在残差网络的基础上,采用不对称的双流设计,分为光学通道和SAR通道,在SAR通道上,在Stem层设计拉普拉斯卷积,在双通道的Layer2和Layer3的开始处,设计源注意力融合模块;
所述拉普拉斯卷积包括可微Lee滤波和边缘检测;
所述可微Lee滤波采用近似函数修改Lee滤波,所述边缘检测采用拉普拉斯算子,计算图像中像素点的曲率检测图像边缘;
所述源注意力融合模块用于加强光学与SAR图像这两种模态之间的关系建模,在通道方向上,该模块自适应地使SAR域和光学域的域共享特征相同,并找出模态私域通道之间的相似性约束;
模块2:协同注意力整合模块;
所述骨干网络模块输出的光学特征和SAR特征作为所述协同注意力整合模块的输入;
通过对光学特征和SAR特征进行卷积操作得到通道注意力权重和位置注意力权重;
在位置注意力机制中,加入拉普拉斯算子检测出的光学图像边缘强度,利用边缘信息辅助物体定位,得到光学通道和SAR通道的最终输出;
模块3:全局局部融合上采样模块;
首先,模块2中输出的光学特征和SAR特征进行融合,得到的深层特征通过卷积输出与浅层特征通道数一致的新特征图;
通过全局平均池化,得到注意力权重,与浅层特征逐通道相乘,得到的特征图与上采样两倍的深层特征图在通道层上叠加,输入解码器;
解码器的输出即为构建的光学与SAR图像注意力协同网络的最终输出,即积雪深度;
利用全局和局部特征信息,将深层特征引导浅层特征,具体包括:首先,深层特征 通过1×1卷积,输出与浅层特征 通道数一致的新特征图 ;其中, 是协同注意力整合模块输出的光学特征和SAR特征进行融合得到的特征, 是骨干网络中光学通道的第一层输出的特征, 和 分别表示深层特征和浅层特征的通道数;
通过全局平均池化,得到注意力权重A ,与浅层特征 逐通道相乘,得到的特征图 与上采样两倍的深层特征图 在通道层上叠加,输入解码器;该过程表示如下:
,
,
其中, 表示全局局部融合上采样模块输出的特征, 表示深层特征, 表示浅层特征, 表示卷积操作,m表示作用对象,n表示卷积核大小,GAP表示全局平均池化操作, 表示逐通道相乘, 表示上采样操作,c为目标对象,d为上采样倍数;
所述源注意力融合模块执行以下四步:
第一步:大小为C×H×W的光学和SAR特征分别沿着通道维度进行全局平均池化和全局最大池化,得到4个大小为C×1×1的特征向量;其中,H和W分别是特征的高度和宽度,C为通道数;全局平均池化和全局最大池化的计算公式为:,
,
其中, 表示在通道c上的全局平均池化, 表示在通道c上的全局最大池化,表示通道c上像素坐标位置 处的值, 表示在对象的通道c的所有位置上取最大值;
第二步,4个C×1×1的特征向量沿通道维度拼接成大小为4C×1×1的一维特征向量,该一维特征向量输入多层感知机,得到一个大小为2C×1×1的通道注意力权重;所述多层感知机共三层,每层输出的特征维度分别为2C、C和2C,数学表达式如下:,
其中,表示多层感知机的当前层, 表示多层感知机当前层的输出, 表示前一层的输出, 表示激活函数, 表示权重系数, 表示偏置系数;
第三步,将通道注意力权重拆分为两个大小为C×1×1的特征权重,记为 和 ;SAR通道与光学通道互为镜像;
在光学通道上,输入的光学特征 与通道注意力权重 逐通道相乘,将约束后的光学特征与SAR模态的输入特征进行逐点相加,相加后得到的特征作为所述源注意力融合模块的输出;该过程的数学表达式如下:,
,
其中, 和 分别表示输出的光学和SAR特征, 和 分别表示SAR和光学的原始输入特征, 和 分别表示得到的SAR通道和光学通道的通道注意力权重, 表示逐通道相乘。
2.根据权利要求1所述的一种光学与SAR图像注意力协同的积雪深度预测方法,其特征在于,步骤1中,分别采集同一地点同一时间的光学图像和SAR图像,并进行图像配准处理,构建训练数据具体包括:所述光学图像采用红、绿、蓝、近红外四个波段数据,分辨率为30米;所述SAR图像数据极化方式选择为VV,空间分辨率为10米;
所述光学图像的四个波段数据通过波段合成,得到四通道的光学图像,再进行重采样操作,调整分辨率至10米;
所述SAR图像首先进行轨道矫正,再通过热噪声去除算法消除图像中的热噪声;
对所述光学图像和所述SAR图像进行辐射校正和相干斑滤波处理,将处理后的图像转化为分贝表示;
处理完成的所述光学图像和所述SAR图像进行光栅重合操作,得到配准好的一组数据,通过裁剪操作,将图像大小设定为256×256;
每组数据均用气象站记录的有效雪深数据标记,作为标签。
3.根据权利要求1所述的一种光学与SAR图像注意力协同的积雪深度预测方法,其特征在于,可微Lee滤波步骤如下:第一步:选择大小为3×3的窗口大小,通过卷积操作计算图像所能取得的窗口内像素值的均值 和方差 ,计算过程如下:,
,
其中,表示输入图像, 表示均值操作, 表示所选窗口大小;
第二步,估计噪声方差,对于图像中的所有窗口,计算所有窗口的方差并求出均值,作为噪声方差的估计值 ,计算过程如下:,
其中, 是窗口个数, 是第 个窗口的局部方差;
第三步,计算信噪比,计算方法为像素均值除以噪声方差的平方根,公式如下:;
第四步,根据信噪比和阈值判断当前像素点受到的噪声干扰是否需要进行滤波;如果信噪比小于阈值,则执行滤波操作;否则,保留原始像素值;
滤波系数 计算公式如下:
,
其中, 是Sigmoid函数,b和T是可训练超参数;b用于调整Sigmoid的斜率;T是Sigmoid函数的阈值,用于判断信噪比的高低;通过训练T的值,控制滤波系数自适应地根据信噪比水平进行调整;
第五步,对于需要执行滤波的像素点 ,使用线性加权平滑的方式对其进行滤波,滤波后的像素值 计算公式为:,
其中, 为像素均值, 为滤波系数。
4.根据权利要求1所述的一种光学与SAR图像注意力协同的积雪深度预测方法,其特征在于,所述协同注意力整合模块执行以下操作:输入的光学特征通过三个共享权重的1×1卷积核提取出三个形状为C×H×W的特征向量Qopt、Kopt和Vopt;
将特征向量Qopt和Kopt分别变形为(C, H×W)和(H×W, C)的特征向量,记为E和F,对E和F相乘的结果进行Softmax操作,得到形状为C×C的通道注意力权重;
输入的SAR特征通过三个共享权重的1×1卷积核提取出三个形状为C×H×W的特征向量Qsar、Ksar和Vsar;
将特征向量Qsar和Ksar分别变形为(H×W, C)和(C, H×W)的特征向量,记为C和D,对C和D相乘的结果进行Softmax操作,得到位置注意力权重;
上述操作表示为:
,
,
,
,
,
,
其中, 表示变形操作,p表示变形对象,q表示目标形状, 表示内核为t的卷积操作, 表示内核为1的卷积操作, 和 分别表示骨干网络输出的光学特征和SAR特征, 表示通道注意力权重, 表示位置注意力权重, 是矩阵内积操作;
在位置注意力机制中,加入拉普拉斯算子检测出的光学图像边缘强度,利用边缘信息辅助物体定位;
对大小为C×H×W的光学原始图像,通过全局平均池化,得到大小为1×H×W的特征,通过拉普拉斯算子检测,得到的边缘强度特征展平,与位置注意力权重逐行相加,该操作表示为:,
,
其中, 表示边缘强度特征, 表示原始光学图像, 表示位置注意力权重,表示位置注意力与边缘强度特征的融合, 表示Laplacian边缘检测,表示全局平均池化操作, 表示逐行相加, 表示将矩阵展平;
将特征向量Vopt、Vsar分别变形为(C, H×W)的特征向量,将通道注意力权重Fchannel与Vsar作矩阵乘法,得到C×H×W的输出结果,与输入的SAR特征相加,作为SAR通道的最后输出;
将特征向量Vopt与Flaplacian+pos作矩阵乘法,得到C×H×W的输出结果,与输入的光学特征相加,作为光学通道的最后输出,该过程表达式如下:,
,
其中, 和 分别表示SAR通道输出和光学通道输出, 和 分别表示输入协同注意力整合模块的SAR特征和光学特征,即骨干网络提取出的SAR特征和光学特征。