1.一种多尺度融合高光谱图像和多光谱图像的方法,其特征在于,包括以下步骤:获取高光谱图像和多光谱图像;
对高光谱图像上采样,获取上采样后的高光谱图像,将上采样后的高光谱图像与多光谱图像进行拼接融合,获取融合后的高光谱图像;
通过浅层特征提取模块对融合后的高光谱图像进行特征提取,获得浅层光谱空间特征;其中,所述浅层特征提取模块包括卷积和多个残差块,其中,卷积用于对所输入的初始特征进行初步特征提取,获取第一提取特征;多个残差块用于从第一提取特征中逐层提取更高层次的特征,获取第二提取特征,再将初始特征与第二提取特征进行残差连接,获取浅层光谱空间特征;
将浅层光谱空间特征进行小波变换,获取多尺度子带特征图;
将多尺度子带特征图输入深层特征提取模块,获得多尺度深层光谱空间特征;
将多尺度深层光谱空间特征融合,获取融合后的深层光谱空间特征,根据融合后的深层光谱空间特征和浅层光谱空间特征,获取光谱空间特征;
根据光谱空间特征和上采样后的高光谱图像,获取高分辨率高光谱图像;
其中,所述深层特征提取模块包括光谱Mamba块和空间Mamba块;
所述将多尺度子带特征图输入深层特征提取模块,获得多尺度深层光谱空间特征,具体包括对各尺度的子带特征图分别执行如下步骤:步骤A:将子带特征图展平为向量形式并向量序列化,获取序列;
步骤B:通过编码器生成位置编码,并将位置编码增加到序列中,保留序列的空间信息,获取正确编码位置信息后的序列;
步骤C:将正确编码位置信息后的序列输入到光谱Mamba块中,通过解码器获取深层光谱特征;
将深层光谱特征替换所述步骤A中的子带特征图,而后重复步骤A和步骤B,重新获取正确编码位置信息后的序列,将重新获取的正确编码位置信息后的序列输入到空间Mamba块中,通过解码器获取深层光谱空间特征。
2.根据权利要求1所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述对高光谱图像上采样,获取上采样后的高光谱图像,具体包括:对高光谱图像进行双线性插值上采样,获取上采样后的高光谱图像;
所述将上采样后的高光谱图像与多光谱图像进行拼接融合,获取融合后的高光谱图像,具体包括:采用拼接融合操作将多光谱图像与上采样后的高光谱图像进行拼接融合,获取融合后的高光谱图像。
3.根据权利要求1所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述对融合后的高光谱图像进行特征提取,获得浅层光谱空间特征,其表达式为:;
其中, 为浅层光谱空间特征; 为融合后的高光谱图像; 为浅层特征提取模块。
4.根据权利要求1所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述将浅层光谱空间特征进行小波变换,获取多尺度子带特征图,具体包括:选择Haar小波作为母小波;
对输入的浅层光谱空间特征在水平和垂直方向分别进行低通和高通滤波,生成多尺度子带特征图,多尺度子带特征图包括 子带特征图、 子带特征图、 子带特征图及子带特征图,其中 子带特征图表示低频分量; 子带特征图表示水平方向的高频分量;
子带特征图表示垂直方向的高频分量; 子带特征图表示对角方向的高频分量。
5.根据权利要求4所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述将正确编码位置信息后的序列输入到光谱Mamba块中,通过解码器获取深层光谱特征,具体包括:步骤a:对正确编码位置信息后的序列 进行线性投影,所述投影后的特征沿通道维度分为两个特征部分 和 , 经过激活函数处理,p进行卷积提取空间特征后激活函数处理,实现特征的分块处理和空间特征增强:;
;
;
其中, 为投影操作,为激活函数,为正确编码位置信息后的序列,为卷积操作,R为尺度,B为批次,H为多光谱图像高度,W为多光谱图像宽度,C为浅层特征提取模块中卷积的通道数;
步骤b:所述特征部分p生成光谱令牌M 或生成空间令牌N ,关注光谱特征,所述光谱令牌经过Mamba的状态空间模型捕获全局信息,经过窗口扫描机制获取局部信息:;
;
其中, 为从特征映射的四个角到相对位置映射每个元素从不同方向的所有信息, 为窗口扫描机制,捕捉序列元素之间的局部信息, 代表四向扫描策略聚集的全局信息, 代表窗口扫描聚集的局部信息,所述 和一起输入到选择性扫描空间状态序列模型中并行处理得到中间深层光谱特征out_y;
步骤c:归一化所述中间深层光谱特征,并与 部分逐元素相乘进行特征加权,突出需要的重要特征,得到中间特征:
;
其中, 为中间特征, 为线性层操作, 为层归一化操作;
步骤d:根据中间特征,通过解码器获取深层光谱特征 ;
所述将重新获取的正确编码位置信息后的序列输入到空间Mamba块中,通过解码器获取深层光谱空间特征,具体包括:根据深层光谱特征 ,重新获取正确编码位置信息后的序列;
将重新获取的正确编码位置信息后的序列替换步骤a中的正确编码位置信息后的序列,而后重复步骤a、b和c,重新获取中间特征;
根据重新获取的中间特征,通过解码器获取得到深层光谱空间特征。
6.根据权利要求4所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述将多尺度深层光谱空间特征融合,获取融合后的深层光谱空间特征,具体包括:通过逆二维离散小波变换将多尺度深层光谱空间特征重构为原始信号,获取融合后的深层光谱空间特征,表达式如下:;
其中, 为融合后的深层光谱空间特征; 为逆二维离散小波变换; 表示cA子带特征图获得的深层光谱空间特征, 表示cH子带特征图获得的深层光谱空间特征,表示cV子带特征图获得的深层光谱空间特征, 表示cD子带特征图获得的深层光谱空间特征。
7.根据权利要求6所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述根据融合后的深层光谱空间特征和浅层光谱空间特征,获取光谱空间特征,具体包括:采用跳跃连接聚合浅层光谱空间特征以及融合后的深层光谱空间特征,获取光谱空间特征。
8.根据权利要求2所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述根据光谱空间特征和上采样后的高光谱图像,获取高分辨率高光谱图像,具体包括:将光谱空间特征输入图像重建模块,获取高分辨率重建图像;
使用残差连接所述高分辨率重建图像与所述上采样后的高光谱图像,融合低分辨率与高分辨率信息,得到高分辨率高光谱图像。
9.一种多尺度融合高光谱图像和多光谱图像的装置,基于权利要求1至8任一项所述的多尺度融合高光谱图像和多光谱图像的方法,其特征在于,所述装置包括:初步融合模块:获取高光谱图像和多光谱图像;对高光谱图像上采样,获取上采样后的高光谱图像,将上采样后的高光谱图像与多光谱图像进行拼接融合,获取融合后的高光谱图像;
浅层特征提取模块:对融合后的高光谱图像进行特征提取,获得浅层光谱空间特征;
深层特征提取模块:将浅层光谱空间特征进行小波变换,获取多尺度子带特征图;将多尺度子带特征图输入深层特征提取模块,获得多尺度深层光谱空间特征;
融合及重建模块:将多尺度深层光谱空间特征融合,获取融合后的深层光谱空间特征,根据融合后的深层光谱空间特征和浅层光谱空间特征,获取光谱空间特征;根据光谱空间特征和上采样后的高光谱图像,获取高分辨率高光谱图像。