利索能及
我要发布
收藏
专利号: 2024101612013
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,包括以下步骤:(1)获取、预处理数据集,制作训练样例图像;

(2)利用基于深度图像先验的上采样方法,上采样输入的低分辨率高光谱图像,获得全色图像空间尺度下的高光谱图像;

(3)利用重叠补丁嵌入模块分解和转换上采样的高光谱图像与全色图像;其中,重叠补丁嵌入模块由卷积和批量归一化层组成,包括:计全色图像重叠补丁嵌入模块和高光谱图像重叠补丁嵌入模块;

(4)利用若干光谱‑空间注意力交互模块,直接交互、融合光谱特征与空间特征,获得融合的跨模态特征表示;

(5)利用图像重建层还原维度,获得高空间分辨率的高光谱图像。

2.根据权利要求1所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,所述步骤(1)具体如下:获取用于训练的数据集,裁剪数据集中的高光谱图像,生成若干张图像补丁,作为标签高光谱图像 ,其中, 为宽、高和波段数;对的可见光波段进行平均池化,生成全色图像 ;利用高斯滤波器对 进行空间模糊,并将其下采样N倍,生成低分辨率的高光谱图像  ;其中, ,;P 和 组成输入对,  为标签。

3.根据权利要求2所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,所述步骤(2)具体如下:利用基于深度图像先验的上采样方法,将低分辨率的高光谱图像  上采样至全色图像P空间尺度,获得上采样的高光谱图像 ;公式如下:

其中, 为用作输入的随机初始化噪声张量; 为神经网络 的最优参数;

为任务驱动的能量函数;公式如下:

其中,  表示下采样操作。

4.根据权利要求3所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,所述步骤(3)具体如下:所述全色图像重叠补丁嵌入模块将全色图像P在空间上分解为若干相互重叠的图像补丁 ,其中, k为宽、高;对于每个补丁进行特征转换,生成封装原始信息的补丁嵌入,公式如下:;

其中, 表示由 n个补丁嵌入组成的特征图;d 为嵌入维度;  为全色图像重叠补丁嵌入模块的函数;

则高光谱图重叠补丁嵌入模块公式如下:;

其中, 表示由n个全色图像补丁嵌入组成的特征图;为嵌入维度; 为高光谱图像重叠补丁嵌入模块的函数。

5.根据权利要求4所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,所述步骤(4)具体如下:光谱‑空间注意力交互模块包括令牌混合器和光谱混合器;

令牌混合器定义如下:

其中, 为融合的跨模态特征表示; 和 分别代表逐像素卷积和标准3×3卷积;GeLU是高斯误差线性单元;在一个令牌混合器中,重复上述运算两次,以平衡模型的开销与性能; 为光谱全局上下文;

光谱混合器定义如下:

其中, 为深度可分离3×3卷积;在两个连续的  之间设置一个通道增长率

16,以充分建模相邻光谱之间的关系。

6.根据权利要求5所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,令牌混合器中包括光谱‑空间交互注意力和光谱信息瓶颈;首先,光谱‑空间交互注意力定义如下:;

然后,引入全色图像P 的空间先验知识,定义跨模态特征相似性矩阵 :;

其中, 和 分别由  和  重塑得到;其次,更新光谱‑空间交互注意力,公式如下:

其中, 为更新过后的全局上下文,融合来自高光谱图像的光谱信息与全色图像的空间信息; 为归一化后的相似性矩阵;和 是可学习的标量; 和 为均值和标准差; 表示数值稳定性;最后,将光谱‑空间交互注意力演化为多组的形式,定义如下:。

7.根据权利要求6所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,光谱信息瓶颈定义如下:;

其中, 、 、 为全连接层, r为下降率,设置为16。

8.根据权利要求5所述的一种基于跨模态特征注意力交互的全色锐化方法,其特征在于,所述步骤(5)具体如下:将光谱与空间信息高度聚合的融合特征表示 经过一个卷积层,重建并还原维度,生成残差高光谱图像  ,公式如下:

其中, 表示模型参数;

最终,获取融合的高光谱图像 :

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1‑7任一项所述的一种基于跨模态特征注意力交互的全色锐化方法。

10.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1‑7任一项所述的一种基于跨模态特征注意力交互的全色锐化方法。