利索能及
我要发布
收藏
专利号: 2022114694582
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于,包括以下步骤:S1,将原始的RGB图像X经由多尺度处理模块处理,输出特征图Y'i;

S2,将特征图Y'i与原始的RGB图像X自身在光谱通道维度相加堆叠,得到带有多尺度预处理信息的特征图像F;

S3,将带有多尺度预处理信息的特征图像F依次通过3个空间‑光谱Transformer联合处理模块,对空间‑光谱维度联合处理,处理得到带有空间‑光谱特征信息的特征图像;

S4,将S3处理得到特征图像单独通过一个光谱维度Transformer处理,得到经过Transformer充分提取光谱维度特征信息的特征图像;

S5,将经过Transformer充分提取光谱维度特征信息的特征图像通过一个3×3的卷积层将通道维度调整到目标31通道输出,最终得到高光谱图像。

2.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于,S1中处理得到特征图Y'i的步骤为:S11,将原始RGB图像复制3份,然后分别以8倍、4倍和2倍的下采样率分别进行下采样处理;

S12,下采样过后,经过一个带有3×3卷积核的卷积层来对下采样后的特征图像进行卷积操作;除了第一层,其他每一层紧接卷积操作后都与上一层的结果进行相加融合,如下式所示:r

其中Down (·)表示向下采样操作,r为下采样率,Conv(·)表示卷积核大小为3×3的二维卷积操作, 符号代表通道数堆叠操作;多尺度处理模块中的所有卷积操作均使用LeakyReLU激活函数; 代表第i层的中间过程输出,其中i∈(1,2,3);

S13,将S12得到Yi输入到光谱Transformer模块中,捕获光谱通道间的上下文信息,并得到Y'i;如下式所示:其中, 代表第i层的中间过程输出, 代表第i层的最终结果,r

Up (·)表示向上采样操作,r为上采样率,Conv(·)表示卷积核大小为1×1的二维卷积操作,Transpe(·)代表光谱维度的Transformer处理。

3.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于,S2中,得到带有多尺度预处理信息的特征图像F的步骤为:S21,用一个3×3的卷积层将原始的RGB图像调整为和特征图Y'i相同的空间尺寸(rh'3×rw'3),输出结果为S22,在光谱维度上对特征图Y'i和原始的RGB图像进行堆叠处理,即c0+c1,其中最终得到带有多尺度预处理信息的特征图像

4.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于,S3中,特征图像在每个空间‑光谱Transformer联合处理模块中,依次经过空间Transformer处理和光谱Transformer处理。

5.根据权利要求4所述的一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于,特征图像在每个空间‑光谱Transformer联合处理模块中的处理步骤为:S31,空间Transformer处理:

c×h×w

1)该层的输入设为特征图像F∈R ,特征图像F被平均的切分为窗口大小为m的小窗i c×m×m口,分块操作得到特征图像F∈R 进行展平和转置操作得到 然后,对得到的一维特征图进行自注意力处理;具体如下公式:

1 2 N 2

F={F ,F ,…,F},N=hw/m

i i Q i K i V

A=Attention(FW ,FW ,FW),i=1,…,NQ K V c×c

其中W ,W 和W ∈R 分别代表Q,K, 的投影矩阵,是一个可学习的参数, 为每个窗口最终的输出结果;其中Attention(·)操作在实现自注意力计算的同时加入了相对位置编码,具体如下式:(2m‑1)×(2m‑1)

其中,B是相对位置偏置,它是一个形状为R 的可学习参数;

2)然后通过一个简单的多层感知机来整合自注意力计算的结果 并在整个过程中通过跳跃连接来降低训练难度,计算过程可如下式:Fout=MLP(LN(F′))+F′

其中F'和Fout分别为Spa和MLP的处理结果,同时,Fout代表空间Transformer处理的最终结果,LN(·)符号代表层归一化;

S32,经过空间Transformer处理的特征图结果紧接着输入到光谱Transformer处理块中;

c×h×w hw×c hw×c

1)设输入的特征图为H∈R ,首先将特征图H展平转置为H∈R ,然后将H∈R 经Q K V c×c hw×c由W,W和W∈R 线性投影到Q,K,V∈R ;自注意力计算过程如下式:T

Attention(Q,K,V)=SoftMax(σKQ)V1

其中σ∈R是一个可学习的参数;

2)随后,再对自注意力的结果Attention(Q,K,V)进行线性投影并添加相对位置编码,具体过程由下式给出:Spe(H)=Attention(Q,K,V)W+φ(V)c×c

其中,W∈R 是一个可学习的参数,φ(·)符号代表相对位置编码,它包含两个3×3的卷积层和一个GELU激活函数;

3)然后通过一个前馈网络来整合上述公式处理得到的权重矩阵,并在整个过程中通过跳跃连接来降低训练难度,Transpe(·)的计算过程可以由下式表示:H′=Spe(LN(H))+H

Hout=FFN(LN(H′))+H′

其中H'和Hout分别为Spe和FFN的处理结果,同时,Hout代表光谱Transformer处理的最终结果,LN(·)符号代表层归一化。

6.根据权利要求5所述的一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于所述前馈网络依次由1×1的卷积层、GELU激活函数、3×3的卷积层、GELU激活函数和1×1的卷积层组成。

7.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法,其特征在于,S5中,获取高光谱图像的步骤为:S51,设置一个输入为32,输出为31的卷积层,卷积核尺寸为3×3,步长和填充大小设置为1;

S52,将S4得到的经过Transformer充分提取光谱维度特征信息的特征图像输入到卷积层中并通过LeakyRelu激活函数,得到通道数为31且空间分辨率与输入的RGB图片相同的高光谱图片。

8.一种多尺度从RGB图像重建对应的高光谱图像的系统,其特征在与,包括:多尺度处理单元、维度叠加单元、空间‑光谱Transformer联合处理单元、光谱维度Transformer处理单元和高光谱图像输出单元;

多尺度处理单元,用于将原始的RGB图像X经由多尺度处理模块处理,输出特征图Y'i;

维度叠加单元,用于将特征图Y'i与原始的RGB图像X自身在光谱通道维度相加堆叠,得到带有多尺度预处理信息的特征图像F;

空间‑光谱Transformer联合处理单元,用于将带有多尺度预处理信息的特征图像F依次通过3个空间‑光谱Transformer联合处理模块,对空间‑光谱维度联合处理,处理得到带有空间‑光谱特征信息的特征图像;

光谱维度Transformer处理单元,用于将S3处理得到特征图像单独通过一个光谱维度Transformer处理,得到经过Transformer充分提取光谱维度特征信息的特征图像;

高光谱图像输出单元,用于将经过Transformer充分提取光谱维度特征信息的特征图像通过一个3×3的卷积层将通道维度调整到目标31通道输出,最终得到高光谱图像。

9.一种计算机存储介质,存储有可读程序,其特征在于,当程序运行时,执行权利要求

1‑7任一项所述的算法。

10.一种设备,其特征在于,包括:一个或多个处理器、用于存储一个或多个程序的存储器;

当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1‑7中任一项所述算法。