利索能及
我要发布
收藏
专利号: 2023113648990
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于自注意力的掩码不确定性高光谱图像重建方法,其特征在于,具体包括如下步骤:步骤1:利用CASSI光学系统压缩采样,得到二维测量值Y;

步骤2:利用掩码不确定性的自调优网络自动捕获不同掩码空间结构间的不确定性,从而得到调优掩码m';

步骤3:将二维测量值和调优掩码输入到transformer的残差重建网络中,得到最终的高光图谱。

2.根据权利要求1所述的基于自注意力的掩码不确定性高光谱图像重建方法,其特征*在于,所述步骤1具体为:在CASSI光学系统中,采用二维编码孔径M对预设的三维立方体F(:,:,nλ)进行编码得到F'(:,:,nλ),通过分散器沿y轴剪切信号F'(:,:,nλ),从而得到二维测量量Y:其中,(u,v)为定位探测器平面坐标系上的坐标,nλ表示第nλ个光谱通道,Nλ表示光谱通道的总个数,G为传感探测器上成像过程中的二维测量噪声;F”(u,v,nλ)的表达式为:F'(:,:,nλ)=F'(x,y+d(λn‑λc),nλ),其中,d表示空间位移的步长,λc为参考波长,λn为第n个通道的波长,x,y表示三维立方体中的横坐标为x纵坐标为y的点;F'(:,:,nλ)的表达式为F'*(:,:,nλ)=F(:,:,nλ)⊙M,⊙表示逐元素相乘。

3.根据权利要求1所述的基于自注意力的掩码不确定性高光谱图像重建方法,其特征在于,所述步骤2具体为:步骤2.1:所述自调优网络qφ(m)为围绕给定掩码m的高斯分布:qφ(m)=N(m,gφ(m))

其中,gφ(m)是深度网络:

gφ(m)=δ(Conv(A))

其中Conv(.)为卷积操作,δ(.)是SoftPlus函数,A为掩码m的注意力图,A的表达式为:A=t⊙(LT(t)+1)

其中,t表示真实掩码m的特征图,LT(.)表示LeWin Transforme网络,⊙表示逐元素相乘;

步骤2.2:将掩码m输入至自调优网络qφ(m),qφ(m)对m和gφ(m)的输出进行高斯分布,得到调优掩码m':m'=m+gφ(m)⊙ε

其中,ε~N(0,1)表示随机分布。

4.根据权利要求1所述的基于自注意力的掩码不确定性高光谱图像重建方法,其特征在于,所述步骤3中的transformer的残差重建网络包括按顺序依次连接的伪逆投影模块、Transformer残差块和输出投影模块。

5.根据权利要求4所述的基于自注意力的掩码不确定性高光谱图像重建方法,其特征在于,所述伪逆投影模块的输出Z的表达式为:Z=Conv3×3(M'⊙shift(Y))

其中,M'表示调优掩码m'沿着通道维度扩充后的矢量化形式,shift(.)表示尺寸转换操作,Conv3×3(.)表示3×3的卷积。

6.根据权利要求4所述的基于自注意力的掩码不确定性高光谱图像重建方法,其特征在于,所述Transformer残差块包括Lewin Transformer模块和残差块;将伪逆投影模块的输出Z输入到Lewin Transformer模块中得到输出Z”:Z″=LeFF(LN(Z′))+Z′

其中,LN(·)是层归一化操作,LeFF(.)为局部增强前馈网络,Z'的表达式为:Z′=W‑MSA(LN(Z))+Z

其中,W‑MSA(.)表示非重叠的局部窗口多头注意力模块,表达式如下所示:W‑MSA(Q,K,V)={Atten1,Atten2,...,AttenH}其中,Atteni是第i个自注意力模块,H表示自注意力模块的总个数,Atteni的表达式为:其中,B为位置编码矩阵,d表示窗口中的查询维数,T为转置,SoftMax(.)表示SoftMax函数,矩阵Q,K,V的表达式如下所示:Q=RPq,K=RPk,V=RPv

其中,R表示窗口特征,Pq,Pk和Pv表示投影矩阵;

将Transformer残差块输出的Z”输入到残差块,得到输出其中,ReLU(·)表示激活函数。

7.根据权利要求4所述的基于自注意力的掩码不确定性高光谱图像重建方法,其特征在于,输出投影通过卷积操作调整输出特征的通道数,将特征图输入到输出投影中,得到最终的重建高光谱图像HSI。