利索能及
我要发布
收藏
专利号: 202310500566X
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于U‑Net多尺度神经网络的图像压缩感知重建方法,其特征在于,包括如下步骤:S1、编码阶段:将原始高光谱图像编码得到其对应的二维测量值Y;具体包括如下步骤S101至S103:S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号进行编码得到  ,如下式:,

其中, 表示调制后的HSI,  表示光谱通道,⊙表示元素乘法;

H代表输入的三维HSI立方体的高,W代表输入的三维HSI立方体的宽, 代表输入的三维HSI立方体的波长数; ;

S102、然后利用CASSI光学系统中分散器对 沿y轴剪切信号得到 ,如下式:,

其中,(u, v)为定位探测器平面上的坐标系, 为第n个通道的波长, 表示锚定波,为第n个通道在 上的空间移动偏移量;

S103、整合有通道,将 压缩为二维测量值Y,如下式: ,其中 , ,为CASS I光学系统 获取到的 二维测量值 ;

,为传感探测器上成像过程中的二维测量噪声;

S2、解码阶段:包括:S2‑1、构建多尺度神经网络,将原始高光谱图像对应的二维测量值输入至多尺度神经网络中,进行特征提取并融合,得到对应的特征图;

步骤S2‑2、构建注意力机制网络,将特征图输入至注意力机制网络,对特征图提取关注特征并融合,得到最终特征图;

步骤S2‑3、将最终特征图输入至解码器中,获得重建后的高光谱图像。

2.根据权利要求1所述的基于U‑Net多尺度神经网络的图像压缩感知重建方法,其特征在于,步骤S2‑1中,所述多尺度神经网络包括三层:第一层为3个大小为3×3的卷积核,空洞率都为1,2,2,pad补零数为1,2,2,激活函数为ReLU;第二层为3个大小为5×5的卷积核,空洞率都为1,2,2,pad补零数为2,4,4,激活函数为ReLU;第三层为3个大小为7×7的卷积核,空洞率都为1,2,2,pad补零数为3,6,6,激活函数为ReLU。

3.根据权利要求2所述的基于U‑Net多尺度神经网络的图像压缩感知重建方法,其特征在于,步骤S2‑1中,将原始高光谱图像对应的二维测量值输入至多尺度神经网络中,进行特征提取并融合,得到对应的特征图包括如下子步骤:S2‑1.1、将二维测量值Y输入至多尺度神经网络中,获得多尺度特征(F1,F2,F3),然后通过串联操作将三个通道的各种尺度特征融合,得到图像信息M,如下式:,

其中,  表示串联操作,用于将每个卷积通道输出将不同尺度的信道特征图串联,得到多尺度特征信息M;M的通道特征图个数为F1、F2、F3的总和;

S2‑1.2、将M作为第四卷积层的输入,然后经过池化操作获得特征图F,所述第四卷积层为连续的三个3×3卷积核。

4.根据权利要求3所述的基于U‑Net多尺度神经网络的图像压缩感知重建方法,其特征在于,步骤S2‑2中,所述注意力机制网络包括通道注意力模块和空间注意力模块,其中通道注意力模块用于接收步骤S2‑1的特征图计算通道注意映射 ,并生成通道注意力特征图 ,如下式:,

所述空间注意力模块用于接收通道注意力特征图 ,计算 ,并生成最终特征图,如下式:,

其中,表示元素的乘法, 为得到最终特征图。

5.根据权利要求4所述的基于U‑Net多尺度神经网络的图像压缩感知重建方法,其特征在于,步骤S2‑2中,计算通道注意映射 、以及计算空间注意映射 ,包括以下子步骤:S2‑2.1、通过平均池化和最大池化操作聚合特征图F的空间信息,分别生成的平均池化特征  和最大池化特征  ;

S2‑2.2、将平均池化特征  和最大池化特征  同时输入至MLP共享网络中,分别获得对应的向量特征;所述MLP共享网络包含一个MLP层和一个隐层;

S2‑2.3、对向量特征进行元素求和,得到通道注意力映射,如下式:,

其中σ表示sigmoid函数, ,  ;MLP权值 和 对于两个输入为共享, 后面连接ReLU激活函数;

S2‑2.4、对通道注意力模块输出的特征图 进行最大池化和平均池化操作,生成跨通道的平均池化特征: 、跨通道最大池化特征 ;

S2‑2.5、将跨通道的平均池化特征: 、跨通道最大池化特征输入至标准卷积层,获得二维空间注意图,如下式:

其中,σ表示sigmoid函数, 表示滤波大小为7×7的卷积运算。

6.根据权利要求5所述的基于U‑Net多尺度神经网络的图像压缩感知重建方法,其特征在于,步骤S2‑3具体为:在解码器中设置4个卷积层,分别与多尺度神经网络的三层、以及所述第四卷积层一一对应,每个卷积层的结构依次为:反卷积层‑多尺度卷积网络;将得到的最终特征图 输入反卷积层中用于放大特征图,之后再将放大后的特征图输入到多尺度卷积网络中,得到重建后的高光谱图像。