利索能及
我要发布
收藏
专利号: 2022104697705
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于标准化流的图像压缩感知重构方法,其特征在于,包括:获取重构模型,所述重构模型为若干固定重构子网和可变重构子网构成的端到端可逆深度神经网络;

获取待重构图像块的测量值,将所述图像块的测量值与标准正态分布上的随机采样输入到重构模型,利用重构模型的逆操作获得重构完成的图像块;

对重构完成的图像块按顺序重新拼接获得最终的重构图像;

其中所述可变重构子网将图像块的测量值,与可变维度的标准正态分布上的采样值进行合并,对合并结果利用逆操作得到低频成分,实现采样域到低频域的升维;所述固定重构子网利用逆操作,将低频成分与标准正态分布上的采样值结合,实现低频域到高频域的升维,获得重构完成的图像块;

所述方法包括对所述可逆深度神经网络进行训练,在训练阶段,将用于训练的图片进行预处理得到统一规格的图像块x0,将所述图像块x0输入到所述固定重构子网,固定重构子网将图像块x0经过哈尔小波变换初步获得低频系数和高频系数;基于低频系数和高频系数利用至少一个可逆网络块,进一步抽象出图像块x0的低频成分和高频信息;将高频信息的分布去拟合标准正态分布;将低频成分输入到相邻的下一个子网,所述子网为固定重构子网或可变重构子网;

所述可变重构子网对上一子网输出的低频成分进行通道轴的升维,然后利用增强仿射变换获得输出的测量值y*和低频信息,将低频信息的分布去拟合标准正态分布;

根据输出的测量值y*与图像块的原测量值y、高频信息的分布与标准正态分布、低频信息的分布与标准正态分布、原始图像块与重构图像块之间的差异确定重构模型的多特征损失函数,并计算网络训练损失;

利用梯度下降算法,更新卷积神经网络的权值参数;进而得到训练好的重构模型;

重构模型的多特征损失函数表示如下:

Ltotal=λ1Lmeasure+λ2Lrecon+λ3Ldistr ;

其中,Ltotal表示重构模型的网络损失,Lmeasure表示测量值损失,Lrecon表示重构损失,Ldistr表示分布损失,λ1,λ2和λ3分别表示测量值损失、重构损失和分布损失的权重,其数值大小与每一项损失的维度成反比;

测量值损失Lmeasure的计算表达式如下:

其中 是度量输出的测量值y*与图像块的原测量值y之间差异的函数; 表示输入图像块x0利用神经网络fθ输出的测量值;

重构损失Lrecon的计算表达式如下:

其中 是度量原始图像块与重构的第i个图像块xi(i=0,1,...,L‑1)之间差异的函数; 表示根据原测量值y和高频信息和低频信息的集合{zk}k=i+1,...,L获得的重构图像块;

分布损失Ldistr的计算表达式如下:

其中 是度量利用神经网络fθ获得的第i个高频信息zi或者第L个低频信息zL与标准正态分布之间差异的函数。

2.根据权利要求1所述的一种基于标准化流的图像压缩感知重构方法,其特征在于,基于低频系数和高频系数利用至少一个可逆网络块,进一步抽象出图像块x0的低频成分和高频信息,其中可逆网络块采用如下公式:;

其中 和 是可逆网络块的输入, 是可逆网络块抽象出的低频成分, 是可逆网络块抽象出的高频信息; ,ρ(.),η(.)表示三个任意函数;exp(.)表示以自然常数e为底的指数函数, 表示张量乘积运算;

对于第一个可逆网络块, 是经过哈尔小波变换获得低频系数,是经过哈尔小波变换获得高频系数;若可逆网络块的数量多于1个,则对于第2个到第n个可逆网络块, 是前一级可逆网络块抽象出的低频成分,是前一级可逆网络块抽象出的高频信息;

所有可逆网络块最终获得的 就是抽象出的图像块x0的低频成分, 就是抽象出的图像块x0的高频信息。

3.根据权利要求1所述的一种基于标准化流的图像压缩感知重构方法,其特征在于,所述可变重构子网对上一子网输出的低频成分进行通道轴的升维,然后利用增强仿射变换获得输出的测量值y*和低频信息,包括以下步骤:(1)可变重构子网利用squeeze层对上一子网输出的低频成分进行通道轴的升维;

(2)将升维后的结果按照通道维度对半划分为两个张量;

(3)利用至少一个可逆网络块变换对两个张量进一步抽象出低频信息和输出测量值,所述可逆网络块变换采用如下公式:;

其中 和 可逆网络块的输入, 表示进一步抽象出的低频信息, 表示进一步抽象出的测量值, , ,ρ(.),η(.)表示四个任意函数;exp(.)表示以自然常数e为底的指数函数, 表示张量乘积运算;

对于第一个可逆网络块,可逆网络块的输入 和 是获得的两个张量;若可逆网络块的数量多于1个,则对于第2个到第n个可逆网络块, 是前一级可逆网络块抽象出的低频信息, 是前一级可逆网络块抽象出的测量值。

4.根据权利要求3所述的一种基于标准化流的图像压缩感知重构方法,其特征在于,利用squeeze层对上一子网输出的低频成分进行通道轴的升维,具体方法包括:对于高为H,宽为W,通道数为C的原始图片,沿着空间维度分为一个个2×2×C的块,然后将每个块重新构建为为1×1×4C,最后变成了 的维度。

5.一种基于标准化流的图像压缩感知重构系统,其特征在于,包括:重构模块、输入模块和图像块重组模块;

所述重构模块,为若干固定重构子网和可变重构子网构成的端到端可逆深度神经网络,用于根据图像的测量值获得重构完成的图像块,其中所述可变重构子网将图像块的测量值,与可变维度的标准正态分布上的采样值进行合并,对合并结果利用逆操作得到低频成分,实现采样域到低频域的升维;所述固定重构子网利用逆操作,将低频成分与标准正态分布上的采样值结合,实现低频域到高频域的升维,获得重构完成的图像块;

所述输入模块,用于获取待重构图像块的测量值,将所述图像块的测量值与标准正态分布上的随机采样输入到重构模型;

所述图像块重组模块,用于对重构完成的图像块按顺序重新拼接获得最终的重构图像;

所述系统包括对所述可逆深度神经网络进行训练,在训练阶段,将用于训练的图片进行预处理得到统一规格的图像块x0,将所述图像块x0输入到所述固定重构子网,固定重构子网将图像块x0经过哈尔小波变换初步获得低频系数和高频系数;基于低频系数和高频系数利用至少一个可逆网络块,进一步抽象出图像块x0的低频成分和高频信息;将高频信息的分布去拟合标准正态分布;将低频成分输入到相邻的下一个子网,所述子网为固定重构子网或可变重构子网;

所述可变重构子网对上一子网输出的低频成分进行通道轴的升维,然后利用增强仿射变换获得输出的测量值y*和低频信息,将低频信息的分布去拟合标准正态分布;

根据输出的测量值y*与图像块的原测量值y、高频信息的分布与标准正态分布、低频信息的分布与标准正态分布、原始图像块与重构图像块之间的差异确定重构模型的多特征损失函数,并计算网络训练损失;

利用梯度下降算法,更新卷积神经网络的权值参数;进而得到训练好的重构模型;

重构模型的多特征损失函数表示如下:

Ltotal=λ1Lmeasure+λ2Lrecon+λ3Ldistr ;

其中,Ltotal表示重构模型的网络损失,Lmeasure表示测量值损失,Lrecon表示重构损失,Ldistr表示分布损失,λ1,λ2和λ3分别表示测量值损失、重构损失和分布损失的权重,其数值大小与每一项损失的维度成反比;

测量值损失Lmeasure的计算表达式如下:

其中 是度量输出的测量值y*与图像块的原测量值y之间差异的函数; 表示输入图像块x0利用神经网络fθ输出的测量值;

重构损失Lrecon的计算表达式如下:

其中 是度量原始图像块与重构的第i个图像块xi(i=0,1,...,L‑1)之间差异的函数; 表示根据原测量值y和高频信息和低频信息的集合{zk}k=i+1,...,L获得的重构图像块;

分布损失Ldistr的计算表达式如下:

其中 是度量利用神经网络fθ获得的第i个高频信息zi或者第L个低频信息zL与标准正态分布之间差异的函数。