利索能及
我要发布
收藏
专利号: 2022108614345
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于学习采样和卷积神经网络的压缩感知重构方法,其特征在于,所述方法包括以下步骤:

1)在图像预处理阶段中的操作如下:将所要重建的图像x0重新构造成为1024×1024大小的图像矩阵x1,并记录下图像原始尺寸信息;再对该矩阵进行分割,划分为标准化的图像矩阵块,记为 i∈[1,n],同时记录下位置信息,n为图像按指定大小分割后的图像矩阵块总个数;

2)在采样阶段中采用学习采样代替传统的固定观测矩阵采样,用学习得到的卷积核conv1对输入图像矩阵块 进行矩阵稀疏操作,得到采样信号y0,然后采用卷积核conv2对采样信号y0进行初始重构操作,得到信号y1,最后经过重组和拼接得到图像矩阵采样信号,记为y2;

3)将图像采样输出信号y2输入到训练好的CombNet网络中,CombNet网络由全连接层和卷积层构成,在通过1个全连接层和10个卷积层后,该网络在最后重构出输入图像矩阵块,记为

4)在得到该张图像的所有图像矩阵块后,通过位置信息,将 组合为原始图像的重构图,i∈[1,n],记为x′1;

5)在小波去噪阶段的操作如下:将得到的原始图像的重构图x′1经过一级小波变换DWT后分解得到1个低频信号和3个高频信号,其中将低频信号保留不变,而分别对高频分量进行去噪,去噪的具体的操作是通过第一个卷积层、非线性变换层ReLU以及第二个卷积层,将三个经过去噪处理的高频分量和未经处理的低频分量经过小波逆变换IDWT得到去噪后的原始图像重构图x″1,

6)最后根据原始图像尺寸信息重建出原始图像x″0,即可实现图像通过神经网络压缩重构的方法;

所述步骤3)中,图像重构过程如下:将图像采样输出信号y2先输入到全连接层中,其中信号y2的维度为n×1,全连接层与1024个神经元一一连接,之后经过10个卷积层,以获得最后的32×32重构图像矩阵块 这些卷积层的结构如下:第一层和第二层使用1×1大小的卷积核,输出分别为128个和64个特征矩阵;第三层使用了9×9大小的卷积核,输出为64个特征矩阵,第四层使用了7×7大小的卷积核,输出为32个特征矩阵;第五层和第六层分别使用了3×3和1×1大小的卷积核,输出为16个特征矩阵;第七、八、九层分别使用3×3、5×5、3×3大小的卷积核,输出均为1个特征矩阵;第十层使用了3×3大小的卷积核,输出了图像重建块 其中在每经过一个卷积层后需要通过一个非线性变换层ReLU,在网络训练时的损失函数用以下公式表示:m:训练集中总的图像块个数;

yi:图像块中低分辨率的重构图像;

xi:图像块中高分辨率的原始图像;

网络的训练同样采用随机梯度下降SGD训练算法,卷积操作用如下公式表达:Wi:表示第i层卷积核的权值向量;

表示内积操作;

bi:表示第i层的偏移向量;

f(x):表示非线性激励函数;

Hi:表示第i层的特征图向量表征。

2.如权利要求1所述的一种基于学习采样和卷积神经网络的压缩感知重构方法,其特征在于,所述步骤1)的处理过程如下:对要重建的图像x0记录下长宽像素点个数后使用双线性插值法重新构造图像大小,双线性插值法公式如下:x:要进行插值操作的像素点x坐标;

y:要进行插值操作的像素点y坐标;

x1:周围左边两个像素点的x坐标;

x2:周围右边两个像素点的x坐标;

y1:周围上边两个像素点的y坐标;

y2:周围下边两个像素点的y坐标;

Q11:周围左上方像素点的像素值;

Q12:周围右上方像素点的像素值;

Q21:周围左下方像素点的像素值;

Q22:周围右下方像素点的像素值;

再对1024×1024的图像x1按照32×32大小的图像块从左到右,从上到下地进行分割,共分成1024块,即n=1024,得到 i∈[1,1024],并按照该图像块是在原始图像中的第几块图像块进行位置信息记录,用于后续的图像重建。

3.如权利要求1或2所述的一种基于学习采样和卷积神经网络的压缩感知重构方法,其特征在于,所述步骤2)中,学习采样过程如下:设计卷积核conv1,大小为32×32,步长取32,个数为n,对 进行卷积采样操作后得到的采样输出为y0,然后通过卷积核conv2以及重组拼接操作后得到采样信号y2,conv2卷积核个数为1024个,大小为1×1,步长为1,这两层卷积层均可以实现端到端的学习,采用的是随机梯度下降SGD训练算法,该采样过程由如下公式表示:为卷积核conv1卷积采

样操作映射;

为卷积核conv2卷积和重组拼接操作映射;

其中n的大小根据采样率来设定,有如下公式:

Sr=n/1024    (5)

Sr:为压缩感知设定采样率。

4.如权利要求1或2所述的一种基于学习采样和卷积神经网络的压缩感知重构方法,其特征在于,所述步骤4)中,关于图像矩阵块的组合操作可采用如下表述:利用之前步骤记录下来的图像位置信息,将重建得到的图像矩阵块 按顺序排列起来,i∈[1,n],组成一幅完整的1024×1024图片x′1。

5.如权利要求1或2所述的一种基于学习采样和卷积神经网络的压缩感知重构方法,其特征在于,所述步骤5)中,对于图像的小波变化去噪操作可进行如下表述:将得到的图片x′1按幂级数进行离散小波变换DWT,首先对图像的每一行进行小波变换,获得图像在水平方向上的低频分量L和高频分量H,然后对变换所得数据的每一列进行小波变换,获得原始图像在水平和垂直方向上的低频分量LL、水平高频分量LH、垂直高频分量HL和对角高频分量HH;之后保持一个低频分量不变,对三个高频分量去噪,具体操作为使高频信号依次通过一个包含32个3×2×1的卷积核的卷积层,一个非线性变换层和另一个包含1个3×3×32的卷积核的卷积层,最后再将低频分量和处理过后的三个高频分量进行小波逆变换得到重构图像x″1;

相应的小波变换重构过程描述为:首先对变换结果的每一列进行离散小波逆变换,再对变换所得数据的每一行进行一维离散小波逆变换,即可获得重构图像;

小波变换的步骤如下:

5.1.将小波w(t)和原函数f(t)的开始部分进行比较,并计算该部分函数与小波的相似程度;

5.2.把小波向右移k单位,得到小波w(t‑k),重复5.1,重复该步骤直至函数f结束;

5.3.扩展小波w(t),得到小波w(t/2),重复步骤5.1,5.2;

5.4.不断扩展小波,重复5.1,5.2,5.3;

DWT离散小波变换的实现由以下公式表达:

x(m,n):原图像的小波基变换尺度分量;

x(t):原图像时域特征量;

ψ(t):小波基变换函数。