利索能及
我要发布
收藏
专利号: 2018104786971
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像超分辨率方法,其特征在于:包括以下步骤,离线的训练阶段的步骤1:在训练阶段,对训练集中的高分辨率图像使用模糊和下采样操作得到低分辨率图像,对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic,对双三次插值图像Ibic先使用如下的公式(1)中的四个高通滤波器的模板进行处理,使得每个像素点上有四个特征值,

在此,表示一个矢量,然后把这些特征值进行叠加,在每个像素点上得到一个四维的矢量,接着,使用主成分分析法(PCA)降维,使得每个像素点上只有一个特征值,由此,得到特征图像ILF,并且利用高分辨率图像减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF,然后对每个训练图像,得到特征图像ILF和IHF分块所组成的图像块的集合中的元素,当对每一幅训练图像都进行如上的操作后将得到第一个训练集其中 是从ILF中提取的图像块,是从IHF中和ILF同样的位置提取出的同样大小的图像块,并且Nt表示训练集中图像块组的数目,在离线阶段,将使用上面的方法得到第一个训练集,并存储起来供在线的放大过程使用;

离线的训练阶段的步骤2:通过和传统基于样例的方法中提取高分辨率块和低分辨率块同样的方法构建训练集合2;此训练集可表示为 其中 表示一个矢量,N2表示训练集合中的图像块组的数目,表示低分辨率图像上提取的第i个图像块,提取时的扫描顺序是从上到下,从左到右,先提取的像素值放在列向量的前面,表示高分辨率图像上和 相对应位置上提取的图像块,由于图像块比较多,本文对此训练集使用K‑均值(K‑means)分类的方法,对训练集进行分类;

在线阶段的步骤1:通过对要放大的图像分块,得到低分辨率要放大的图像块,对每一个要放大的图像块,通过离线阶段步骤1得到的训练集合1选择和此图像块对应的锚点和邻域矩阵,再通过投影矩阵把低分辨率的图像块投影成高分辨率的图像块;然后根据这些高分辨率的图像块得到所要的高分辨率的图像IOR;

在线阶段的步骤2:然后对在线阶段步骤1中的同样的低分辨率的要放大的图像块,通过离线阶段步骤2得到的训练集合2选择和此图像块对应的在流形(manifold)上相近的图像块,再通过求解最优权值的方法得到这些相近块的权值,并使用这些权值对这些相近的图像块进行线性组合得到高分辨率的图像块;然后根据这些图像块得到所要的高分辨率的图像ImidSR;

在线阶段的步骤3:接着把以上得到的高分辨率的图像IOR和高分辨率的图像ImidSR进行融合,得到高分辨率的图像;

在线阶段的步骤4:用迭代反投影法对以上在线过程步骤3得到的高分辨的图像进行修正,得到所求的高分辨率的图像,完成超分辨率处理的过程。

2.如权利要求1中所述的一种图像超分辨率方法,其中的离线的训练阶段的步骤1的特征在于:

在训练阶段,对训练集中的高分辨率图像使用模糊和下采样操作得到低分辨率图像,对低分辨率图像使用双三次插值放大得到双三次插值后的图像Ibic,对双三次插值图像Ibic先使用如下的公式中的四个高通滤波器的模板矢量进行处理,其中 表示 矢量的转置,使得每个像素点上有四个特征值;

然后把这些特征值进行叠加,在每个像素点上得到一个四维的矢量;接着,使用主成分分析法(principle component analysis,PCA)降维,使得每个像素点上只有一个特征值;

由此,得到特征图像ILF,并且利用高分辨率图像HORG减去双三次插值图像Ibic得到与特征图像相对应的高分辨率图像的高频特征图像IHF;然后对每个训练图像,得到特征图像ILF和IHF分块所组成的图像块的集合中的元素;当对每一幅训练图像都进行如上的操作后将得到第一个训练集 其中 是从ILF中提取的图像块,是从IHF中和ILF同一幅图像和同样的位置提取出的同样大小的图像块,并且Nt表示训练集中图像块组的数目;然后,将使用K‑means(K‑均值)方法对这个集合进行分类,每个类的中心即为此类的锚点,并用 来表示。

3.如权利要求1中所述的一种图像超分辨率方法,其中的在线阶段的步骤1的特征在于:

对于输入的要放大的低分辨率图像I′L,使用权利要求2中的操作,即先双三次放大得到图像I′bic,然后用下式中的四个高通滤波器的模板矢量进行处理,使得每个像素点上有四个特征值;然后把这些特征值进行叠加,在每个像素点上得到一个四维的矢量;接着,使用主成分分析法(principle component analysis,PCA)降维,使得每个像素点上只有一个特征值;由此,得到特征图像I′LF;再把图像I′LF分块操作;

对于由I′LF图像分块得到的图像块 先选择第一个训练集合中和其距离最近的锚点并确定此图像块的邻域矩阵Nl和Nh,其中,邻域矩阵Nl由在训练集合1中 与距离最相近的nc个块组成,邻域矩阵Nh由这nc个块在训练集合 中所对应的块组成,即若 为矩阵Nl中的第k列,则 为矩阵Nh中的第k列,接着利用式计算出高分辨率的图像上的块

如果对图像I′LF上的所有的块都计算完所对应的高分辨率图像上的块,则获得了一个高分辨率的图像I′HF,该图像上的块与块重叠的部分用取平均值来确定其像素值,高分辨率图像I′HF加上以上所述的双三次插值图像I′bic就可以得到输出的高分辨率图像IOR。

4.如权利要求1中所述的一种图像超分辨率方法,其中的在线阶段的步骤2的特征在于:

对高分辨率图像IOR分块后的每一个图像块 在其对应的位置可以找到要放大的输入低分辨率图像上的图像块 先在高分辨率训练集中找到和 最相似的类,再从找到的那一类中找到和 最相似的高分辨率图像块,并找到这些高分辨率图像块在训练集2中所对应的低分辨率图像块,并使用最优的权重系数 来重建相关的高分辨率图像块 即有其中, 即,对权值向量 进行归一化可以得到 其中 此向量 的所有元素为1,共有m个元素,m为矢量 的维数,利用符号 表示低分辨率训练集中与低分辨率图像块 最相似的第k个图像块,为 与其相似块的欧式距离按从小到大的顺序所组成的向量,矩阵 为对角矩阵,除对角线的元素外,所有元素为0,同时其第i行和第i列的元素为矢量 中第i个元素,即D(i,i)=d(i), 集合表示这些图像块在第二个训练集中的位置索引所组成的集合,以上的权值向量 可以用如下公式求得其中τ为一平衡因子,同时矩阵 矩阵 C的每列 为以上所有矢量 中的第i项;

得到高分辨率图像块 以后,用 替代前面的高分辨率图像块 继续在高分辨率训练集中查找相似的高分辨率图像块,使用前面的公式重建相关的高分辨率图像块 按照这样多次迭代的方法来逐步更新得到最终的高分辨率图像块,组合所有的高分辨率图像块,并对高分辨率块与块之间的重叠部分取平均值就得到所要的高分辨率图像ImidSR。

5.如权利要求1中所述的一种图像超分辨率方法,其中的在线阶段的步骤3的特征在于:

把在线的步骤1和步骤2得到的高分辨率的图像IOR和高分辨率的图像ImidSR进行融合,得到高分辨率的图像;利用前面的在线的步骤1和步骤2可以分别得到两幅高分辨率图像IOR和ImidSR,本发明对这两幅图像利用以下的公式Yt=0.6*IOR+0.4*ImidSR进行融合得到一个高分辨率图像Yt。