利索能及
我要发布
收藏
专利号: 2020111391305
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于反馈机制的单图像超分辨率重建系统,用于训练图像网络模型,其特征在于,包括:

浅层特征提取模块,用于提取经均值平移分割后的低分辨率图像的浅层特征;所述低分辨率图像中的红绿蓝色域会通过均值平移分割成三层特征通道,分离好的特征通道输入浅层特征提取模块做浅层特征提取并对通过均值平移的三层特征通道用双线性插值算法进行上采样操作;浅层特征提取模块执行的操作的公式包括:其中, 表示输入的低分辨率图片, 表示浅层特征提取函数, 表示浅层特征提取模块;

第一深层特征提取模块,用于从所述浅层特征中提取所述低分辨率图像的深层特征;

所述第一深层特征提取模块包括若干个相互连接的Ghost残差密集模块,每个Ghost残差密集模块均包括若干个密集连接的Ghost Module;所述每个Ghost Module由一个1x1卷积和一个3x3卷积操作组成,用于去除特征映射冗余的通道,再利用卷积操作从保留下来的特征映射中学习舍弃的冗余通道,最后将学习到的特征映射和原有特征映射联结,以达到输入时的通道数;所述Ghost残差密集模块提取特征映射中的边缘和纹理细节的公式包括:其中, 分别表示第一深层特征提取模块中,从第一个GRDB到最后一个GRDB的输出;GRDB为Ghost残差密集模块的缩写;每个Ghost残差密集模块均加入集成了空间和通道注意力机制注意力模块;

第一重建模块,用于对所述第一深层特征提取模块输出的深层特征进行重建,得到第一超分辨率图像,所述第一超分辨率图像用于计算所述图像网络模型的损失函数;其中,所述损失函数的计算公式如下:其中, 为L1损失函数,为图像网络模型的网络参数,T=2为总体迭代次数,为此次迭代, 和 分别表示原始高分辨率图片(训练图像网络模型所用到的图片)和超分辨重建图片;

重建过程首先包括一次转置卷积操作和一层卷积操作,卷积核大小都为3x3,然后将提取到的特征与低分辨率图片利用插值上采样后的结果进行像素点的相加操作,输出为重建后的超分辨率图片;对所述第一深层特征提取模块输出的深层特征进行重建的计算公式如下:其中, 表示输入的低分辨率图片, 表示插值上采样操作, 表示第一深层特征提取模块的输出, 表示图像重建函数, 表示第 次迭代的超分辨率图片输出,取值1或2,第一重建模块取值为1,第二重建模块取值为2;

特征精炼模块,用于将所述浅层特征和所述第一深层特征提取模块提取的深层特征进行级联 和卷积操作,得到精炼特征 ;其中,精炼特征的计算公式如下:其中, 分别表示第一深层特征提取模块迭代中的第m‑b个GRDB到最后一个GRDB的输出, 表示特征精炼函数, 表示特征精炼模块的输出, 表示整数集;

第二深层特征提取模块,用于从所述精炼特征中提取所述低分辨率图像的深层特征;

所述第二深层特征提取模块包括若干个相互连接的Ghost残差密集模块,每个Ghost残差密集模块均包括若干个密集连接的Ghost Module;

第二重建模块,用于对所述第二深层特征提取模块输出的深层特征进行重建,得到第二超分辨率图像,所述第二超分辨率图像用于计算所述图像网络模型的损失函数以及作为所述图像网络模型的超分辨率图像输出;所述第二重建模块包括一次转置卷积操作和一层卷积操作,卷积核大小都为3x3,将提取到的特征与低分辨率图片利用插值上采样后的结果进行像素点的相加操作,输出为重建后的超分辨率图片。

2.根据权利要求1所述的基于反馈机制的单图像超分辨率重建系统,其特征在于:所述特征精炼模块执行2次级联和2次卷积,第一次级联对若干个Ghost残差密集模块输出的深层特征进行联结,并将联结结果输入至第一个卷积层;第二次级联对第一个卷积层的输出结果与所述浅层特征进行联结,并将联结结果输入至第二个卷积层。

3.一种基于反馈机制的单图像超分辨率重建方法,用于训练图像网络模型,其特征在于,包括以下步骤:第一次迭代:

通过卷积操作提取经均值平移分割后的低分辨率图像的浅层特征;

所述低分辨率图像中的红绿蓝色域会通过均值平移分割成三层特征通道,分离好的特征通道输入浅层特征提取模块做浅层特征提取并对通过均值平移的三层特征通道用双线性插值算法进行上采样操作;浅层特征提取模块执行的操作的公式包括:其中, 表示输入的低分辨率图片, 表示浅层特征提取函数, 表示浅层特征提取模块;

从所述浅层特征中提取所述低分辨率图像的深层特征,并将深层特征进行第一次重建,得到第一超分辨率图像,所述第一超分辨率图像用于计算所述图像网络模型的损失函数;第一深层特征提取模块包括若干个相互连接的Ghost残差密集模块,每个Ghost残差密集模块均包括若干个密集连接的Ghost Module;所述每个Ghost Module由一个1x1卷积和一个3x3卷积操作组成,用于去除特征映射冗余的通道,再利用卷积操作从保留下来的特征映射中学习舍弃的冗余通道,最后将学习到的特征映射和原有特征映射联结,以达到输入时的通道数;所述Ghost残差密集模块提取特征映射中的边缘和纹理细节的公式包括:其中, 分别表示第一深层特征提取模块中,从第一个GRDB到最后一个GRDB的输出;GRDB为Ghost残差密集模块的缩写;每个Ghost残差密集模块均加入集成了空间和通道注意力机制注意力模块;

其中,所述损失函数的计算公式如下:

其中, 为L1损失函数,为图像网络模型的网络参数,T=2为总体迭代次数,为此次迭代, 和 分别表示原始高分辨率图片(训练图像网络模型所用到的图片)和超分辨重建图片;

重建过程首先包括一次转置卷积操作和一层卷积操作,卷积核大小都为3x3,然后将提取到的特征与低分辨率图片利用插值上采样后的结果进行像素点的相加操作,输出为重建后的超分辨率图片;对所述第一深层特征提取模块输出的深层特征进行重建的计算公式如下:其中, 表示输入的低分辨率图片, 表示插值上采样操作, 表示第一深层特征提取模块的输出, 表示图像重建函数, 表示第 次迭代的超分辨率图片输出,取值1或2,第一重建模块取值为1,第二重建模块取值为2;

第二次迭代:

将第一次迭代中的深层特征和所述浅层特征进行级联和卷积操作,得到精炼特征;其中,精炼特征的计算公式如下:其中, 分别表示第一深层特征提取模块迭代中的第m‑b个GRDB到最后一个GRDB的输出, 表示特征精炼函数, 表示特征精炼模块的输出, 表示整数集;

从所述精炼特征中提取所述低分辨率图像的深层特征,并将深层特征进行第二次重建,得到第二超分辨率图像,第二超分辨率图像用于计算所述图像网络模型的损失函数以及作为所述图像网络模型的超分辨率图像输出;第二深层特征提取模块包括若干个相互连接的Ghost残差密集模块,每个Ghost残差密集模块均包括若干个密集连接的Ghost Module;所述第二重建模块包括一次转置卷积操作和一层卷积操作,卷积核大小都为3x3,将提取到的特征与低分辨率图片利用插值上采样后的结果进行像素点的相加操作,输出为重建后的超分辨率图片。

4.一种图像网络模型,其特征在于,所述图像网络模型在训练时使用如权利要求1至2任一项所述的基于反馈机制的单图像超分辨率重建系统或使用如权利要求3所述的基于反馈机制的单图像超分辨率重建方法。