利索能及
我要发布
收藏
专利号: 202010682515X
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度反馈网络的图像超分辨率重建方法,其特征在于,包括如下步骤:步骤一、利用图像退化模型建立图像数据集;

步骤二、构建多尺度反馈网络,所述多尺度反馈网络包括图像特征提取模块、图像特征映射模块和高分辨率图像计算模块;

步骤2.1、图像特征提取;

0

把网络输入的低分辨率图像ILR输入特征提取模块f0产生初始低分辨率特征图L;

0

L=0(ILR)

令conv(f,n)表示卷积层,f为卷积核大小,n为通道数;上式中f0由2个卷积层conv(3,n0)和conv(1,n)组成,n0表示初始低分辨率特征提取层的通道数,n表示特征映射模块中的0

输入通道数;先利用conv(3,n0)从输入中产生带有低分辨率图像信息的浅层特征L ,再利用conv(1,n)将通道数从n0降为n;

步骤2.2、图像特征映射;

用多尺度上投影单元和多尺度下投影单元构成组成投影组递归实现低分辨率和高分g‑1辨率的特征映射,得到不同深度的高分辨率特征图;低分辨率特征图L 输入递归反馈模块g产生高分辨率特征图H:

其中,G表示多尺度投影组的数量即递归次数; 表示在第g次递归中多尺度投影组的0

特征映射过程;当g等于1,表示将初始特征图L 作为第一个多尺度投影组的输入,当g大于g‑1

1,表示将由前一个多尺度投影组产生的LR特征图L 作为当前输入; 操作包括把LR特征映射为HR特征和把HR特征映射为LR特征两个操作;

把LR特征映射为HR特征过程如下:g‑1

(1):将前一次循环计算的LR特征图L 作为输入,分别使用核大小不同的反卷积 和在两条支路上执行上采样操作,得到两个HR特征图 和和 分别表示Deconv1(k1,n)和Deconv2(k2,n),k1和k2表示反卷积核的大小,n表示通道数;

(2):将HR特征图 和 级联,分别使用核大小不同的卷积 和 在两条支路上执行下采样操作并生成两个LR特征图 和和 分别表示Conv1(k1,2n)和Conv2(k2,2n),每条支路的通道数由n变成2n;

(3):将LR特征图 和 级联,使用1×1卷积进行池化和降维操作, 和 映射为一个LR特征图Cu表示Conv(1,n),每条支路的通道数由2n变成n;并且所有的1×1卷积在前一层的学习表示上添加了非线性激励;

g‑1

(4):计算输入的LR特征图L 和重建的LR特征图 之间的残差(5):利用不同核大小的反卷积 和 分别对残差 进行上采样操作,LR特征中的残差被映射到HR特征中,从而生成新的HR残差特征 和和 分别表示反卷积层Deconv1(k1,n)和Deconv2(k2,n),每条支路的通道数依然为n;

(6):将残差HR特征 和 级联,并与步骤(2)中级联的HR特征叠加,通过1×1卷积输g出上投影单元最终的HR特征图H;

Ch表示Conv(1,n),相加后总通道数为2n,通过Conv(1,n)将输出通道数降低为n,与输入通道数保持一致;

把HR特征映射为LR特征过程如下:g

(1):将前一次循环的多尺度上投影单元输出的HR特征图H 作为输入,分别使用核大小不同的卷积 和 在两条支路上执行下采样操作,得到两个LR特征图 和和 分别表示Conv1(k1,n)和Conv2(k2,n);

(2):将LR特征图 和 级联,分别使用核大小不同的反卷积 和 在两条支路上执行上采样操作并生成两个HR特征图 和和 分别表示Deconv1(k1,2n)和Deconv2(k2,2n),每条支路的通道数由n变成2n;

步骤(3):将HR特征图 和 级联,并通过1×1卷积获得HR特征图Cd表示Conv(1,n),每条支路的通道数由2n变成n;

g

步骤(4):计算输入的HR特征图H和重建的HR特征图 之间的残差步骤(5):利用不同核大小的卷积 和 分别对残差 进行下采样操作,HR特征中的残差被映射到LR特征中,从而生成新的LR残差特征 和和 分别表示卷积层Conv1(k1,n)和Conv2(k2,n),每条支路的通道数依然为n;

(6):将残差LR特征 和 级联,并与步骤(2)中级联的LR特征叠加,通过1×1卷积输g出下投影单元最终的LR特征图L;

Cl表示Conv(1,n),相加后总通道数为2n,通过Conv(1,n)将输出通道数减少为n,与输入通道数保持一致;

步骤2.3、计算高分辨率图像;

将多个高分辨率特征图深度级联用下式计算残差图像;

Res 1 2 g

l =fRM([H ,H ,…,H])

1 2 g Res

其中,[H ,H ,…,H]表示多个高分辨率特征图的深度级联,fRM表示conv(3,3)操作,I为残差图像;

Res SR

将低分辨率图像插值后得到的图像与残差图像I 相加生成重建的高分辨率图像I ;

SR Res

I =I +fUS(ILR)

其中,fUS表示插值操作;

步骤三、训练多尺度反馈网络;

步骤四、图像重建;

将待处理的低分辨率图像输入到训练好的网络中得到输出的高分辨率图像。

2.根据权利要求1所述基于多尺度反馈网络的图像超分辨率重建方法,其特征在于:所述步骤一中利用图像退化模型建立数据集的过程为,给定ILR表示低分辨率图像,IHR表示相应的高分辨率图像,将退化过程表示为:ILR=D(IHR;δ)

对从高分辨率图像生成低分辨率图像的退化映射建模,并将退化建模为单个下采样操作:其中↓s表示放大倍数s进行下采样操作,δ为比例因子。

3.根据权利要求1所述基于多尺度反馈网络的图像超分辨率重建方法,其特征在于:插值算法为双线性插值算法或双三次插值算法。

4.根据权利要求1所述基于多尺度反馈网络的图像超分辨率重建方法,其特征在于:所述步骤三中训练多尺度反馈网络的损失函数为:其中,x为权值参数和偏置参数的集合,i表示整个训练过程中迭代训练的序列号,m表示训练图像的数量。