1.一种基于反投影注意力网络的图像超分辨率重建方法,其特征在于,包括以下步骤:(1)利用图像退化模型建立数据集;
(2)构建多尺度特征融合反投影注意力网络,所述多尺度特征融合反投影注意力网络包括图像特征提取模块、图像特征映射模块、全局注意力模块和图像重建模块;
(3)训练多尺度特征融合反投影注意力网络并调整参数;
(4)将待重建的图像输入训练好的多尺度特征融合反投影注意力网络得到重建后的图像;
所述步骤(2)包括以下步骤:
LR
(21)图像特征提取:使用不同尺度的卷积核在三条支路中分别对输入图像I 进行卷积操作提取图像初始特征,然后级联初始特征图并设置1×1卷积层进行数据降维和多样化特0
征跨通道融合,得到浅层LR特征图L:
其中,f1×1、f3×3和f5×5分别表示 和 n0为初始特征提取阶段的通道数,f0表示conv(1,n),n是多尺度投影单元的输入通道数,f0将总通道数3*n0降为n;
0 g
(22)图像特征映射:将初始LR特征L流入反馈模块产生HR特征图H:其中,G表示多尺度投影组的数量即递归次数, 表示在第g次递归中多尺度投影组的0
特征映射过程;当g等于1,表示将初始特征图L 作为第一个多尺度投影组的输入,当g大于g‑1
1,表示将由前一个多尺度投影组产生的LR特征图L 作为当前输入;
1 2 g
(23)全局注意力模块:将所有特征映射阶段的输出结果H ,H ,…,H 进行特征级联得到
1 2 g c
特征图X=[H ,H ,…,H],然后进行全局池化操作,逐通道进行分析Z∈R ,Z的第c个元素可以定义为:其中,Hc(i,j)代表在第c个特征图(i,j)处的特征值xc,HGP(x)表示全局池化操作;全局池化得到zc描述了第c个通道的特征图的全局信息,同时也将第c通道的特征信息映射为一个数值;利用门控函数计算每个通道特征应该分配多少注意力,门控函被定义:其中,f(·)和δ(·)分别表示sigmoid门控单元和ReLU激活函数;WD是卷积层的权重矩阵,卷积层将输入的特征图的维度进行下采样,采样比率为r,用ReLU函数激活;WU表示上采样卷积层的权重矩阵,采样比率同样是r,同时该卷积层的激活函数使用sigmoid函数,从而得到注意力分配比率;被分配注意力资源的特征图通过下式计算得到:H′=sc·Hc
其中,sc和Hc分别表示第c通道的特征的注意力分配比率和第c通道的特征图,H′表示被分配注意力资源的特征图;
(24)利用插值算法对图像重建:将多个HR特征图的深度级联进行重建得到残差图像;
Res 1′ 2′ g′
I =fRM([H ,H ,…,H ])
1 2 g Res
其中,[H ,H ,…,H ]表示多个HR特征图的深度级联,fRM表示重建模块的操作,I 为残Res SR差图像;将插值LR图像经计算后与重建的残差图像I 相加得到最终的重建图像I :SR Res LR
I =I +fUS(I )
其中,fUS表示插值上采样操作。
2.根据权利要求1所述的基于反投影注意力网络的图像超分辨率重建方法,其特征在于,所述步骤(1)实现给过程如下:给定ILR表示LR图像集,IHR表示相应的HR图像集,将退化过程表示为:ILR=D(IHR;δ)
对从HR图像生成LR图像的退化映射建模,并将退化建模为单个下采样操作:其中,↓s表示放大倍数s进行下采样操作。
3.根据权利要求1所述基于反投影注意力网络的图像超分辨率重建方法,其特征在于,步骤(3)所述的训练多尺度特征融合反投影注意力网络的损失函数为:其中,x为权值参数和偏置参数的集合,i表示整个训练过程中多次迭代训练的序列号。
4.根据权利要求1所述的基于反投影注意力网络的图像超分辨率重建方法,其特征在于,步骤(24)所述的插值算法为双线性插值算法或双三次插值算法。