1.一种基于深度学习的轻量级图像超分辨率重建方法,其特征在于包括以下步骤:
(1)获取训练数据集:从公共数据库中获取原始高分辨率图像,对这些高分辨率图像进行下采样,得到对应的低分辨图像,将这些一一对应的由高、低分辨率图像对组成的集合作为训练数据集;
(2)扩充训练数据集:对步骤(1)得到的训练数据集进行随机裁剪,并采用随机旋转和翻转的数据增量方式扩充训练数据集;
(3)构建多尺度特征挑选网络:该网络由卷积层1、卷积层2、卷积层3,N个多尺度特征挑选模块MFSB,像素重组层,以及逐像素相加操作构成;该网络的输入图像经卷积层1后得到中间特征图X0,X0依次经过N个MFSB模块,即MFSB1,MFSB2,…,MFSBN,分别得到中间特征图X1,X2,…,XN;将XN作为卷积层2的输入,得到的结果与中间特征图X0逐像素相加,得到中间特征图XF;XF依次经过卷积层3和像素重组层后,得到输出的超分辨率图像,完成多尺度特征挑选网络的构建;
该步骤中的多尺度特征挑选模块MFSBi,其输入为中间特征图Xi‑1,其中i为正整数,且i∈{1,2,…,N},Xi‑1经卷积层4进行维度调整后,得到中间特征图XA;将XA输入到切分层1中进行切分,得到四个子特征图 和 将子特征图 输入到宽激活残差单元1后得到中间特征图 将子特征图 与中间特征图 输入到多尺度特征融合模块MFFM1,得到中间特征图U1,将U1输入到宽激活残差单元2,得到中间特征图 将子特征图 与中间特征图 一起输入到多尺度特征融合模块MFFM2,得到中间特征图U2,将U2输入到宽激活残差单元3,得到中间特征图 子特征图 不经任何变换得到中间特征图 即与 相等;将得到的中间特征图 和 拼接后,输入到卷积层5,得到中间
特征图XR;XR与输入的中间特征图Xi‑1逐像素相加,得到MFSBi的输出Xi;
所述多尺度特征融合模块MFFMi具有相同的结构,其中i=1,2;MFFMi模块以子特征图与中间特征图 作为输入;将 和 逐像素相加,得到中间特征图M,将M作为综合通道注意力模块的输入,得到通道权重z;将z输入到切分层2中,生成两个不同的子通道权重z1和z2;将z1和输入的子特征图 逐像素相乘,得到中间特征图F1;将z2和输入的中间特征图 逐像素相乘,得到中间特征图F2;将中间特征图F1和F2逐像素相加,得到MFFMi模块的输出Ui;
所述综合通道注意力模块以中间特征图M作为输入,依次经过全局平均池化层、全连接层、ReLU层、一维卷积层和Softmax层后,得到通道权重z;
(4)构建损失函数:
构建如下损失函数L:
(t)
其中,B为批量的大小,B为正整数且B∈[1,64],x 表示由多尺度特征挑选网络得到的(t)第t幅超分辨率图像,y 表示第t幅原始高分辨率图像,||·||1表示l1范数;
(5)训练模型:将步骤(2)得到的扩充训练数据集输入到步骤(3)构建的多尺度特征挑选网络中,并以步骤(4)构建的损失函数作为优化目标进行训练,使用Adam优化器更新模型参数,直到损失不再下降,得到训练好的图像超分辨率重建模型;
(6)图像超分辨率重建:用步骤(5)中训练好的图像超分辨率重建模型对测试集中的低分辨率图像进行超分辨率重建,得到超分辨率图像。
2.如权利要求1所述的一种基于深度学习的轻量级图像超分辨率重建方法,其特征在于,所述步骤(3)中的宽激活残差单元1、2、3具有相同的结构,都由卷积层6、ReLU层、卷积层
7和逐像素相加操作构成;宽激活残差单元的输入特征图依次经过卷积层6、ReLU层和卷积层7后,得到的结果与输入特征图逐像素相加,得到宽激活残差单元的输出。
3.如权利要求1所述的一种基于深度学习的轻量级图像超分辨率重建方法,其特征在于,所述步骤(3)中的N为正整数,且N∈[1,50]。