欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2019103548523
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种单一图像超分辨率方法,其特征在于,所述方法利用可逆网络构建进行超分辨率的网络模型,然后将低分辨率图像输入到网络模型的一端生成超分辨率重建图像,将高分辨率图像输入到网络模型的另一端生成低分辨率重建图像,利用生成的超分辨率重建图像以及低分辨率重建图像与真实的高分辨率图像以及低分辨率图像之间的差异设计优化的目标函数,通过最小化目标函数的值来对网络模型的参数进行更新,提升网络模型的超分辨能力。

2.根据权利要求1所述的方法,其特征在于,所述方法包括:(1)选择训练数据集D:选择一个用来训练网络模型的数据集D,该数据集D需包括多张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像,其中W、H以及C分别为图像的宽度、高度以及通道数,r为超分辨率因子;

(2)建立可逆模块:可逆模块由位于两端的1×1可逆卷积层和位于中间的仿射耦合层组成,其中仿射耦合层按以下步骤计算得到:仿射耦合层正向过程:对于尺寸为 的输入数据x,将其从通道处分为尺寸为 的两个部分x1和x2,然后利用下述公式(1)和(2)得到输出数据的两个部分y1和y2:y1=x1                       (1)y2=x2·exp(F(x1))+G(x1)                 (2)其中,F(x1)和G(x1)分别代表没有限制且不改变数据尺寸的非线性映射;将得到的y1和y2在通道处进行拼接得到尺寸为 的输出y;

仿射耦合层逆向过程:对于尺寸为 的输入数据y′,将其从通道处分为尺寸为 的两个部分y′1和y′2,然后利用下述公式(3)和(4)得到输出数据的两个部分x′1和x′2:x′1=y′1                          (3)x′2=(y′2-G(y′1))/exp(F(y′1))                 (4)将得到的x′1和x′2在通道处进行拼接得到尺寸为 的输出x′;

(3)建立网络模型:网络模型由24个步骤(2)建立的可逆模块组成;

(4)建立批数据:从数据集D中随机选择16个高分辨率图像进行拼接得到尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B,将对应的16个低分辨率图像进行拼接得到尺寸为16×W×H×C低分辨率图像批数据ILR_B;

(5)数据预处理:对尺寸为16×W×H×C的低分辨率图像批数据ILR_B进行基于双立方插值的超分辨率处理将其尺寸放大为16×rW×rH×C,然后利用亚像素卷积操作将尺寸调整LR_B_P为 得到经过预处理的低分辨率图像批数据I ;对于尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B,直接利用亚像素卷积操作将尺寸调整为得到经过预处理的高分辨率图像批数据IHR_B_P;

(6)生成重建图像:将尺寸为 的低分辨率图像批数据ILR_B_P从网络模型的低分辨率端进行输入,经过正向传播在网络模型的高分辨率端得到尺寸为的超分辨率图像批数据IHR_B_P_Re,然后通过亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C,得到最终超分辨率图像批数据IHR_B_Re;将尺寸为HR_B_P的高分辨率图像批数据I 从网络模型的高分辨率端进行输入,经过逆向传播在网络的低分辨率端得到尺寸为 的低分辨率重建图像批数据ILR_B_P_Re,然后利用亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C,得到最终低分辨率重建图像批数据ILR_B_Re;

(7)计算优化目标值:利用得到的超分辨率图像批数据IHR_B_Re与真实高分辨率图像批数据IHR_B确定高分辨率图像空间的损失函数:其中,x和y分别表示图片中单个像素的横坐标和纵坐标;

利用得到的低分辨率重建图像ILR_B_Re和真实的低分辨率图像ILR_B确定低分辨率图像空间的损失函数:将高分辨率图像空间和低分辨率图像空间的损失函数进行加权得到网络模型的优化目标:其中λ1和1-λ1分别代表了高分辨率图像空间损失函数和低分辨率图像空间损失函数的权重,0.4<λ1<1;

(8)更新网络模型的参数:利用批数据作为输入得到的loss对网络模型的所有参数Wm进行求导得到Wm关于loss的导数ΔWm,然后利用随机梯度下降法或Momentum梯度下降法以学习率α,以及下述公式(8)对网络模型参数进行更新:Wm=Wm-α·ΔWm                        (8)(9)跳转至步骤(4),并在迭代次数达到10万后将α减半,在迭代次数达到20万次时结束迭代,得到训练好的网络模型;

(10)将需要进行超分辨率的低分辨率图像输入到训练好的网络模型的低分辨率一端,由网络模型的高分辨率一端生成超分辨率图像。

3.根据权利要求2所述的方法,其特征在于,步骤(2)所述的可逆模块中的1×1可逆卷积层按以下步骤计算得到:(2.1)1×1可逆卷积正向过程:对于尺寸为 的输入数据,初始化一个尺寸为4C×4C的随机矩阵WC,然后对其进行奇异值分解得到正交矩阵U、对角矩阵S以及正交矩阵VT,增加WC的维度,将其尺寸置为1×1×4C×4C,然后将WC作为权重矩阵来对输入数据进行卷积操作并得到尺寸为 的输出数据;

(2.2)1×1可逆卷积逆向过程:对于尺寸为 的输入数据,计算(2.1)中得到的U、S以及VT的逆矩阵,其方法为,对于U和VT直接计算其转置矩阵得到其逆矩阵UT和V,对于S,直接将其对角线元素分别求倒数就能得到其逆矩阵 然后利用以下公式得到1×

1可逆卷积逆向过程的矩阵向量:

增加 的维度,将其尺寸置为1×1×4C×4C,然后将 作为权重矩阵来对输入数据进行卷积操作并得到尺寸为 的输出数据。

4.根据权利要求2所述的方法,其特征在于,所述用来训练网络模型的数据集D中至少包括4000张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像。

5.根据权利要求2所述的方法,其特征在于,步骤(7)中λ1的取值范围为0.4<λ1<0.6。

6.根据权利要求5所述的方法,其特征在于,λ1取值0.5。

7.根据权利要求2所述的方法,其特征在于,步骤(8)中梯度下降法包括随机梯度下降法和Momentum梯度下降法。

8.根据权利要求2所述的方法,其特征在于,步骤(8)中梯度下降法α取值范围为[0.00005,0.0005]。

9.权利要求1-8任一所述的方法在图像处理领域内的应用。

10.权利要求1-7任一所述的方法在监控设备、卫星图像和医学影像领域内的应用。