利索能及
我要发布
收藏
专利号: 2021110398034
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像超分辨率重建的方法,其特征在于,包括以下步骤:输入的低分辨率图像,从低分辨率图像中提取基础图像特征;

以基础图像特征作为初始输入,使用多个顺序执行的AMB模块依次提取更高层次的特征,获得多个高层次特征输出;

将基础图像特征与多个高层次特征输出融合,获得融合特征,包括:构建自适应的特征融合模块AFFB,通过AFFB预测具体特征图的重要性以实现带有加权的特征融合;

通过融合特征重建图像,获得重建的高分辨率的图像输出;

其中,所述AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层;

所述第一卷积层和所述第三卷积层进行低尺度提取,所述第二卷积层和第四卷积层进行高尺度提取;

所述第一卷积层、第三卷积层和第五卷积层依次连接;所述第二卷积层的输入端与所述第一卷积层的输出端连接,所述第二卷积层的输出端第三卷积层的输入端连接;所述第四卷积层的输入端与第三卷积层的输出端连接,所述第四卷积层的输出端与所述第五卷积层的输入端连接;

所述第五卷积层将输入的特征进行融合,所述第五卷积层之后还设置有残差连接层,所述残差连接层与所述第一卷积层的输入端连接。

2.根据权利要求1所述的图像超分辨率重建的方法,其特征在于,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层皆为3×3卷积层,所述第五卷积层为1×1卷积层。

3.根据权利要求1所述的图像超分辨率重建的方法,其特征在于,所述以基础图像特征作为初始输入,使用多个顺序执行的AMB模块依次提取更高层次的特征,获得多个高层次特征输出,包括:令Fi‑1表示第i个AMB的输入,i=1,2,…,N,F0为基础图像特征,第i个AMB的输出特征记作Fi;

使用一组3×3的卷积对Fi‑1进行低尺度的特征提取:S11=σr(Conv3×3(Fi‑1))

其中,σr(·)表示ReLU激活函数;

使用另一组3×3卷积在S11的基础上进一步提取特征:S12=σr(Conv3×3(S11))

将特征S11和S12进行拼接,并输入到另外两组3×3的卷积中:S21=σr(Conv3×3([S11,S12])),S22=σr(Conv3×3(S21)),

其中,[·,·]代表特征拼接操作;

使用一组1×1的卷积对得到的特征S21和S22进行融合,并在此基础上添加与特征Fi‑1之间的残差连接来生成当前AMB的最终输出Fi:Fi=Conv1×1([S21,S22])+Fi‑1。

4.根据权利要求1所述的图像超分辨率重建的方法,其特征在于,构建自适应的特征融合模块AFFB,通过AFFB预测具体特征图的重要性以实现带有加权的特征融合,具体包括:令U=[F0,…,FN]代表在不同层次提取的图像特征,F0为基础图像特征,第i个AMB的输出特征记作Fi,i=1,2,…,N;

为U中的每一张特征图的内容为其分配相应的权重W:W=σs(Full(σr(Full(Pool(U))))),其中,Pool(·)代表平均池化操作,通过计算每一张特征图的平均值为其生成一个初始权重;Full(·)代表的是全连接操作,通过使用两次全连接,将初始化的权重映射到一组新权重,记作W;σs(·)是Sigmoid函数,用于将W中所有的值压缩至[0,1]的范围中;

将所得到W用于对 中的特征图进行加权:

其中, 代表点对点的乘法操作;

通过使用一组1×1的卷积来实现对 中特征图的融合,获得融合特征F:

5.根据权利要求1所述的图像超分辨率重建的方法,其特征在于,所述通过融合特征重建图像,获得重建的高分辨率的图像输出,包括:采用了一种由两组3×3卷积操作组成的图像重建模块来生成高分辨率的图像Y:Y=Conv3×3(P(Conv3×3(F))),其中,P(·)代表的是像素重排序操作,F为融合特征。

6.根据权利要求1所述的图像超分辨率重建的方法,其特征在于,所述通过融合特征重建图像,获得重建的高分辨率的图像输出,之后还包括:计算重建的高分辨率的图像与相对应的真实图像之间的损失函数;

通过在训练过程中最小化损失函数以更新图像超分辨率重建模型的参数。

7.一种图像超分辨率重建系统,其特征在于,包括:基础图像特征提取模块,所述基础图像特征提取模块用于从低分辨率图像中提取基础图像特征;

高层次特征提取模块,所述高层次特征提取模块以基础图像特征作为初始输入,使用多个顺序执行的AMB模块依次提取更高层次的特征,获得多个高层次特征输出;

特征融合模块,所述特征融合模块将基础图像特征与多个高层次特征输出融合,获得融合特征,包括:构建自适应的特征融合模块AFFB,通过AFFB预测具体特征图的重要性以实现带有加权的特征融合;

图像重建模块,所述图像重建模块通过融合特征重建图像,获得重建的高分辨率的图像输出;

其中,所述AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层;

所述第一卷积层和所述第三卷积层进行低尺度提取,所述第二卷积层和第四卷积层进行高尺度提取;

所述第一卷积层、第三卷积层和第五卷积层依次连接;所述第二卷积层的输入端与所述第一卷积层的输出端连接,所述第二卷积层的输出端第三卷积层的输入端连接;所述第四卷积层的输入端与第三卷积层的输出端连接,所述第四卷积层的输出端与所述第五卷积层的输入端连接;

所述第五卷积层将输入的特征进行融合,所述第五卷积层之后还设置有残差连接层,所述残差连接层与所述第一卷积层的输入端连接。