利索能及
我要发布
收藏
专利号: 2022107989175
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:以参考图的多匹配搜索和超分辨率重建网络作为基于参考图像的超分辨率重建的深度网络,将低分辨率图像ILR输入到参考图的多匹配搜索和超分辨率重建网络,重建网络输出高分辨率图像ISR。

2.根据权利要求1所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

所述参考图的多匹配搜索和超分辨率重建网络包括:编码模块、多匹配搜索与提取模块和解码模块;通过所述编码模块提取低分辨率图像、参考图像、bicubic下采样的参考图像的特征,然后利用多匹配搜索与提取模块在bicubic下采样的参考图像上匹配搜索多个与低分辨率图像相似的图像块,并在高分辨率参考图像特征图上提取相应的图像块进行加权求和得到新的参考图;最后,通过解码模块将低分辨率图像ILR和新的参考图多尺度融合重建出高分辨率图像ISR。

3.根据权利要求2所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

所述多匹配搜索与提取模块包括:粗匹配阶段、精匹配阶段和特征提取阶段;所述精匹配阶段用于计算出每个参考图像块所对应的权重以及新的参考图像块与低分辨率图像块之间的相似度。

4.根据权利要求3所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

所述多匹配搜索与提取模块在第一个阶段,将LR特征图展开多个图像块,对于每个LR图像块,通过获取到的LR图像块中心与每一个参考图像块计算余弦相似度初步搜索到与其最相关的经过bicubic下采样的参考图像块;随后在参考图像中与LR图像相似的图像块周围截取多个dx×dy大小的块;并在相应的不同尺度的参考图特征图上截取相应位置的参考图像块,截取后的参考图像块用于第二阶段的精匹配;

在第二阶段,使用第一阶段的粗匹配获得LR图像块patch所对应的多个Ref图像块Block,对LR图像块patch和所对应的多个Ref图像块Block中的3×3的patch进行匹配并计算余弦相似度;为了获得多个参考图像块与LR图像块之间的对应联系,使用唯一解的线性方程组获得每个参考图块所对应的权重,再将多个参考图像块加权求和得到与LR图像块相近的新参考图像块;并计算低分辨率图块和新的参考图像块之间的相似度;第二阶段得到的参考图像块所对应的坐标、权重和余弦相似度输入到下一个阶段;

在第三个阶段,根据第二个阶段得到的坐标在参考图像特征图Fref上找到所对应的位置并提取出来,然后对多个参考图像块使用加权求和得到具有高频细节的参考图像块,其中使用第二阶段得到的权重;随后将每个LR图像块所对应的参考图像块按照LR图像块顺序进行迁移拼接得到warp图像;将warp图像与余弦相似度相乘得到新的warp图;获得新的warp图之后将其折叠回去。

5.根据权利要求4所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

所述多匹配搜索与提取模块的第三个阶段的最后,将新的warp图输入到解码模块中,与LR特征图进行多尺度融合重建出具有高频细节的SR图像。

6.根据权利要求4所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

在所述多匹配搜索与提取模块的第二个阶段,采用单个LR图像块与多个参考图像块进行对应匹配搜索,以更加充分的利用到参考图像块的高频信息。

7.根据权利要求2所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

当提供一组训练数据集(ILR,IHR),其中ILR为训练集中的低分辨率图像,IHR为训练集中的高分辨率图像,则其损失函数表示为:其中,Θ是网络参数集合,ISR是ILR输入到参考图的多匹配搜索和超分辨率重建网络得到的输出图像;以该损失函数作为训练过程的目标函数,对参考图的多匹配搜索和超分辨率重建网络进行训练;训练结束后,得到参考图的多匹配搜索和超分辨率重建网络的网络参数,直接用于图像超分辨率重建。

8.根据权利要求1所述的基于参考图的多匹配搜索和超分辨率重建方法,其特征在于:

所述编码模块和解码模块由多个卷积层和残差块组成。

9.一种基于参考图的多匹配搜索和超分辨率重建系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1‑8任一项所述的方法。