利索能及
我要发布
收藏
专利号: 2020102370901
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像修复方法,其特征在于,包括:

对待处理图像进行初步修复,得到第一修复图像,所述待处理图像包括正常区域及待修复区域,所述第一修复图像包括与所述待修复区域对应的初步修复区域;

根据所述正常区域的多个第一图像块以及所述初步修复区域的多个第二图像块,分别确定与各个第二图像块的纹理匹配的第一图像块;

根据与各个第二图像块的纹理匹配的第一图像块,对所述初步修复区域进行修复,得到所述待处理图像的第二修复图像。

2.根据权利要求1所述的方法,其特征在于,所述根据所述正常区域的多个第一图像块以及所述初步修复区域的多个第二图像块,分别确定与各个第二图像块的纹理匹配的第一图像块,包括:针对任一第二图像块,分别确定出所述第二图像块与所述多个第一图像块之间的相似度;

将相似度最高的至少一个第一图像块,确定为与所述第二图像块的纹理匹配的第一图像块。

3.根据权利要求1或2所述的方法,其特征在于,所述根据与各个第二图像块的纹理匹配的第一图像块,对所述初步修复区域进行修复,得到所述待处理图像的第二修复图像,包括:根据与各个第二图像块的纹理匹配的第一图像块,分别对各个第二图像块进行修复,得到各个第二图像块的修复图像块;

对所述待处理图像的正常区域及各个第二图像块的修复图像块进行拼接,得到所述第二修复图像。

4.根据权利要求3所述的方法,其特征在于,所述根据与各个第二图像块的纹理匹配的第一图像块,分别对各个第二图像块进行修复,得到各个第二图像块的修复图像块,包括:针对任一第二图像块,对所述第一修复图像中与所述第二图像块对应的第三图像块进行特征提取,得到所述第三图像块的特征,所述第三图像块的尺寸大于所述第二图像块的尺寸;

对与所述第二图像块的纹理匹配的第一图像块进行特征提取,得到所述第一图像块的特征;

将所述第三图像块的特征与所述第一图像块的特征进行融合,得到所述第二图像块的融合特征;

根据所述第二图像块的融合特征,生成所述第二图像块的修复图像块。

5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述方法通过神经网络实现,所述神经网络包括第一修复网络、纹理匹配网络及第二修复网络,所述第一修复网络用于对待处理图像进行初步修复,所述纹理匹配网络用于对所述第二图像块与所述第一图像块进行纹理匹配,所述第二修复网络用于对所述初步修复区域进行修复,所述方法还包括:根据预设的训练集,训练所述神经网络,所述训练集包括多个样本图像及与所述样本图像对应的真实图像,每个样本图像包括正常区域及待修复区域。

6.根据权利要求5所述的方法,其特征在于,所述根据预设的训练集,训练所述神经网络,包括:将所述样本图像输入所述神经网络中处理,得到所述样本图像的初步修复图像以及多个修复样本图像块;

对所述样本图像的正常区域及所述多个修复样本图像块进行拼接,得到所述样本图像的修复样本图像;

根据所述样本图像的初步修复图像、所述修复样本图像及所述真实图像,训练所述神经网络。

7.根据权利要求6所述的方法,其特征在于,所述根据所述样本图像的初步修复图像、所述修复样本图像及所述真实图像,训练所述神经网络,包括:根据所述初步修复图像及所述真实图像,确定所述神经网络的初步修复损失;

根据所述修复样本图像的多个修复样本图像块及所述真实图像的多个真实图像块,确定所述神经网络的分块损失;

根据所述修复样本图像及所述真实图像,确定所述神经网络的图像整体损失;

根据所述初步修复损失、所述分块损失及所述图像整体损失,训练所述神经网络。

8.根据权利要求6或7所述的方法,其特征在于,所述神经网络还包括第一判别网络,所述根据预设的训练集,训练所述神经网络,还包括:将与所述样本图像对应的真实图像的多个真实图像块和对应位置的修复样本图像块,分别输入所述第一判别网络中处理,得到所述真实图像块的第一判别结果及所述修复样本图像块的第二判别结果;

根据所述第一判别结果及所述第二判别结果,对抗训练所述神经网络。

9.根据权利要求8所述的方法,其特征在于,所述根据预设的训练集,训练所述神经网络,还包括:确定所述样本图像的正常区域的多个图像块的第一数据分布,以及所述多个修复样本图像块的第二数据分布;

将所述第一数据分布和所述第二数据分布分别输入所述第一判别网络中处理,得到第三判别结果和第四判别结果;

根据所述第一判别结果、所述第二判别结果、所述第三判别结果及所述第四判别结果,对抗训练所述神经网络。

10.根据权利要求6-9中任意一项所述的方法,其特征在于,所述神经网络还包括第二判别网络,所述根据预设的训练集,训练所述神经网络,还包括:将与所述样本图像对应的真实图像以及所述修复样本图像,分别输入所述第二判别网络中处理,得到所述真实图像的第五判别结果及所述修复样本图像的第六判别结果;

根据所述第五判别结果及所述第六判别结果,对抗训练所述神经网络。

11.一种图像修复装置,其特征在于,包括:

第一修复模块,用于对待处理图像进行初步修复,得到第一修复图像,所述待处理图像包括正常区域及待修复区域,所述第一修复图像包括与所述待修复区域对应的初步修复区域;

纹理匹配模块,用于根据所述正常区域的多个第一图像块以及所述初步修复区域的多个第二图像块,分别确定与各个第二图像块的纹理匹配的第一图像块;

第二修复模块,用于根据与各个第二图像块的纹理匹配的第一图像块,对所述初步修复区域进行修复,得到所述待处理图像的第二修复图像。

12.一种电子设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至10中任意一项所述的方法。

13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。