利索能及
我要发布
收藏
专利号: 2021116658779
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像修复方法,其特征在于,所述图像修复方法包括:

利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作,得到最终修复后的图像集,步骤包括:S1:利用神经网络系统中的生成网络对所述图像训练集中的原始图像进行初步修复操作,得到初步修复后的图像;

S2:利用损失函数计算所述初步修复后的图像和所述原始图像之间的差距程度,所述损失函数为:L=LGAN+λpLp;

其中,L表示损失函数,LGAN表示生成对抗网络的损失函数,Lp为像素误差,λp为Lp的权重系数,且 α表示MS‑SSIM与L1损失函数的占比,其具体取值根据任务和模型训练情况可进行调整,LMS‑SSIM表示MS‑SSIM+L1,Loss为损失函数,且 G是生成网络, 表示生成网络,IU是待修复图像, 表示L1损失函数,且 λ表示梯度惩

罚项,N为生成图片数,p代表从生成网络以及判别网络中各自取值到的线性采样,代表取真实样本, 代表 的线性采样,代表取真实样本, 代表 的线性采样,M表示不同尺度,m从1取到M,μp,μg分别表示预测图像和Ground truth的均值,σp,σg分别表示预测图像和Ground truth之间的标准差,σpg表示预测值和Ground truth之间的协方差,c1,c2作为常数项以防止被除数为0,βm,γm表示两项之间的相对重要性, 表示预测图像和Ground truth的逐像素取值;

S3:根据所述差距程度,利用神经网络系统中的判别网络对所述初步修复后的图像进行清晰完善操作,得到修复后的图像;

S4:利用Kernel MMD对真实图像和所述修复后的图像进行距离计算,得到计算结果;

S5:判断所述计算结果是否达到纳什均衡,若是,将所述修复后的图像作为最终修复后的图像输出;否则,返回步骤S1;

其中,所述图像训练集包括一一对应的待修复图像和真实图像,所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。

2.根据权利要求1所述的图像修复方法,其特征在于,所述步骤S1包括:提取所述待修复图像的图像初始分布信息;

依次对所述图像初始分布信息进行记忆操作,得到操作结果;

对所述操作结果进行初步修复处理,得到初步修复后的图像。

3.根据权利要求2所述的图像修复方法,其特征在于,所述步骤S1中,所述生成网络包括依次连接的特征提取块结构、记忆块结构和修复块结构;

所述特征提取块结构包括第一卷积层、第二卷积层和第三卷积层,以用于从所述待修复图像中获取所述图像初始分布信息;

所述记忆块结构用于对所述图像初始分布信息进行记忆操作,以得到操作结果;

所述修复块结构包括第一反卷积层、第二反卷积层和第四卷积层,以用于对所述操作结果进行初步修复处理;

所述第一卷积层和所述第四卷积层的步长为1;所述第二卷积层、所述第三卷积层、所述第一反卷积层和所述第二反卷积层的步长均为2。

4.根据权利要求3所述的图像修复方法,其特征在于,所述记忆块结构包括递归单元和门单元,所述递归单元包括多个残差块,多个所述残差块依次连接且每个所述残差块的输出均与所述门单元连接。

5.根据权利要求4所述的图像修复方法,其特征在于,所述残差块包括多个残差层,每两个所述残差层之间通过和模块间隔设置,且每个所述残差层用于对前一个输入的特征进行过滤,所述和模块用于对所述前一个输入的特征和过滤后的特征进行特征加深操作。

6.根据权利要求1所述的图像修复方法,其特征在于,所述步骤S3中,所述判别网络包括依次连接的第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层,所述第五卷积层、所述第六卷积层和所述第七卷积层的步长为2,所述第八卷积层和所述第九卷积层的步长为1。

7.根据权利要求1‑6中任意一项所述的图像修复方法,其特征在于,所述步骤S4中,所述距离计算为:其中,Lp表示真实图像和修复后的图像之间的距离,Cj,Hj,Wj分别表示第j个卷积层的通道数、高度和宽度, 表示第j个卷积层的特征图,G和 表示生成网络,IR表示真实图像,j表示第j个卷积层,n表示j从1取到n的情况,IU表示待修复图像。

8.一种存储介质,其特征在于,存储有计算机指令,所述计算机指令运行时执行根据权利要求1‑7中任意一项所述的图像修复方法的步骤。