利索能及
我要发布
收藏
专利号: 2024100021919
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,包括以下步骤:S1.将数据集划分为训练集和测试集,并进行预处理,构造待修复图像Iin;

S2.将训练集中待修复图像Iin输入到编码器,得到特征图Fin;

S3.将特征图Fin输入到多粒度残差模块,提取图像中的多尺度特征图F,S4.通过级联多个多粒度残差模块,构成多粒度特征提取模块,得到特征图Flow;

S5.将特征图Flow输入解码器:先经过两个顺序连接的通道自适应上采样卷积模块,再输入到一个卷积模块,得到缺失部分填充完整的图像I;

S6.计算损失,通过图像级损失及特征级损失进行参数优化。

2.根据权利要求1所述的基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,在步骤1中,所述预处理包括:将图像像素值规范化到[‑1,1]区间,采用插值方法将图像缩放至统一的空间分辨率;

所述构造待修复图像Iin具体为:

其中,Igt为训练集中的真实的完整图像, 表示逐元素乘积,Im为二值化的掩膜图像,Im中值为1的区域为已知区域,Im中值为0的区域为待修复区域。

3.根据权利要求1所述的基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,在步骤2中,所述编码器由三个卷积模块实现,每个卷积模块由卷积层、批标准化层及ReLU激活函数层组成,第一个卷积模块的卷积步长设置为1,第二个和第三个卷积模块的卷积步长设置为2,实现对特征图的降采样。

4.根据权利要求3所述的基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,步骤3具体过程如下:S31.将特征图Fin输入到细粒度特征提取分支,得到细粒度特征图Ffine:Ffine=frn(…fri…(fr2(fr1(Fin))))其中,fri表示第i个细粒度空洞卷积模块,其包括空洞卷积层、批标准化层及ReLU激活函数层;对于该模块中的每个空洞卷积层,将其空洞率设置为互质的数值;

S32.将特征图Fin输入到粗粒度特征提取分支,得到粗粒度特征图Fcoarse:Fcoarse=fcn(…fci…(fc2(fc1(Fin))))其中,fci表示第i个粗粒度空洞卷积模块,其包括空洞卷积层,批标准化层及ReLU激活函数层;对于该模块中的每个空洞卷积层,将其空洞率设置为互质的数值,并大于对应第i个细粒度空洞卷积模块设置的空洞率;

S33.将细粒度特征图和粗粒度特征图在通道维度进行级联,再输入到1×1的卷积层f1×1(·),得到卷积特征图Fc;

S34.对卷积特征图Fc自适应学习其通道权重,得到权重向量A;

S35.将权重向量A作用于卷积特征图Fc,并结合残差跳跃连接得到多粒度残差模块的输出F:其中,表示逐元素乘积。

5.根据权利要求4所述的基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,步骤S34具体过程如下:Q×1×1

(1)对卷积特征图Fc进行平均池化,得到基于通道的描述D∈R ,Q表示通道数,D中的第i个元素di为对第i个通道Ci求平均得到,其计算公式为:其中,H和W表示特征图的高和宽;

(2)对通道描述D进行降采样和上采样操作,其计算公式为:D′=fup(fdown(D))

其中,fup为上采样操作,fdown为下采样操作;

(3)将D′输入到激活函sigmoid层,得到通道相关的权重向量A。

6.根据权利要求5所述的基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,步骤5中,所述的通道自适应上采样卷积模块具体过程如下:S51.将特征图Flow输入到卷积层进行特征提取,得到特征图F′low;

S52.对特征图F′low进行像素重排得到特征图Fh,特征图的空间分辨率放大两倍,通道数目缩小4倍;

S53.对特征图Fh执行步骤S34,得到通道注意力向量A′,将通道注意力作用于特征图,得到特征图F′h:S54.将特征图F′h输入到批标准化层及leaky ReLU激活函数层,得到上采样卷积模块所输出的特征图Fhigh。

7.根据权利要求6所述的基于多粒度空洞卷积神经网络的图像修复方法,其特征在于,步骤6具体过程如下:S61.所述图像级损失包括L1重建损失Lhole和Lvalid、多尺度结构相似度损失Lms和全变分损失LTV,计算公式为:其中,I为模型生成的图像,Icom是由生成的缺失区域和真实的已有区域组合的图像,E[·]表示求平均, 为逐元素相乘运算符,N为多分辨率图像金字塔层数,Wi第i层的权重,和 表示第i层图像对, 和 分别为图像Icom中坐标为(x+1,y)、(x,y)和(x,y+1)位置的像素值;

S62.所述特征级损失包括特征重建损失Lfeat和风格损失Lstyle,计算公式为:其中, 表示在ImageNet数据集预训练后的VGG‑16网络中前三个池化层的输出,G(`)为特征图的Gram矩阵;

S63.将不同损失项加权得到总体损失函数:

L=λholeLhole+λvalidLvalid+λmsLms+λTVLTV+λfeatLfeat+λstyleLstyle其中,λhole、λvalid、λms、λTV、λfeat和λstyle分别为对应损失项的权重;

S64.通过损失值计算模型梯度,并更新模型中的参数。