利索能及
我要发布
收藏
专利号: 2021110859952
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于分治融合的高清人脸属性编辑方法,其特征在于,包括以下步骤:步骤一:利用低清人脸编辑网络对下采样后的原始高清人脸图像进行第一次人脸属性编辑,再将编辑后的人脸图像上采样恢复至原始尺寸;

步骤二:将原始高清人脸图像与步骤一获得的上采样后的低清人脸编辑后的图像做相同切片,将相同位置的切片差与低清人脸编辑后的图像切片输入高清人脸融合网络中进行第二次人脸属性编辑;

所述的高清人脸融合网络包括双通道多层编码器和单通道多层解码器,所述的相同位置的切片差与低清人脸编辑后的图像切片在双通道多层编码器中分别编码,编码结果按通道相加并与属性差值向量融合,再输入到单通道多层解码器中进行解码,得到第二次人脸属性编辑后的切片;所述的属性差值向量是由人脸图像的目标属性向量和源属性向量作差得到的;

所述双通道多层编码器输出的编码后的切片图像采用加权平均法进行融合,首先确定双通道输出的切片图像image1,image2的公共区域region2,对公共区域的像素点重新进行计算:其中, 表示融合之后的新的公共区域, 和 分别表示image1和image2的原始公共区域;weight为权重,计算公式为:其中,x为切片在原始高清人脸图像中的像素点坐标,k表示权重;

步骤三、将高清人脸融合网络输出的切片结果按位置拼接,得到最终的含新属性的人脸图像。

2.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法,其特征在于,所述的低清人脸编辑网络的训练过程为:将所述的第一次人脸属性编辑后得到的人脸图像经过卷积处理后分别作为判别器和属性分类器的输入,利用多任务学习的方式对低清人脸编辑网络进行训练;所述的多任务学习的损失包括重建损失、对抗损失、属性损失和分类器损失。

3.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法,其特征在于,所述的高清人脸融合网络的训练过程为:将步骤三得到的最终的含新属性的人脸图像经过卷积处理后分别作为判别器和属性分类器的输入,利用多任务学习的方式对高清人脸融合网络进行训练;所述的多任务学习的损失包括重建损失、对抗损失、属性损失和分类器损失。

4.根据权利要求1所述的基于分治融合的高清人脸属性编辑方法,其特征在于,在单通道多层解码器的相邻两层之间引入注意力单元,所述的注意力单元的输入为解码器第l层输出的特征向量与编码器第p‑l层输出的特征向量,注意力单元的输出作为解码器第l+1层的输入,解码器最后一层的输出作为编辑后的人脸图像;p为编码器和解码器的层数。

5.根据权利要求4所述的基于分治融合的高清人脸属性编辑方法,其特征在于,在单通道多层解码器的每一层输入中均加入属性差值向量。

6.根据权利要求5所述的基于分治融合的高清人脸属性编辑方法,其特征在于,所述的低清人脸编辑网络采用编码‑解码网络,且解码器结构与高清人脸融合网络中的单通道多层解码器结构相同。

7.根据权利要求6所述的基于分治融合的高清人脸属性编辑方法,其特征在于,所述的低清人脸编辑网络表示为:其中,X′t表示第一次人脸属性编辑后的图像,X′i表示下采样后的原始高清人脸图像,Ad表示属性差值向量, 表示人脸图像的目标属性向量, 表示原始高清人脸图像Xi的源属性向量, 表示低清人脸编辑网络, 表示低清人脸编辑网络中的编码器,表示低清人脸编辑网络中的解码器。

8.根据权利要求4所述的基于分治融合的高清人脸属性编辑方法,其特征在于,所述的高清人脸融合网络表示为:{Xt[m,n]|m=1,2,...k1 n=1,2,...,k2}{Xi[m,n]|m=1,2,...k1 n=1,2,...,k2}其中,k1,k2分别表示切片后的横向块数和列向块数,Xt[m,n]表示上采样后的第一次人脸属性编辑后的图像中的切片,Xi[m,n]表示原始高清人脸图像的切片, 表示编码器第一通道, 表示编码器第二通道,[…,…]表示按通道连接,Ad表示属性差值向量,表示解码器,Xo[m,n]表示高清人脸融合网络输出的切片结果。

9.根据权利要求4所述的基于分治融合的高清人脸属性编辑方法,其特征在于,所述的注意力单元计算公式为:W×H×C W×H×C

将注意力单元的两个输入表示为fenc∈R 和fdec∈R ,其中fenc为编码层输出的特征向量,fdec为解码层输出的特征向量;

将fenc和fdec的维度变为(W×H)×C,其中W和H表示特征图的长和宽,C表示通道数目;

计算注意力机制中W×H个键值和查询值:

ki=Wk*feenc

qi=Wq*fdec

1≤i≤(W×H)

其中,ki和qi表示第i个键值和查询值,Wk和Wq表示1×1卷积核;

计算相似度矩阵α:

其中,Wt表示1×1卷积核,ReLU(.)表示R激活函数,Sigmoid(.)表示sigmoid激活函数;

αij是相似度矩阵α中的元素,表示编码层的第j个通道对解码层的第i个通道的影响程度;

计算注意力单元的输出PA:

PA=α·fenc。