利索能及
我要发布
收藏
专利号: 2021107485323
申请人: 深圳市英威诺科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-07-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸融合方法,其特征在于,所述人脸融合方法包括:

获取源人脸数据;

根据所述源人脸数据确定源数据,通过face_alignment人脸检测库将所述源人脸数据进行处理,得到所述源数据;

将所述源数据进行分割,得到分割人脸图像,采用pix2pixHD算法将所述源数据中的人脸特征和背景属性解耦,得到人脸分割图像,所述pix2pixHD算法的模型结构是基于U‑Net的网络结构;

根据所述分割人脸图像确定源人脸特征,裁剪所述分割人脸图像四周预设范围内个像素,再将裁剪后的所述分割人脸图像输入至ArcFace算法,所述ArcFace算法把人脸特征和权重归一化,提取源人脸特征;

根据所述源人脸特征以及目标人脸属性生成融合人脸图像,所述目标人脸属性包括年龄、性别、颜值、表情、情绪、口罩、脸型、头部姿态、是否闭眼、是否配戴眼镜、人脸质量信息2

中的至少一项,通过U‑Net作为变分编码器,经过五次下采样再经过五次上采样,并辅以残差连接和空洞卷积核,将U‑Net每个卷积核用一个U‑Net替换形成嵌入式U‑Net,得到预设层数的目标人脸属性,由Hinge loss构成对抗损失,损失函数为LD=E[max(0,1‑D(x))]+E[max(0,1+D(G(z)))],LG=‑E[D(G(z))],其中,D为鉴别器,G为生成器,LD为鉴别器损失函数,LG为生成器损失函数,E为期望,D(x)为鉴别器的输出值,x为鉴别器的输入值,G(z)为生成器的输出值,z为生成器的输入值,自适应融合源人脸特征和目标人脸特征的损失函数为Lid=ratio×Lt+(1‑ratio)×Ls,其中,Ls为源人脸融合损失函数,Lt为目标人脸融合损失函数,Lid为自适应融合源人脸和目标人脸的损失函数,Xs为源人脸,Xt为目标人脸,为融合人脸,zid(Xs)为源人脸特征,zid(Xt)为目标人脸特征, 为融合人脸特征。

2.如权利要求1所述的方法,其特征在于,所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤,包括:获取输入特征;

将所述输入特征归一化,生成归一化特征;

将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合,得到融合人脸图像。

3.如权利要求2所述的方法,其特征在于,所述将所述归一化特征、所述源人脸特征以及目标人脸属性进行融合,得到融合人脸图像的步骤,包括:根据所述源人脸特征确定特征放缩因子以及特征平移因子;

根据目标人脸属性确定属性放缩因子以及属性平移因子;

根据所述特征放缩因子以及所述特征平移因子,将所述源人脸特征与所述归一化特征融合,得到融合特征;

根据所述属性放缩因子以及所述属性平移因子,将所述目标人脸属性与融合特征融合,得到融合人脸图像。

4.如权利要求1所述的方法,其特征在于,所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤之前,还包括:获取目标人脸图像;

根据所述目标人脸图像确定目标人脸属性。

5.如权利要求4所述的方法,其特征在于,根据所述目标人脸图像确定目标人脸属性的步骤,包括:对所述目标人脸图像进行预设次数的下采样以及预设次数的上采样,得到预设层数目标人脸属性。

6.如权利要求1所述的方法,其特征在于,所述根据所述源人脸特征以及目标人脸属性生成融合人脸图像的步骤之后,还包括:获取待换脸视频;

根据所述待换脸视频确定目标帧数据;

根据所述目标帧数据确定待融合目标脸。

7.如权利要求6任一项所述的方法,其特征在于,所述根据所述目标帧数据确定待融合人脸图像的步骤之后,还包括:获取待融合源脸;

根据所述待融合源脸获得待融合分割人脸图像;

将所述待融合分割人脸图像与所述待融合目标脸进行融合,得到目标融合人脸图像;

将所述目标融合人脸图像替换对应的目标帧数据,得到目标视频。

8.一种人脸融合装置,其特征在于,所述人脸融合装置包括:

获取模块,用于获取源人脸数据;

确定模块,用于根据所述源人脸数据确定源数据,通过face_alignment人脸检测库将所述源人脸数据进行处理,得到所述源数据;

分割模块,用于将所述源数据进行分割,得到分割人脸图像,采用pix2pixHD算法将所述源数据中的人脸特征和背景属性解耦,得到人脸分割图像,所述pix2pixHD算法的模型结构是基于U‑Net的网络结构;

特征确定模块,用于根据所述分割人脸图像确定源人脸特征,裁剪所述分割人脸图像四周预设范围内个像素,再将裁剪后的所述分割人脸图像输入至ArcFace算法,所述ArcFace算法把人脸特征和权重归一化,提取源人脸特征;

融合模块,用于根据所述源人脸特征以及目标人脸属性生成融合人脸图像,所述目标人脸属性包括年龄、性别、颜值、表情、情绪、口罩、脸型、头部姿态、是否闭眼、是否配戴眼2

镜、人脸质量信息中的至少一项,通过U‑Net作为变分编码器,经过五次下采样再经过五次上采样,并辅以残差连接和空洞卷积核,将U‑Net每个卷积核用一个U‑Net替换形成嵌入式U‑Net,得到预设层数的目标人脸属性,由Hinge loss构成对抗损失,损失函数为LD=E[max(0,1‑D(x))]+E[max(0,1+D(G(z)))],LG=‑E[D(G(z))],其中,D为鉴别器,G为生成器,LD为鉴别器损失函数,LG为生成器损失函数,E为期望,D(x)为鉴别器的输出值,x为鉴别器的输入值,G(z)为生成器的输出值,z为生成器的输入值,自适应融合源人脸特征和目标人脸特征的损失函数为Lid=ratio×Lt+(1‑ratio)×Ls,其中,Ls为源人脸融合损失函数,Lt为目标人脸融合损失函数,Lid为自适应融合源人脸和目标人脸的损失函数,Xs为源人脸,Xt为目标人脸,为融合人脸,zid(Xs)为源人脸特征,zid(Xt)为目标人脸特征, 为融合人脸特征。

9.一种人脸融合设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸融合程序,所述人脸融合程序配置为实现如权利要求

1至7中任一项所述的人脸融合方法。

10.一种存储介质,其特征在于,所述存储介质上存储有人脸融合程序,所述人脸融合程序被处理器执行时实现如权利要求1至7任一项所述的人脸融合方法。