利索能及
我要发布
收藏
专利号: 2021109826604
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸图像处理方法,其特征在于,包括:

将待处理人脸图像输入至神经网络中;

经由所述神经网络提取所述待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息;

基于所述人脸关键点信息定位所述待处理人脸图像中人脸的特定部位;其中,所述三维不动关键点为人脸在三维空间中具有特定部位的固定语义的点被投影在二维平面上的点,所述特定部位表示人脸上具有固定语义的点,所述三维不动关键点在三维空间中的语义固定;

所述神经网络在训练过程中的损失确定方法,包括:

根据提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离;根据人脸关键点标注信息计算至少一个器官上的不同关键点之间的第二距离;基于所述第一距离和所述第二距离确定损失。

2.根据权利要求1所述的人脸图像处理方法,其特征在于,所述待处理人脸图像中的人脸包括存在表情变化和/或脸部角度偏转的人脸。

3.根据权利要求1所述的人脸图像处理方法,其特征在于,所述神经网络提取出的人脸关键点信息包括:21‑300个人脸关键点信息。

4.根据权利要求1所述的人脸图像处理方法,其特征在于,所述人脸关键点信息包括:待处理人脸图像中的位于未被遮挡位置处以及被遮挡位置处的人脸关键点信息。

5.根据权利要求4所述的人脸图像处理方法,其特征在于,所述位于被遮挡位置处的人脸关键点信息为待处理人脸图像中的位于被遮挡位置处的基于透视方式获得的人脸关键点信息。

6.根据权利要求1、3至5中任一项所述的人脸图像处理方法,其特征在于,所述神经网络是利用标注有:包括至少一个三维不动关键点在内的人脸关键点标注信息的人脸图像样本,训练而成的;所述人脸图像样本标注有在人脸图像样本中的位于未被遮挡位置处和/或被遮挡位置处的人脸关键点标注信息;所述位于被遮挡位置处的人脸关键点信息为待处理人脸图像中的位于被遮挡位置处的基于透视方式获得的人脸关键点信息。

7.根据权利要求1至5任一所述的人脸图像处理方法,其特征在于,所述三维不动关键点包括:眼睑中心关键点、鼻子下沿中心关键点、嘴唇唇峰关键点、嘴唇中心关键点以及下巴中心关键点中的至少一个;

在所述三维不动关键点包括所述眼睑中心关键点的情况下,所述眼睑中心关键点包括:左眼上眼睑中心关键点、左眼下眼睑中心关键点、右眼上眼睑中心关键点以及右眼下眼睑中心关键点中的至少一个;

在所述三维不动关键点包括所述嘴唇中心关键点的情况下,所述嘴唇中心关键点包括:上嘴唇上唇线中心关键点、上嘴唇下唇线中心关键点、下嘴唇上唇线中心关键点以及下嘴唇下唇线中心关键点中的至少一个;

在所述三维不动关键点包括所述嘴唇唇峰关键点的情况下,所述嘴唇唇峰关键点包括:嘴唇左唇峰关键点以及嘴唇右唇峰关键点中的至少一个。

8.一种用于训练神经网络的方法,其特征在于,所述方法包括:

获取多个人脸图像样本;所述人脸图像样本标注有:包括至少一个三维不动关键点在内的人脸关键点标注信息,所述三维不动关键点为人脸在三维空间中具有特定部位的固定语义的点被投影在二维平面上的点,所述特定部位表示人脸上具有固定语义的点,所述三维不动关键点在三维空间中的语义固定;

利用所述多个人脸图像样本训练神经网络,训练得到的神经网络用于提取待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息,所述人脸关键点信息用于定位所述待处理人脸图像中人脸的特定部位;

所述神经网络在训练过程中的损失确定方法,包括:

根据提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离;根据人脸关键点标注信息计算至少一个器官上的不同关键点之间的第二距离;基于所述第一距离和所述第二距离确定损失。

9.根据权利要求8所述的用于训练神经网络的方法,其特征在于,所述人脸图像样本的人脸关键点标注信息包括:20‑300个人脸关键点标注信息。

10.根据权利要求8所述的用于训练神经网络的方法,其特征在于,所述方法在所述利用所述多个人脸图像样本训练神经网络之前,还包括:确定人脸图像样本中的人脸至少一个部位的曲线控制点;

根据所述曲线控制点形成曲线;

确定所述曲线上作为人脸图像样本的三维不动关键点;

在人脸图像样本的三维不动关键点的至少一侧,选取曲线上的点;

根据所述选取的点以及所述人脸图像样本的三维不动关键点形成人脸关键点标注信息。

11.根据权利要求10所述的用于训练神经网络的方法,其特征在于,所述确定所述曲线上作为人脸图像样本的三维不动关键点包括:确定所述曲线上的与人脸图像样本上标记的三维不动关键点的距离满足预定距离要求的点,将所述点作为人脸图像样本的三维不动关键点。

12.根据权利要求8至11中任一项所述的用于训练神经网络的方法,其特征在于,所述根据所述提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离包括:针对由提取出的左眼的上眼睑线关键点与相应的左眼的下眼睑线关键点形成的任一组关键点,分别计算组中的两个关键点之间的距离,以获得至少一个基于左眼眼睑线的第一距离;和/或针对由提取出的右眼的上眼睑线关键点与相应的右眼的下眼睑线关键点形成的任一组关键点,分别计算组中的两个关键点之间的距离,以获得至少一个基于右眼眼睑线的第一距离;和/或针对由提取出的上嘴唇上唇线关键点与相应的下嘴唇下唇线关键点形成的任一组关键点,分别计算组中的两个关键点之间的距离,以获得至少一个基于外唇线的第一距离;

和/或

针对由提取出的上嘴唇下唇线关键点与相应的下嘴唇上唇线关键点形成的任一组关键点,分别计算组中的两个关键点之间的距离,以获得至少一个基于内唇线的第一距离。

13.根据权利要求12所述的用于训练神经网络的方法,其特征在于,所述基于所述第一距离和所述第二距离确定损失,包括:基于所述第一距离和所述第二距离经由第一损失函数确定损失;

所述第一损失函数包括:针对基于左眼眼睑线的第一距离的第一损失函数、针对基于右眼眼睑线的第一距离的第一损失函数、针对基于外唇线的第一距离的第一损失函数和/或针对基于内唇线的第一距离的第一损失函数。

14.根据权利要求8至11中任一项所述的用于训练神经网络的方法,其特征在于,所述利用所述多个人脸图像样本训练所述神经网络包括:针对由提取出的人脸关键点与标注的相应的人脸关键点形成的至少一组关键点,确定组中的两个关键点之间的距离,以获得至少一个漂移距离;

基于所述漂移距离经由第二损失函数对所述神经网络进行监督学习。

15.根据权利要求8所述的用于训练神经网络的方法,其特征在于,所述人脸图像样本中的人脸包括存在表情变化和/或脸部角度偏转的人脸。

16.根据权利要求8所述的用于训练神经网络的方法,其特征在于,所述人脸图像样本标注有在人脸图像样本中的位于未被遮挡位置处以及被遮挡位置处的人脸关键点标注信息;所述位于被遮挡位置处的人脸关键点信息为待处理人脸图像中的位于被遮挡位置处的基于透视方式获得的人脸关键点信息。

17.一种人脸图像处理装置,其特征在于,包括:

输入图像模块,用于将待处理人脸图像输入至神经网络中;

获取关键点模块,用于经由所述神经网络提取所述待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息,基于所述人脸关键点信息定位所述待处理人脸图像中人脸的特定部位;所述三维不动关键点为人脸在三维空间中具有特定部位的固定语义的点被投影在二维平面上的点,所述特定部位表示人脸上具有固定语义的点,所述三维不动关键点在三维空间中的语义固定;

所述神经网络在训练过程中的损失确定方法,包括:

根据提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离;根据人脸关键点标注信息计算至少一个器官上的不同关键点之间的第二距离;基于所述第一距离和所述第二距离确定损失。

18.一种用于训练神经网络的装置,其特征在于,所述装置包括:

获取样本模块,用于获取多个人脸图像样本;所述人脸图像样本标注有:包括至少一个三维不动关键点在内的人脸关键点标注信息,所述三维不动关键点为人脸在三维空间中具有特定部位的固定语义的点被投影在二维平面上的点,所述特定部位表示人脸上具有固定语义的点,所述三维不动关键点在三维空间中的语义固定;

训练模块,用于利用所述多个人脸图像样本训练所述神经网络,训练得到的神经网络用于提取待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息,所述人脸关键点信息用于定位所述待处理人脸图像中人脸的特定部位;

所述神经网络在训练过程中的损失确定方法,包括:

根据提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离;根据人脸关键点标注信息计算至少一个器官上的不同关键点之间的第二距离;基于所述第一距离和所述第二距离确定损失。

19.一种电子设备,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述权利要求1‑7中任一项所述的人脸图像处理方法中的步骤,或者实现上述权利要求8‑

16中任一项所述的用于训练神经网络的方法中的步骤。

20.一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述权利要求1‑7中任一项所述的人脸图像处理方法中的步骤,或者实现上述权利要求8‑16中任一项所述的用于训练神经网络的方法中的步骤。