利索能及
我要发布
收藏
专利号: 2023108876253
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸关键点定位方法,其特征在于,所述方法包括:

获取待定位人脸图像的纹理特征图,以及所述待定位人脸图像中的各个人脸关键点的热力图坐标和不确定度;其中,每个人脸关键点的不确定度用于表征该人脸关键点的热力图坐标的准确程度;

针对每个人脸关键点,执行如下步骤:

在所述待定位人脸图像中,确定该人脸关键点的热力图坐标所对应的初始关键点坐标;

基于该人脸关键点的不确定度,确定该人脸关键点在所述纹理特征图中对应的动态调整尺寸,并基于所述待定位人脸图像和所述纹理特征图的映射关系,确定所述初始关键点坐标在所述纹理特征图中的目标映射坐标;

在所述纹理特征图中,根据所述动态调整尺寸,确定以所述目标映射坐标为中心的目标纹理特征区域;

基于预设的纹理特征区域、映射坐标和映射坐标偏移值的对应关系,确定与所述目标纹理特征区域和所述目标映射坐标对应的初始偏移值,并基于所述映射关系,确定所述初始偏移值对应的目标偏移值;

确定所述初始关键点坐标按照所述目标偏移值调整后的目标关键点坐标,作为该人脸关键点在所述待定位人脸图像中的目标坐标。

2.根据权利要求1所述的方法,其特征在于,所述获取待定位人脸图像中的各个人脸关键点的热力图坐标和不确定度,包括:将所待定位人脸图像输入至预设的关键点预测模型;其中,所述关键点预测模型包括热力图子模型和不确定度子模型;

获取所述热力图子模型输出的各个人脸关键点的热力图坐标以及所述不确定度子模型输出的各个人脸关键点的不确定度;

其中,所述关键点预测模型是基于第一样本人脸图像和所述第一样本人脸图像中的各个人脸关键点的样本热力图坐标对预设的第一子模型进行训练,并基于第二样本人脸图像和所述第二样本人脸图像的模型预测差值对预设的第二子模型进行训练得到的;所述模型预测差值为:利用所述第一子模型对所述第二样本人脸图像进行热力图坐标预测的预测结果与所述第二样本人脸图像中的各个人脸关键点的样本热力图坐标的差值;所述第一样本人脸图像和所述第二样本人脸图像为不同的图像。

3.根据权利要求2所述的方法,其特征在于,所述关键点预测模型的训练方式,包括:以第一样本人脸图像为输入,且以所述第一样本人脸图像中的各个人脸关键点的样本热力图坐标为输出,对预设的第一子模型进行训练;

在对所述第一子模型的训练满足指定训练条件时,以第二样本人脸图像为输入,且以所述第二样本人脸图像的模型预测差值为输出,对预设的第二子模型进行训练;

若所述第二子模型的损失函数满足第一预设停止条件,则停止训练,得到包括训练完成的热力图子模型和不确定度子模型的关键点预测模型;其中,所述热力图子模型为训练完成的所述第一子模型,所述不确定度子模型为训练完成的所述第二子模型;

否则,返回所述以第一样本人脸图像为输入,且以所述第一样本人脸图像中的各个人脸关键点的样本热力图坐标为输出,对预设的第一子模型进行训练的步骤。

4.根据权利要求2或3所述的方法,其特征在于,所述基于预设的纹理特征区域、映射坐标和映射坐标偏移值的对应关系,确定与所述目标纹理特征区域和所述目标映射坐标对应的初始偏移值,包括:将所述目标纹理特征区域和所述目标映射坐标输入至预设的该人脸关键点对应的偏移值预测模型,并获取所述偏移值预测模型输出的偏移值,作为初始偏移值;

其中,所述偏移值预测模型是基于样本纹理特征区域和所述样本纹理特征区域的标签确定的,所述样本纹理特征区域为:基于所述关键点预测模型对第三样本人脸图像进行预测得到的各个人脸关键点的预测热力图坐标和预测不确定度,在所述第三样本人脸图像的样本纹理特征图中确定的纹理特征区域;所述样本纹理特征区域的标签为:样本映射坐标和所述第三样本人脸图像中的各个人脸关键点在所述样本纹理特征图像中的映射坐标真值的偏移值;所述样本映射坐标是基于所述第三样本人脸图像和所述样本纹理特征图的映射关系,所确定的样本初始关键点坐标在所述样本纹理特征图中的映射坐标;所述样本初始关键点坐标是所述基于所述关键点预测模型对所述第三样本人脸图像进行预测得到的各个人脸关键点的预测热力图坐标,在所述第三样本人脸图像中所对应的坐标。

5.根据权利要求4所述的方法,其特征在于,所述偏移值预测模型的训练方式,包括:获取所述关键点预测模型对所述第三样本人脸图像进行预测得到的各个人脸关键点的预测热力图坐标和预测不确定度,并获取所述第三样本人脸图像的样本纹理特征图;

针对每个人脸关键点,在所述第三样本人脸图像中,确定该人脸关键点的预测热力图坐标所对应的样本初始关键点坐标,并基于所述第三样本人脸图像和所述样本纹理特征图的映射关系,确定所述样本初始关键点坐标在所述样本纹理特征图中对应的样本映射坐标;

针对每个人脸关键点,基于该人脸关键点的预测不确定度,确定该人脸关键点在所述样本纹理特征图中对应的样本动态调整尺寸,并在所述样本纹理特征图中,根据所述样本动态调整尺寸,确定以所述样本映射坐标为中心的样本纹理特征区域;

针对每个人脸关键点,计算所述样本映射坐标和该人脸关键点在所述样本纹理特征图中的映射坐标真值的偏移值,作为所述样本纹理特征区域的标签;

以所述样本纹理特征区域为输入,且以所述样本纹理特征区域的标签为输出,对预设的初始模型进行训练;

在所述初始模型满足第二预设停止条件时,停止训练,得到偏移值预测模型。

6.根据权利要求4所述的方法,其特征在于,所述基于该人脸关键点的不确定度,确定该人脸关键点在所述纹理特征图中对应的动态调整尺寸,包括:基于该人脸关键点的不确定度和预设的偏移值预测模型的样本尺寸,计算该人脸关键点在所述纹理特征图中对应的动态调整尺寸。

7.根据权利要求6所述的方法,其特征在于,在所述将所述目标纹理特征区域和所述目标映射坐标输入至预设的该人脸关键点对应的偏移值预测模型之前,所述方法还包括:根据预设的偏移值预测模型的样本尺寸,调整所述目标纹理特征区域的区域尺寸;

所述将所述目标纹理特征区域和所述目标映射坐标输入至预设的该人脸关键点对应的偏移值预测模型,包括:将区域尺寸调整后的所述目标纹理特征区域和所述目标映射坐标输入至预设的该人脸关键点对应的偏移值预测模型。

8.根据权利要求7所述的方法,其特征在于,所述基于该人脸关键点的不确定度和预设的偏移值预测模型的样本尺寸,计算该人脸关键点在所述纹理特征图中对应的动态调整尺寸,包括:利用预设公式,计算该人脸关键点在所述纹理特征图中对应的动态调整尺寸;其中,所述预设公式为:其中,ds为该人脸关键点在所述纹理特征图中对应的动态调整尺寸;u为该人脸关键点的热力图坐标的不确定度;sigmoid(u)为关于不确定度的预设非线性函数;k为所述偏移值预测模型的样本尺寸。

9.一种人脸关键点定位装置,其特征在于,所述装置包括:

热力图坐标获取模块,用于获取待定位人脸图像的纹理特征图,以及所述待定位人脸图像中的各个人脸关键点的热力图坐标和不确定度;其中,每个人脸关键点的不确定度用于表征该人脸关键点的热力图坐标的准确程度;

关键点坐标确定模块,用于针对每个人脸关键点,在所述待定位人脸图像中,确定该人脸关键点的热力图坐标所对应的初始关键点坐标;

尺寸确定模块,用于针对每个人脸关键点,基于该人脸关键点的不确定度,确定该人脸关键点在所述纹理特征图中对应的动态调整尺寸,并基于所述待定位人脸图像和所述纹理特征图的映射关系,确定所述初始关键点坐标在所述纹理特征图中的目标映射坐标;

区域确定模块,用于针对每个人脸关键点,在所述纹理特征图中,根据所述动态调整尺寸,确定以所述映射坐标为中心的目标纹理特征区域;

偏移值确定模块,用于针对每个人脸关键点,基于预设的纹理特征区域、映射坐标和映射坐标偏移值的对应关系,确定与所述目标纹理特征区域和所述目标映射坐标对应的初始偏移值,并基于所述映射关系,确定所述初始偏移值对应的目标偏移值;

坐标确定模块,用于针对每个人脸关键点,确定所述初始关键点坐标按照所述目标偏移值调整后的目标关键点坐标,作为该人脸关键点在所述待定位人脸图像中的目标坐标。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑8任一所述的方法。