利索能及
我要发布
收藏
专利号: 2018107302585
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 2026-08-05
联系人

摘要:

权利要求书:

1.一种人脸质量评估网络的训练方法,其特征在于,

所述人脸质量评估网络包括:顺次连接的分支网络组、特征融合网络层和第一输出网络层;其中,所述分支网络组包括作为并列分支的至少两个分支网络层,每个分支网络层对应一个特征评估网络,且每个分支网络层为所对应特征评估网络中的特征提取网络层,每个特征评估网络还包括第二输出网络层;

所述方法包括:

针对每个特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数;

在完成对每个特征评估网络的训练之后,在训练得到的每个特征评估网络的特征提取网络层的网络参数的基础上,基于第二样本图像数据和所述第一输出网络层的输出,对所述人脸质量评估网络进行训练,得到用于人脸质量评估的人脸质量评估网络。

2.根据权利要求1所述的方法,其特征在于,所述至少两个分支网络层对应的特征评估网络包括:用于评估人脸关键点的第一特征评估网络、用于评估图像亮度的第二特征评估网络、用于评估图像清晰度的第三特征评估网络、用于评估人脸角度的第四特征评估网络和用于评估人脸遮挡程度的第五特征评估网络。

3.根据权利要求2所述的方法,其特征在于,所述针对每个特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数的步骤,包括:针对第一类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数;其中,所述第一类网络包括:所述第一特征评估网络、第二特征评估网络和第三特征评估网络;

针对所述第二类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以所述第一类网络中的一个或多个特征评估网络所提取的特征图作为监督信息,对该特征评估网络进行训练;其中,所述第二类网络包括:第四特征评估网络和第五特征评估网络。

4.根据权利要求3所述的方法,其特征在于,所述针对所述第一类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数的步骤,包括:针对所述第一类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以所述第二类网络中的一个或多个特征评估网络所提取的特征图作为监督信息,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数。

5.根据权利要求3所述的方法,其特征在于,所述针对所述第二类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以所述第一类网络中的一个或多个特征评估网络所提取的特征图作为监督信息,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数的步骤,包括:针对所述第二类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以所述第一特征评估网络所提取的特征图作为监督信息,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数。

6.根据权利要求5所述的方法,其特征在于,所述第一特征评估网络的特征提取网络层包括:顺次连接的第一特征提取子层和第二特征提取子层;

所述针对所述第二类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以所述第一特征评估网络所提取的特征图作为监督信息,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数的步骤,包括:针对所述第二类网络中的每一特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以所述第一特征评估网络中的第一特征提取子层所提取的特征图作为监督信息,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数。

7.根据权利要求6所述的方法,其特征在于,所述第四特征评估网络的特征提取网络层包括:顺次连接的第三特征提取子层、第一特征融合子层和第四特征提取子层,所述第一特征融合子层还与所述第一特征提取子层相连接;

所述第五特征评估网络的特征提取网络层包括:顺次连接的第五特征提取子层、第二特征融合子层和第六特征提取子层,所述第二特征融合子层还与所述第一特征提取子层相连接。

8.根据权利要求2-7任一项所述的方法,其特征在于,所述至少两个分支网络层对应的特征评估网络还包括:用于评估图像类别的第六特征评估网络,其中,所述图像类别为非人脸、不规范的人脸或规范的人脸。

9.根据权利要求8所述的方法,其特征在于,针对每个特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数的步骤,包括:针对所述第六特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,以第三类网络中的一个或多个特征评估网络中所提取的特征图作为监督信息,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数,其中,所述第三类网络包括除所述第六特征评估网络以外的特征评估网络。

10.根据权利要求8所述的方法,其特征在于,所述人脸质量评估网络还包括:基础网络层,所述基础网络层为所述第一特征评估网络中的特征提取网络层,所述基础网络层的输出内容为所述分支网络组中各个分支网络层的输入内容。

11.根据权利要求1-7任一项所述的方法,其特征在于,所述第一输出网络层包括:特征提取子层和分数回归子层;

其中,所述特征提取子层的输入内容为所述特征融合网络层的输出内容,所述分数回归子层的输入内容为所述特征提取子层的输出内容,所述分数回归子层的输出内容为质量评估分数。

12.根据权利要求1-7任一项所述的方法,其特征在于,所述基于第二样本图像数据和所述第一输出网络层的输出,对所述人脸质量评估网络进行训练,得到用于人脸质量评估的人脸质量评估网络的步骤,包括:基于第二样本图像数据、所述第一输出网络层的输出和所述第二样本图像数据对应的质量评估分数,对所述人脸质量评估网络进行训练,得到用于人脸质量评估的人脸质量评估网络;

其中,所述第二样本图像数据的质量评估分数为:基于目标相似度所确定的分数,所述目标相似度为所述第二样本图像数据和所述第二样本图像数据对应的参照图像数据间的相似度,所述参照图像数据与所述第二样本图像数据为同一人物的人脸图像数据,且所述参照图像数据为包括完整脸部信息的图像。

13.一种人脸质量评估方法,其特征在于,包括:

获得待评估的目标人脸图像;

将所述目标人脸图像输入至预先训练的人脸质量评估网络,得到所述目标人脸图像的质量评估分数;其中,所述人脸质量评估网络为基于权利要求1-12任一项所述的方法所训练的网络。

14.一种人脸质量评估网络的训练装置,其特征在于,所述人脸质量评估网络包括:顺次连接的分支网络组、特征融合网络层和第一输出网络层;其中,所述分支网络组包括作为并列分支的至少两个分支网络层,每个分支网络层对应一个特征评估网络,且每个分支网络层为所对应特征评估网络中的特征提取网络层,每个特征评估网络还包括第二输出网络层;

所述装置包括:

第一训练单元,用于针对每个特征评估网络,基于第一样本图像数据和该特征评估网络所包括的第二输出网络层的输出,对该特征评估网络进行训练,得到该特征评估网络的特征提取网络层的网络参数;

第二训练单元,用于在完成对每个特征评估网络的训练之后,在训练得到的每个特征评估网络的特征提取网络层的网络参数的基础上,基于第二样本图像数据和所述第一输出网络层的输出,对所述人脸质量评估网络进行训练,得到用于人脸质量评估的人脸质量评估网络。

15.一种人脸质量评估装置,其特征在于,包括:

获得单元,用于获得待评估的目标人脸图像;

确定单元,用于将所述目标人脸图像输入至预先训练的人脸质量评估网络,得到所述目标人脸图像的质量评估分数;其中,所述人脸质量评估网络为基于权利要求1-12任一项所述的方法所训练的网络。

16.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1-12任一所述的方法步骤。

17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求13所述的方法步骤。