利索能及
我要发布
收藏
专利号: 2018115536838
申请人: 杭州海康威视系统技术有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人员注意力检测方法,其特征在于,包括:

获取待检测人员的人脸分析数据和行为分析数据;

基于所述人脸分析数据,确定所述待检测人员的第一注意力得分;

基于所述行为分析数据,确定所述待检测人员的第二注意力得分;

根据所述第一注意力得分和所述第二注意力得分,得到所述待检测人员的注意力检测结果;

所述基于所述人脸分析数据,确定所述待检测人员的第一注意力得分,包括:基于所述人脸分析数据,判断所述待检测人员是否处于抬头状态;

根据判断结果,确定所述待检测人员的第一注意力得分;

确定所述待检测人员的第一注意力得分,包括:

根据所述人脸分析数据,统计同一时刻下处于抬头状态的人员数量,作为待处理数量;

根据预先设定的抬头数量与抬头分值的对应关系,确定所述待处理数量对应的抬头分值;

根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果,得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。

2.根据权利要求1所述的方法,其特征在于,若所述待检测人员的数量大于一,在所述获取待检测人员的人脸分析数据和行为分析数据之后,还包括:识别属于同一待检测人员的人脸分析数据和行为分析数据。

3.根据权利要求2所述的方法,其特征在于,所述人脸分析数据中包括人脸坐标,所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标;所述行为分析数据中包括人体坐标,所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标;

所述识别属于同一待检测人员的人脸分析数据和行为分析数据,包括:根据所述人脸坐标与所述人体坐标之间的距离,确定属于同一待检测人员的人脸分析数据和行为分析数据。

4.根据权利要求1所述的方法,其特征在于,所述人脸分析数据中包括第一时刻,所述第一时刻为所述人脸分析数据对应的图像采集时刻;所述行为分析数据中包括第二时刻,所述第二时刻为所述行为分析数据对应的图像采集时刻;

在所述获取待检测人员的人脸分析数据和行为分析数据之后,还包括:判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值;其中,所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻;

如果大于,执行所述基于所述人脸分析数据,确定所述待检测人员的第一注意力得分的步骤;

判断所述第二时刻与第四时刻间隔是否大于第二预设阈值;其中,所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻;

如果大于,执行所述基于所述行为分析数据,确定所述待检测人员的第二注意力得分的步骤。

5.根据权利要求1所述的方法,其特征在于,所述人脸分析数据中包括待检测人员的表情信息;所述基于所述人脸分析数据,确定所述待检测人员的第一注意力得分,包括:根据预先设定的表情与表情分值的对应关系,确定所述待检测人员的表情信息对应的表情分值;

根据所确定的表情分值,得到所述待检测人员的第一注意力得分。

6.根据权利要求1所述的方法,其特征在于,所述行为分析数据中包括待检测人员的人体朝向信息;所述基于所述行为分析数据,确定所述待检测人员的第二注意力得分,包括:根据预先设定的人体朝向与朝向分值的对应关系,确定所述待检测人员的人体朝向信息对应的朝向分值;

根据所确定的朝向分值,得到所述待检测人员的第二注意力得分。

7.根据权利要求6所述的方法,其特征在于,所述根据预先设定的人体朝向与朝向分值的对应关系,确定所述待检测人员的人体朝向信息对应的朝向分值,包括:若所述待检测人员的人体朝向为第一方向,则确定所述待检测人员的朝向分值为第一数值;

若所述待检测人员的人体朝向为第二方向,则确定所述待检测人员的朝向分值为第二数值;

若所述待检测人员的人体朝向为第三方向,则根据所述待检测人员的人脸分析数据,确定所述待检测人员的人脸朝向,根据所述人脸朝向及所述第三方向,确定所述待检测人员的朝向分值。

8.根据权利要求1所述的方法,其特征在于,所述行为分析数据中包括待检测人员的人体行为信息;所述基于所述行为分析数据,确定所述待检测人员的第二注意力得分,包括:根据预先设定的行为信息与行为分值的对应关系,确定所述待检测人员的人体行为信息对应的行为分值;

根据所确定的行为分值,得到所述待检测人员的第二注意力得分。

9.根据权利要求1所述的方法,其特征在于,所述获取待检测人员的人脸分析数据和行为分析数据,包括:获取针对多个待检测人员的、不同时刻的多份分析数据,其中每份分析数据包括一份人脸分析数据和一份行为分析数据;

所述基于所述人脸分析数据,确定所述待检测人员的第一注意力得分,包括:针对每个待检测人员,基于该待检测人员的多份人脸分析数据,得到多项第一注意力得分;计算所述多项第一注意力得分的平均值,作为人脸平均得分;

所述基于所述行为分析数据,确定所述待检测人员的第二注意力得分,包括:针对每个待检测人员,基于该待检测人员的多份行为分析数据,得到多项第二注意力得分;计算所述多项第二注意力得分的平均值,作为人体平均得分;

所述根据所述第一注意力得分和所述第二注意力得分,得到所述待检测人员的注意力检测结果,包括:识别属于同一待检测人员的人脸分析数据和行为分析数据;

针对每个待检测人员,根据该待检测人员的人脸平均得分和人体平均得分,得到该待检测人员的注意力检测结果。

10.根据权利要求9所述的方法,其特征在于,所述人脸分析数据中包括人脸坐标,所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标;所述行为分析数据中包括人体坐标,所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标;所述识别属于同一待检测人员的人脸分析数据和行为分析数据,包括:在所述人脸分析数据中,识别出属于同一待检测人员的多份人脸坐标;

针对每个待检测人员,计算该待检测人员的多份人脸坐标的平均值,作为该待检测人员的平均人脸坐标;

针对每份人体坐标,计算该人体坐标与全部平均人脸坐标之间的距离;确定最小距离对应的目标平均人体坐标;确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。

11.一种人员注意力检测装置,其特征在于,包括:

第一获取模块,用于获取待检测人员的人脸分析数据和行为分析数据;

第一确定模块,用于基于所述人脸分析数据,确定所述待检测人员的第一注意力得分;

第二确定模块,用于基于所述行为分析数据,确定所述待检测人员的第二注意力得分;

检测模块,用于根据所述第一注意力得分和所述第二注意力得分,得到所述待检测人员的注意力检测结果;

所述第一确定模块,具体用于:

基于所述人脸分析数据,判断所述待检测人员是否处于抬头状态;

根据判断结果,确定所述待检测人员的第一注意力得分;

所述第一确定模块还用于:

根据所述人脸分析数据,统计同一时刻下处于抬头状态的人员数量,作为待处理数量;

根据预先设定的抬头数量与抬头分值的对应关系,确定所述待处理数量对应的抬头分值;

根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果,得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。

12.根据权利要求11所述的装置,其特征在于,所述装置还包括:识别模块,用于在所述待检测人员的数量大于一的情况下,在所述获取待检测人员的人脸分析数据和行为分析数据之后,识别属于同一待检测人员的人脸分析数据和行为分析数据。

13.根据权利要求12所述的装置,其特征在于,所述人脸分析数据中包括人脸坐标,所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标;所述行为分析数据中包括人体坐标,所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标;

所述识别模块,具体用于:根据所述人脸坐标与所述人体坐标之间的距离,确定属于同一待检测人员的人脸分析数据和行为分析数据。

14.根据权利要求11所述的装置,其特征在于,所述人脸分析数据中包括第一时刻,所述第一时刻为所述人脸分析数据对应的图像采集时刻;所述行为分析数据中包括第二时刻,所述第二时刻为所述行为分析数据对应的图像采集时刻;所述装置还包括:第一判断模块,用于在获取待检测人员的人脸分析数据之后,判断所述第一时刻与第三时刻的间隔是否大于第一预设阈值;其中,所述第三时刻为上一次处理的人脸分析数据中包括的图像采集时刻;如果大于,触发所述第一确定模块;

第二判断模块,用于在获取待检测人员的行为分析数据之后,判断所述第二时刻与第四时刻间隔是否大于第二预设阈值;其中,所述第四时刻为上一次处理的行为分析数据中包括的图像采集时刻;如果大于,触发所述第二确定模块。

15.根据权利要求11所述的装置,其特征在于,所述人脸分析数据中包括待检测人员的表情信息;所述第一确定模块,具体用于:根据预先设定的表情与表情分值的对应关系,确定所述待检测人员的表情信息对应的表情分值;

根据所确定的表情分值,得到所述待检测人员的第一注意力得分。

16.根据权利要求11所述的装置,其特征在于,所述行为分析数据中包括待检测人员的人体朝向信息;所述第二确定模块,包括:第一确定子模块,用于根据预先设定的人体朝向与朝向分值的对应关系,确定所述待检测人员的人体朝向信息对应的朝向分值;

第二确定子模块,用于根据所确定的朝向分值,得到所述待检测人员的第二注意力得分。

17.根据权利要求16所述的装置,其特征在于,所述第一确定子模块,具体用于:若所述待检测人员的人体朝向为第一方向,则确定所述待检测人员的朝向分值为第一数值;

若所述待检测人员的人体朝向为第二方向,则确定所述待检测人员的朝向分值为第二数值;

若所述待检测人员的人体朝向为第三方向,则根据所述待检测人员的人脸分析数据,确定所述待检测人员的人脸朝向,根据所述人脸朝向及所述第三方向,确定所述待检测人员的朝向分值。

18.根据权利要求11所述的装置,其特征在于,所述行为分析数据中包括待检测人员的人体行为信息;所述第二确定模块,包括:第三确定子模块,用于根据预先设定的行为信息与行为分值的对应关系,确定所述待检测人员的人体行为信息对应的行为分值;

第四确定模块,用于根据所确定的行为分值,得到所述待检测人员的第二注意力得分。

19.根据权利要求11所述的装置,其特征在于,所述第一获取模块,具体用于:获取针对多个待检测人员的、不同时刻的多份分析数据,其中每份分析数据包括一份人脸分析数据和一份行为分析数据;

所述第一确定模块,具体用于:针对每个待检测人员,基于该待检测人员的多份人脸分析数据,得到多项第一注意力得分;计算所述多项第一注意力得分的平均值,作为人脸平均得分;

所述第二确定模块,具体用于:针对每个待检测人员,基于该待检测人员的多份行为分析数据,得到多项第二注意力得分;计算所述多项第二注意力得分的平均值,作为人体平均得分;

所述检测模块,具体用于:识别属于同一待检测人员的人脸分析数据和行为分析数据;

针对每个待检测人员,根据该待检测人员的人脸平均得分和人体平均得分,得到该待检测人员的注意力检测结果。

20.根据权利要求19所述的装置,其特征在于,所述人脸分析数据中包括人脸坐标,所述人脸坐标为所述人脸分析数据对应的人脸区域在源图像中的坐标;所述行为分析数据中包括人体坐标,所述人体坐标为所述行为分析数据对应的人体区域在源图像中的坐标;所述检测模块,还用于:在所述人脸分析数据中,识别出属于同一待检测人员的多份人脸坐标;

针对每个待检测人员,计算该待检测人员的多份人脸坐标的平均值,作为该待检测人员的平均人脸坐标;

针对每份人体坐标,计算该人体坐标与全部平均人脸坐标之间的距离;确定最小距离对应的目标平均人体坐标;确定所述目标平均人体坐标对应的人脸分析数据与该人体坐标所属的行为分析数据属于同一待检测人员。

21.一种人员注意力检测系统,其特征在于,包括:人脸分析服务器、行为分析服务器和融合分析服务器;其中,所述人脸分析服务器,用于对人脸图像进行分析,得到人脸分析数据;将所述人脸分析数据发送至所述融合分析服务器;

所述行为分析服务器,用于在人体图像中识别待检测人员的人体行为,得到行为分析数据;将所述行为分析数据发送至所述行为分析服务器;

所述融合分析服务器,用于基于所述人脸分析数据,确定待检测人员的第一注意力得分;基于所述行为分析数据,确定待检测人员的第二注意力得分;根据所述第一注意力得分和所述第二注意力得分,得到待检测人员的注意力检测结果;

所述融合分析服务器,具体用于:

基于所述人脸分析数据,判断所述待检测人员是否处于抬头状态;

根据判断结果,确定所述待检测人员的第一注意力得分;

所述融合分析服务器还用于:

根据所述人脸分析数据,统计同一时刻下处于抬头状态的人员数量,作为待处理数量;

根据预先设定的抬头数量与抬头分值的对应关系,确定所述待处理数量对应的抬头分值;

根据所确定的抬头分值、以及判断所述待检测人员是否处于抬头状态的判断结果,得到所述同一时刻下处于抬头状态的待检测人员的第一注意力得分。

22.根据权利要求21所述的系统,其特征在于,所述系统还包括:采集设备,用于采集待检测人员的人脸图像和人体图像,将所述人脸图像发送至所述人脸分析服务器,将所述人体图像发送至所述行为分析服务器。

23.一种电子设备,其特征在于,包括处理器和存储器;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1‑10任一所述的方法步骤。

24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑10任一所述的方法步骤。