利索能及
我要发布
收藏
专利号: 2018102578423
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于提取信息的方法,包括:

获取目标用户的第一脸部图像;

基于所述第一脸部图像,确定所述目标用户是否面对目标物体;

响应于确定所述目标用户面对所述目标物体,获取所述目标用户的第二脸部图像,以及基于所述第二脸部图像对所述目标用户进行面部动作识别,得到用户面部动作信息;

响应于确定所述用户面部动作信息符合预设条件,提取预设的、针对所述目标物体的控制信息;

其中,所述基于所述第一脸部图像,确定所述目标用户是否面对目标物体,包括:从所述第一脸部图像中提取眼部图像;

针对所述眼部图像进行视线估计,确定所述目标用户的双眼视线交点位置信息;

获取目标物体的位置信息;

响应于确定所述双眼视线交点位置信息表征的双眼视线交点位于所述位置信息表征的目标位置占据的三维空间范围内,确定所述目标用户面对所述目标物体。

2.根据权利要求1所述的方法,其中,所述基于所述第一脸部图像,确定所述目标用户是否面对目标物体,包括:对所述第一脸部图像进行人脸姿态估计,确定所述第一脸部图像表征的所述目标用户的正面姿态角,其中,所述正面姿态角用于表征所述目标用户的人脸的正面朝向相对于拍摄得到所述第一脸部图像的设备的偏转程度;

基于所述正面姿态角确定所述目标用户是否面对目标物体。

3.根据权利要求2所述的方法,其中,所述对所述第一脸部图像进行人脸姿态估计,确定所述目标用户的正面姿态角,包括:将所述第一脸部图像输入预先训练的人脸识别模型,得到所述目标用户的正面姿态角,其中,所述人脸识别模型用于表征第一脸部图像与第一脸部图像所表征的人脸的正面姿态角的对应关系。

4.根据权利要求2或3所述的方法,其中,所述基于所述正面姿态角确定所述目标用户是否面对目标物体,包括:确定所述正面姿态角是否在预设角度范围内;

响应于确定所述正面姿态角在预设角度范围内,确定所述目标用户面对目标物体。

5.根据权利要求1所述的方法,其中,所述针对所述眼部图像进行视线估计,确定所述目标用户的双眼视线交点的位置,包括:将所述眼部图像输入预先训练的视线估计模型,得到所述目标用户的双眼视线交点位置信息,其中,所述视线估计模型用于表征眼部图像与双眼视线交点的位置的对应关系。

6.根据权利要求5所述的方法,其中,所述视线估计模型通过如下步骤训练得到:获取多个样本眼部图像和所述多个样本眼部图像中的每个样本眼部图像对应的样本双眼视线交点位置信息;

利用机器学习方法,将所述多个样本眼部图像中的每个样本眼部图像作为输入,将输入的样本眼部图像对应的样本双眼视线交点位置信息作为输出,训练得到视线估计模型。

7.一种用于提取信息的装置,包括:

获取单元,配置用于获取目标用户的第一脸部图像;

确定单元,配置用于基于所述第一脸部图像,确定所述目标用户是否面对目标物体;

识别单元,配置用于响应于确定所述目标用户面对所述目标物体,获取所述目标用户的第二脸部图像,以及基于所述第二脸部图像对所述目标用户进行面部动作识别,得到用户面部动作信息;

提取单元,配置用于响应于确定所述用户面部动作信息符合预设条件,提取预设的、针对所述目标物体的控制信息;

其中,所述确定单元包括:

提取模块,配置用于从所述第一脸部图像中提取眼部图像;

第二估计模块,配置用于针对所述眼部图像进行视线估计,确定所述目标用户的双眼视线交点位置信息;

获取模块,配置用于获取目标物体的位置信息;

第二确定模块,配置用于响应于确定所述双眼视线交点位置信息表征的双眼视线交点位于所述位置信息表征的目标位置占据的三维空间范围内,确定所述目标用户面对所述目标物体。

8.根据权利要求7所述的装置,其中,所述确定单元包括:第一估计模块,配置用于对所述第一脸部图像进行人脸姿态估计,确定所述第一脸部图像表征的所述目标用户的正面姿态角,其中,所述正面姿态角用于表征所述目标用户的人脸的正面朝向相对于拍摄得到所述第一脸部图像的设备的偏转程度;

第一确定模块,配置用于基于所述正面姿态角确定所述目标用户是否面对目标物体。

9.根据权利要求8所述的装置,其中,所述第一估计模块进一步配置用于:将所述第一脸部图像输入预先训练的人脸识别模型,得到所述目标用户的正面姿态角,其中,所述人脸识别模型用于表征第一脸部图像与第一脸部图像所表征的人脸的正面姿态角的对应关系。

10.根据权利要求8或9所述的装置,其中,所述第一确定模块包括:第一确定子模块,配置用于确定所述正面姿态角是否在预设角度范围内;

第二确定子模块,配置用于响应于确定所述正面姿态角在预设角度范围内,确定所述目标用户面对目标物体。

11.根据权利要求7所述的装置,其中,所述第二估计模块进一步配置用于:将所述眼部图像输入预先训练的视线估计模型,得到所述目标用户的双眼视线交点位置信息,其中,所述视线估计模型用于表征眼部图像与双眼视线交点的位置的对应关系。

12.根据权利要求11所述的装置,其中,所述视线估计模型通过如下步骤训练得到:获取多个样本眼部图像和所述多个样本眼部图像中的每个样本眼部图像对应的样本双眼视线交点位置信息;

利用机器学习方法,将所述多个样本眼部图像中的每个样本眼部图像作为输入,将输入的样本眼部图像对应的样本双眼视线交点位置信息作为输出,训练得到视线估计模型。

13.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑6中任一所述的方法。

14.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1‑6中任一所述的方法。