利索能及
我要发布
收藏
专利号: 201710384723X
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视线追踪神经网络的训练方法,其特征在于,包括:利用第一神经网络获取至少一个样本图像中的眼珠转角预估信息,利用第二神经网络获取所述至少一个样本图像中的头部姿态预估信息;其中,所述样本图像标注有视线方向标注信息;

分别针对所述至少一个样本图像中的任一样本图像,根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息,计算视线方向预估信息;

基于所述至少一个样本图像的所述视线方向预估信息和所述视线方向标注信息,对所述第一神经网络和所述第二神经网络进行训练。

2.一种视线追踪方法,其特征在于,包括:

获取目标图像;

利用第一神经网络获取所述目标图像中的眼珠转角预估信息,以及利用第二神经网络获取所述目标图像中的头部姿态预估信息;

基于所述眼珠转角预估信息和所述头部姿态预估信息,计算所述目标图像的视线方向预估信息。

3.一种视线追踪神经网络的训练装置,其特征在于,包括:第一获取模块,用于分别针对至少一个样本图像中的任一样本图像,根据第一神经网络获取到的眼珠转角预估信息和第二神经网络获取到的头部姿态预计信息,计算视线方向预估信息;其中,所述样本图像标注有视线方向标注信息;

第一网络训练模块,用于基于所述至少一个样本图像的视线方向预估信息和所述视线方向标注信息,对所述第一神经网络和所述第二神经网络进行训练。

4.一种视线追踪神经网络的训练系统,其特征在于,包括:第一神经网络、第二神经网络和视线追踪神经网络的训练装置;其中:所述第一神经网络,用于获取至少一个样本图像中的眼珠转角预估信息,所述样本图像标注有视线方向标注信息;

所述第二神经网络,用于获取所述至少一个样本图像中的头部姿态预估信息;

所述视线追踪神经网络的训练装置,用于:

利用第一神经网络获取至少一个样本图像中的眼珠转角预估信息,利用第二神经网络获取所述至少一个样本图像中的头部姿态预估信息;

分别针对所述至少一个样本图像中的任一样本图像,根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息,计算视线方向预估信息;以及基于所述至少一个样本图像的所述视线方向预估信息和所述视线方向标注信息,对所述第一神经网络和所述第二神经网络进行训练。

5.一种视线追踪装置,其特征在于,包括:

第二获取模块,用于获取目标图像;

第一神经网络,用于获取所述目标图像中的眼珠转角预估信息;

第二神经网络,用于获取所述目标图像中的头部姿态预估信息;

第三获取模块,用于基于所述眼珠转角预估信息和所述头部姿态预估信息,获取所述目标图像的视线方向预估信息。

6.一种电子设备,包括:权利要求3所述视线追踪神经网络的训练装置;或者,权利要求

4所述视线追踪神经网络的训练系统;或者,权利要求5所述视线追踪装置。

7.一种电子设备,其特征在于,包括:

存储器,用于存储可执行指令;以及

处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至14任一所述视线追踪神经网络的训练方法的操作。

8.一种电子设备,其特征在于,包括:

存储器,用于存储可执行指令;以及

处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求15至19任一所述视线追踪方法的操作。

9.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现权利要求1所述视线追踪神经网络的训练方法的操作。

10.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现权利要求2所述视线追踪方法的操作。