利索能及
我要发布
收藏
专利号: 2018104621767
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人机交互的信息处理方法,其特征在于,所述方法包括:在人机交互过程中,根据各时间点和相关的动作提示的对应关系,最晚在各所述时间点到达时,在交互界面显示对应的所述时间点相关的所述动作提示;

采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作;

根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征;

根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征,为所述用户在交互中的一系列动作进行评价。

2.根据权利要求1所述的方法,其特征在于,根据各时间点和相关的动作提示的对应关系,最晚在各所述时间点到达时,在交互界面显示对应的所述时间点相关的所述动作提示之前,所述方法还包括:采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点;

根据所述特征提取模型,从所述设计者做出的各所述动作中提取所述动作特征;

建立各所述时间点和对应的所述动作特征的对应关系;

根据各所述动作特征生成对应的所述动作提示;

建立各所述时间点和对应的所述动作提示的对应关系。

3.根据权利要求1所述的方法,其特征在于,所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

4.根据权利要求3所述的方法,其特征在于,根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征,具体包括如下至少一种:根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征;

根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征;和根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。

5.根据权利要求1所述的方法,其特征在于,采用预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征之前,所述方法还包括:采集数条训练数据;各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征;

根据所述数条训练数据训练所述特征提取模型。

6.根据权利要求1所述的方法,其特征在于,根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征,为所述用户在交互中的一系列动作进行评价,具体包括:根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征,验证各所述时间点的所述用户的所述动作特征是否正确;

根据各所述时间点的所述用户的所述动作特征是否正确,在对应的所述时间点为所述用户积分;

统计所述用户在各所述时间点的打分,得到所述用户在交互中的最终打分。

7.一种人机交互的信息处理装置,其特征在于,所述装置包括:显示模块,用于在人机交互过程中,根据各时间点和相关的动作提示的对应关系,最晚在各所述时间点到达时,在交互界面显示对应的所述时间点相关的所述动作提示;

采集模块,用于采集用户根据各所述时间点相关的所述动作提示所做出的非接触式的动作;

提取模块,用于根据预先训练的特征提取模型从采集的所述用户的动作中提取对应的动作特征;

打分模块,用于根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征,为所述用户在交互中的一系列动作进行评价。

8.根据权利要求7所述的装置,其特征在于,所述装置还包括建立模块和生成模块;

所述采集模块,还用于采集设计者在人机交互过程中做出的各非接触式的动作以及各所述动作做出时对应的游戏中的所述时间点;

所述提取模块,还用于根据所述特征提取模型,从所述设计者做出的各所述动作中提取所述动作特征;

所述建立模块,用于建立各所述时间点和对应的所述动作特征的对应关系;

所述生成模块,用于根据各所述动作特征生成对应的所述动作提示;

所述建立模块,还用于建立各所述时间点和对应的所述动作提示的对应关系。

9.根据权利要求7所述的装置,其特征在于,所述动作包括人脸动作、面部表情动作以及手势动作中的至少一个。

10.根据权利要求9所述的装置,其特征在于,所述提取模块,具体用于执行如下至少一种操作:根据人脸动作特征提取模型从采集的所述用户的人脸动作中提取对应的人脸动作特征;

根据预先训练的面部表情特征提取模型从采集的所述用户的面部表情中提取对应的面部表情特征;和根据预先训练的手势特征提取模型从采集的所述用户的手势动作中提取对应的手势特征。

11.根据权利要求7所述的装置,其特征在于,所述装置还包括训练模块;

所述采集模块,还用于采集数条训练数据;各所述训练数据中包括训练动作和所述训练动作对应的已知动作特征;

所述训练模块,用于根据所述数条训练数据训练所述特征提取模型。

12.根据权利要求8所述的装置,其特征在于,所述打分模块,具体用于:根据预设的各所述时间点与对应的动作特征的对应关系、以及各所述时间点提取的所述用户的所述动作特征,验证各所述时间点的所述用户的所述动作特征是否正确;

根据各所述时间点的所述用户的所述动作特征是否正确,在对应的所述时间点为所述用户积分;

统计所述用户在各所述时间点的打分,得到所述用户在交互中的最终打分。

13.一种计算机设备,其特征在于,所述设备包括:一个或多个处理器;

存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

14.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。