利索能及
我要发布
收藏
专利号: 2021114453261
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人机交互方法,其特征在于,应用于三维显示设备,所述三维显示设备包括三维显示屏和相机,所述方法包括:获取所述相机采集的第一手部图像;

基于所述第一手部图像,确定手部的多个关节点的坐标;

基于所述多个关节点的坐标,确定所述手部的三维旋转信息和三维平移信息;

基于所述手部的三维旋转信息和三维平移信息,控制目标虚拟物体进行与所述手部的旋转和平移一致的运动,所述目标虚拟物体为所述三维显示屏显示的多个虚拟物体中当前被选中的虚拟物体;

获取所述相机采集的第四手部图像;

基于所述第四手部图像,确定所述手部的位姿和动作;

基于所述手部的位姿,生成一条手部射线;

基于所述手部射线和所述手部的动作,控制所述目标虚拟物体按照所述手部射线的指向进行移动,以及进行所述手部的动作相一致的动作。

2.根据权利要求1所述的方法,其特征在于,所述多个关节点包括手腕节点和指根节点;

所述基于所述多个关节点的坐标,确定所述手部的三维旋转信息和三维平移信息,包括:基于所述多个关节点的坐标,建立所述手部的刚体模型;

基于所述刚体模型,以及所述手腕节点的坐标和指根节点的坐标,确定所述手腕节点的三维旋转信息和三维平移信息;

将所述手腕节点的三维旋转信息和三维平移信息,作为所述手部的三维旋转信息和三维平移信息。

3.根据权利要求1所述的方法,其特征在于,所述基于所述第一手部图像,确定手部的多个关节点的坐标,包括:将所述第一手部图像输入第一神经网络模型,以得到所述第一神经网络模型输出的所述多个关节点的坐标。

4.根据权利要求3所述的方法,其特征在于,所述获取第一手部图像之前,还包括:获取所述相机采集的第二手部图像;

基于所述第二手部图像,确定所述手部与所述多个虚拟物体中各个虚拟物体之间的距离;

如果所述多个虚拟物体中存在与所述手部之间的距离小于第一阈值的虚拟物体,则将所述多个虚拟物体中与所述手部之间的距离最小的虚拟物体确定为所述目标虚拟物体,并选中所述目标虚拟物体。

5.根据权利要求4所述的方法,其特征在于,所述基于所述第二手部图像,确定所述手部与所述多个虚拟物体中各个虚拟物体之间的距离之后,还包括:如果所述多个虚拟物体中不存在与所述手部之间的距离小于所述第一阈值的虚拟物体,则基于一帧或多帧第三手部图像,识别所述手部的手势,所述一帧或多帧第三手部图像中的最后一帧图像为所述第二手部图像;

如果识别到的手势为第一预定义手势,则基于所述第二手部图像,确定所述手部的位姿;

基于所述手部的位姿,确定一条手部射线;

将所述多个虚拟物体中与所述手部射线相交的虚拟物体确定为所述目标虚拟物体,并选中所述目标虚拟物体。

6.根据权利要求5所述的方法,其特征在于,所述第一预定义手势为手掌张开且朝向所述三维显示屏的手势,所述手部射线与所述手掌所在平面垂直,所述手部的位姿包括所述手掌的位置和角度;或者,所述第一预定义手势为一根手指指向所述三维显示屏的手势,所述手部射线的方向与所述手指的指向一致,所述手部的位姿包括所述手指的位置和指向。

7.根据权利要求6所述的方法,其特征在于,所述基于一帧或多帧第三手部图像,识别所述手部的手势,包括:将所述一帧或多帧第三手部图像输入第二神经网络模型,以得到所述第一神经网络模型输出的手势识别结果。

8.根据权利要求6所述的方法,其特征在于,所述基于一帧或多帧第三手部图像,识别所述手部的手势,包括:将所述一帧或多帧第三手部图像输入第一神经网络模型,以得到所述第一神经网络模型输出的一个或多个关节点坐标集,所述一个或多个关节点坐标集与所述一帧或多帧第三手部图像一一对应;

将所述一个或多个关节点坐标集输入第三神经网络模型,以得到所述第三神经网络模型输出的手势识别结果。

9.一种三维显示设备,其特征在于,所述三维显示设备包括三维显示屏、处理器和相机;

所述三维显示屏用于显示虚拟物体;

所述相机用于采集手部图像;

所述处理器用于实现权利要求1‑8任一所述方法的步骤。

10.根据权利要求9所述的三维显示设备,其特征在于,所述三维显示屏还用于显示手部射线,所述手部射线基于所述手部图像生成。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑8任一所述方法的步骤。