利索能及
我要发布
收藏
专利号: 2017101985057
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种手部三维数据确定方法,其特征在于,包括:

获取双目摄像系统拍摄的第一手部图像和第二手部图像;

分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓;

根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓,确定各所述关键点的深度信息以及各所述区域轮廓的深度信息;

至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息,确定手部三维数据。

2.根据权利要求1所述的方法,其特征在于,所述关键点包括以下至少之一:指尖、指关节点、掌心。

3.根据权利要求1或2所述的方法,其特征在于,所述覆盖所述关键点的区域轮廓包括以下至少之一:覆盖指尖和/或指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓。

4.根据权利要求1-3所述任一方法,其特征在于,所述手部三维数据包括以下至少之一:各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。

5.根据权利要求1-4所述任一方法,其特征在于,所述分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓包括:分别在所述第一手部图像和第二手部图像中识别掌心;

分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。

6.根据权利要求1-4所述任一方法,其特征在于,所述分别从所述第一手部图像和第二手部图像中识别关键点以及覆盖所述关键点的区域轮廓包括:分别在所述第一手部图像和第二手部图像中识别掌心;

分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置;

分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置,确定各覆盖所述指尖和/或指关节点的手指区域轮廓。

7.根据权利要求1-4所述任一方法,其特征在于,根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓,确定所述关键点的深度信息以及所述区域轮廓的深度信息,包括:根据所述双目摄像系统的摄像参数、掌心在所述第一手部图像和第二手部图像中的位置确定所述掌心的深度信息;

将手掌区域轮廓的边缘点投影到所述掌心所在的深度,得到手掌区域轮廓的深度信息。

8.根据权利要求1-4所述任一方法,其特征在于,根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓,确定所述关键点的深度信息以及所述区域轮廓的深度信息,包括:分别在所述第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量;

根据所述相对位置向量差的模长确定两张图像中相应的各对指尖,以及两张图像中相应的各对手指区域轮廓;

根据所述双目摄像系统的摄像参数、各对指尖在所述第一手部图像和第二手部图像中的位置确定各对指尖的深度信息;

将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度,以得到各对手指区域轮廓的深度信息。

9.一种手部三维数据确定装置,其特征在于,包括:

获取单元,用于获取双目摄像系统拍摄的第一手部图像和第二手部图像;

识别单元,用于分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓;

深度确定单元,用于根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓,确定各所述关键点的深度信息以及各所述区域轮廓的深度信息;

三维数据确定单元,用于至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息,确定手部三维数据。

10.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-8所述任一方法。