1.一种手部三维数据确定方法,其特征在于,包括:获取双目摄像系统拍摄的第一手部图像和第二手部图像;
分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓;所述关键点包括:指尖、指关节点、指根和掌心;所述覆盖所述关键点的区域轮廓包括:覆盖指尖和指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓;所述识别至少一关键点以及覆盖所述关键点的区域轮廓,包括:识别所述指尖、指关节点、指根和掌心的位置,确定各个手指区域轮廓的相对分布、手指方向和手掌法向;
根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓,确定各所述关键点的深度信息以及各所述区域轮廓的深度信息;
确定覆盖所述关键点的区域轮廓的点云数据;基于所述点云数据得到手部方向数据;
根据所述点云数据和手部方向数据,确定所述关键点的三维数据。
2.根据权利要求1所述的方法,其特征在于,所述手部三维数据包括以下至少之一:各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。
3.根据权利要求1或2所述的方法,其特征在于,所述分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓包括:分别在所述第一手部图像和第二手部图像中识别掌心;
分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。
4.根据权利要求1或2所述的方法,其特征在于,所述分别从所述第一手部图像和第二手部图像中识别关键点以及覆盖所述关键点的区域轮廓包括:分别在所述第一手部图像和第二手部图像中识别掌心;
分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置;
分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置,确定各覆盖所述指尖和/或指关节点的手指区域轮廓。
5.根据权利要求4所述的方法,其特征在于,在所述分别根据所述第一手部图像和第二手部图像中的所述指尖位置确定手指区域轮廓后,还包括:分别在所述第一手部图像和第二手部图像中根据各个所述手指区域轮廓修正所述指尖位置并确定指根位置;根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布。
6.根据权利要求5所述的方法,其特征在于,所述分别在所述第一手部图像和第二手部图像中根据手指区域轮廓修正所述指尖位置并确定指根位置,包括:分别对各个手指区域轮廓上的边缘点进行主成分分析处理,将得到的主方向作为手指方向;
分别将各所述手指方向上的最大投影点确定为修正后的指尖位置;
分别将各所述手指方向上的最小投影点确定为指根位置。
7.根据权利要求5所述的方法,其特征在于,所述根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布,包括:分别确定各个所述指根位置相对于所述掌心的位置的方向;
确定各个所述指根位置相对于所述掌心的位置的方向的平均方向;
分别将各个所述指根位置相对于所述掌心的位置的方向与所述平均方向进行比对;
剔除偏离所述平均方向大于预设阈值的方向所对应的指根位置;
根据保留的各个指根位置相对于所述掌心的位置的方向确定各个手指的相对分布。
8.根据权利要求3所述的方法,其特征在于,所述分别在所述第一手部图像和第二手部图像中识别掌心,包括:
分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域轮廓;
分别根据所述第一手部图像和第二手部图像中最大连通区域轮廓确定所述掌心的位置。
9.根据权利要求8所述的方法,其特征在于,所述分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定所述覆盖所述掌心的手掌区域轮廓,包括:分别根据2个所述最大连通区域内的各个点到边缘的距离确定初始掌心位置;
分别根据所述初始掌心位置到2个所述最大连通区域的边缘的距离确定手掌半径;
分别根据所述手掌半径确定手掌区域轮廓。
10.根据权利要求4所述的方法,其特征在于,所述分别在所述第一手部图像和第二手部图像中识别掌心,包括:分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域;
分别根据所述第一手部图像和第二手部图像中最大连通区域确定所述掌心的位置;
所述分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置,包括:在所述最大连通区域内确定距所述掌心位置最远的点;
基于所述距所述掌心位置最远的点在所述最大连通区域内确定疑似手指区域轮廓;
根据各个所述疑似手指区域轮廓的形状从各个所述距所述掌心位置最远的点中确定指尖并获取其位置;
所述分别对所述第一手部图像和第二手部图像中的根据所述指尖位置确定手指区域轮廓,包括:
根据各个所述疑似手指区域轮廓的形状从各个所述疑似手指区域轮廓中确定手指区域轮廓。
11.根据权利要求1或2所述的方法,其特征在于,根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓,确定所述关键点的深度信息以及所述区域轮廓的深度信息,包括:
根据所述双目摄像系统的摄像参数、掌心在所述第一手部图像和第二手部图像中的位置确定所述掌心的深度信息;
将手掌区域轮廓的边缘点投影到所述掌心所在的深度,得到手掌区域轮廓的深度信息。
12.根据权利要求1或2所述的方法,其特征在于,根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓,确定所述关键点的深度信息以及所述区域轮廓的深度信息,包括:
分别在所述第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量;
根据所述相对位置向量差的模长确定两张图像中相应的各对指尖,以及两张图像中相应的各对手指区域轮廓;
根据所述双目摄像系统的摄像参数、各对指尖在所述第一手部图像和第二手部图像中的位置确定各对指尖的深度信息;
将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度,以得到各对手指区域轮廓的深度信息。
13.根据权利要求2所述的方法,其特征在于,确定所述区域轮廓的边缘三维点云数据包括:
根据两张手部图像中的对应的各所述手指区域轮廓上的边缘点的位置和所述指尖位置的深度建立手指区域轮廓边缘三维点云数据;和/或根据两张手部图像中的所述手掌区域轮廓上的边缘点的位置和所述掌心位置的深度建立手掌区域轮廓边缘三维点云数据。
14.根据权利要求13所述的方法,其特征在于,确定所述手部方向数据包括:对所述手指区域轮廓边缘三维点云数据进行主成分分析处理,得到主方向记为手指方向;和/或
对所述手掌区域轮廓边缘三维点云数据进行主成分分析处理,得到的最小特征值对应的特征方向记为手掌法向。
15.根据权利要求14所述的方法,其特征在于,确定所述关键点的三维数据包括:将所述手指方向上的最大投影点作为指尖并确定其三维数据;和/或根据所述双目摄像系统的摄像参数确定初始掌心三维位置;
调整所述初始掌心三维位置,得到调整后的掌心三维位置并确定其三维数据。
16.一种手部三维数据确定装置,其特征在于,包括:获取单元,用于获取双目摄像系统拍摄的第一手部图像和第二手部图像;
识别单元,用于分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓;所述关键点包括:指尖、指关节点、指根和掌心;所述覆盖所述关键点的区域轮廓包括:覆盖指尖和指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓;所述识别至少一关键点以及覆盖所述关键点的区域轮廓,包括:识别所述指尖、指关节点、指根和掌心的位置,确定各个手指区域轮廓的相对分布、手指方向和手掌法向;
深度确定单元,用于根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓,确定各所述关键点的深度信息以及各所述区域轮廓的深度信息;
三维数据确定单元,用于确定覆盖所述关键点的区域轮廓的点云数据;基于所述点云数据得到手部方向数据;根据所述点云数据和手部方向数据,确定所述关键点的三维数据。
17.根据权利要求16所述的装置,其特征在于,所述手部三维数据包括以下至少之一:各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。
18.根据权利要求16或17所述的装置,其特征在于,所述识别单元包括:掌心识别单元,用于分别在所述第一手部图像和第二手部图像中识别掌心;
手掌识别单元,用于分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。
19.根据权利要求16或17所述的装置,其特征在于,所述识别单元包括:掌心识别单元,用于分别在所述第一手部图像和第二手部图像中识别掌心;
指尖识别单元,用于分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置;
手指识别单元,用于分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置,确定各覆盖所述指尖和/或指关节点的手指区域轮廓。
20.根据权利要求19所述的装置,其特征在于,还包括:指尖修正单元,用于分别在所述第一手部图像和第二手部图像中根据各个所述手指区域轮廓修正所述指尖位置并确定指根位置;
分布确定单元,用于根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布。
21.根据权利要求20所述的装置,其特征在于,所述分别在所述第一手部图像和第二手部图像中根据手指区域轮廓修正所述指尖位置并确定指根位置,包括:手指方向确定单元,用于分别对各个手指区域轮廓上的边缘点进行主成分分析处理,将得到的主方向作为手指方向;
指尖确定单元,用于分别将各所述手指方向上的最大投影点确定为修正后的指尖位置;
指根确定单元,用于分别将各所述手指方向上的最小投影点确定为指根位置。
22.根据权利要求20所述的装置,其特征在于,所述分布确定单元包括:指根相对方向确定单元,用于分别确定各个所述指根位置相对于所述掌心的位置的方向;
平均方向确定单元,用于确定各个所述指根位置相对于所述掌心的位置的方向的平均方向;
方向比对单元,用于分别将各个所述指根位置相对于所述掌心的位置的方向与所述平均方向进行比对;
剔除单元,用于剔除偏离所述平均方向大于预设阈值的方向所对应的指根位置;
分布识别单元,用于根据保留的各个指根位置相对于所述掌心的位置的方向确定各个手指的相对分布。
23.根据权利要求18所述的装置,其特征在于,所述掌心识别单元包括:连通区域确定单元,用于分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域轮廓;
掌心位置确定单元,用于分别根据所述第一手部图像和第二手部图像中最大连通区域轮廓确定所述掌心的位置。
24.根据权利要求23所述的装置,其特征在于,所述手掌识别单元包括:初始掌心位置确定单元,用于分别根据2个所述最大连通区域内的各个点到边缘的距离确定初始掌心位置;
手掌半径确定单元,用于分别根据所述初始掌心位置到2个所述最大连通区域的边缘的距离确定手掌半径;
手掌区域轮廓确定单元,用于分别根据所述手掌半径确定手掌区域轮廓。
25.根据权利要求19所述的装置,其特征在于,所述掌心识别单元包括:连通区域确定单元,用于分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域;
掌心位置确定单元,用于分别根据所述第一手部图像和第二手部图像中最大连通区域确定所述掌心的位置;
所述指尖识别单元包括:
远点确定单元,用于在所述最大连通区域内确定距所述掌心位置最远的点;
疑似区域确定单元,用于基于所述距所述掌心位置最远的点在所述最大连通区域内确定疑似手指区域轮廓;
指尖确定单元,用于根据各个所述疑似手指区域轮廓的形状从各个所述距所述掌心位置最远的点中确定指尖并获取其位置;
所述手指识别单元包括:
手指确定单元,用于根据各个所述疑似手指区域轮廓的形状从各个所述疑似手指区域轮廓中确定手指区域轮廓。
26.根据权利要求16或17所述的装置,其特征在于,所述深度确定单元包括:掌心深度确定单元,用于根据所述双目摄像系统的摄像参数、掌心在所述第一手部图像和第二手部图像中的位置确定所述掌心的深度信息;
手掌区域深度确定单元,用于将手掌区域轮廓的边缘点投影到所述掌心所在的深度,得到手掌区域轮廓的深度信息。
27.根据权利要求16或17所述的装置,其特征在于,所述深度确定单元包括:相对位置确定单元,用于分别在所述第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量;
手指匹配单元,用于根据所述相对位置向量差的模长确定两张图像中相应的各对指尖,以及两张图像中相应的各对手指区域轮廓;
指尖深度确定单元,用于根据所述双目摄像系统的摄像参数、各对指尖在所述第一手部图像和第二手部图像中的位置确定各对指尖的深度信息;
手指深度确定单元,用于将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度,以得到各对手指区域轮廓的深度信息。
28.根据权利要求17所述的装置,其特征在于,所述三维数据确定单元包括:手指点云数据确定单元,用于根据两张手部图像中的对应的各所述手指区域轮廓上的边缘点的位置和所述指尖位置的深度建立手指区域轮廓边缘三维点云数据;和/或手掌点云数据确定单元,用于根据两张手部图像中的所述手掌区域轮廓上的边缘点的位置和所述掌心位置的深度建立手掌区域轮廓边缘三维点云数据。
29.根据权利要求28所述的装置,其特征在于,所述三维数据确定单元包括:手指方向确定单元,用于对所述手指区域轮廓边缘三维点云数据进行主成分分析处理,得到主方向记为手指方向;和/或手掌法向确定单元,用于对所述手掌区域轮廓边缘三维点云数据进行主成分分析处理,得到的最小特征值对应的特征方向记为手掌法向。
30.根据权利要求29所述的装置,其特征在于,所述三维数据确定单元包括:指尖三维数据确定单元,用于将所述手指方向上的最大投影点作为指尖并确定其三维数据;和/或
掌心三维位置确定单元,用于根据所述双目摄像系统的摄像参数确定初始掌心三维位置;
掌心三维数据确定单元,用于调整所述初始掌心三维位置,得到调整后的掌心三维位置并确定其三维数据。
31.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-15任一项所述的方法。