利索能及
我要发布
收藏
专利号: 2018105265702
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度传感器的实时手部追踪方法,其特征在于:包括如下步骤:步骤1,原始数据优化,通过深度传感器获取手部在三维空间的深度信息,采用前向运动学完成手部骨骼信息的遮挡修复;基于优化后的骨骼关节点信息,采用卡尔曼滤波算法, 对手掌运动信息进行平滑处理;

步骤2,提取手部区域,利用深度传感器提供的实时三维空间信息,采取连续区域分析 算法从深度图像中提取手部区域,并计算手部三维质心位置;

步骤2.1,粗提取:选取步骤1中追踪到的各个关节间的骨架长度中的最大值作为分离 手部的搜索半径,对搜索半径以内的各像素点进行提取,并进行下一步的过滤选择;小于所述搜索半径的像素点作为下一步细提取的输入,大于所述搜索半径的像素点 则默认为背景像素点,将其深度值置为0;

该搜索半径的定义如下:

步骤2.2,精准提取:采用级联结构的递归连续区域分析算法,精准提取手部区域,通过 比较种子像素点与周围像素点的深度差,来判断相邻两点是否属于连续区域,对于连续区 域的点进一步判断,层层递归,直至得到搜索区域内在三维空间上所有连续的像素点;

步骤2.3,确定手掌心点位置:通过对实时获取的手部区域进行三维空间的质心进行计算,实时获取手部掌心位置;

步骤3,指尖三维位置的实时获取,将距离边缘最远的像素点作为手指骨骼点,以三维测地距离作为几何特征和手指骨骼位置点为备选点。

2.根据权利要求1所述的基于深度传感器的实时手部追踪方法,其特征在于:所述步骤

1包括如下步骤:

步骤1.1,遮挡恢复:当手部被遮挡或部分遮挡时,深度传感器反馈的实时数据存在剧烈的抖动,数据可信度不高,需预测未被深度传感器跟踪的关节位置;通过深度传感器提供的深度数据和骨骼数据相结合方式,对遮挡手部关节点进行修复,利用人体骨骼的长度不变性,将手肘、手、手腕及指尖构成关节链,计算出各个相邻关节间的长度,并将关节的长度与标准的人体骨架进行比对作为遮挡关节修复的依据;

步骤1.2,数据平滑:在受到复杂背景与光照影响时,为了获取更稳定的追踪从而为应用提供更可靠的数据来源,利用卡尔曼滤波器来预测修复当前帧的各个关节位置。

3.根据权利要求2所述的基于深度传感器的实时手部追踪方法,其特征在于:所述步骤

1 .1中,根据已知空间中的两点A(xa ,ya  ,za)、B(x b ,yb ,zb)的坐标信息,由欧几里德度量可得骨骼长度公式:

利用骨骼的长度不变性以及正向运动学来实现对关节潜在位置的预测。

4.根据权利要求2所述的基于深度传感器的实时手部追踪方法,其特征在于:所述步骤

1  .2中,利用前一帧数据对当前位置进行预测,并结合关节点本身的可信度对参数进行选取确定,通过对参数的选择,完成算法对于追踪状态可信度的自适应。

5.根据权利要求1所述的基于深度传感器的实时手部追踪方法,其特征在于:所述步骤

3包括如下步骤:

步骤3.1,手部骨骼点提取:基于手部区域边缘距离对手部骨骼点进行提取,为了提高算法效率和计算准确度,同时从左上角、右下角两个方向计算像素点到边缘距离,并选取两者中的较小值作为手部骨骼点到边界的距离,而目标点与边缘的距离为两个方向计算结果的较小值;对于手部区域的任一像素点,当距离大于周围点的距离,则认为其对应的坐标为手指骨 骼点的位置;

步骤3.2,实时指尖定位:将测地距离应用于三维信息,使用最小三维测地距离作为特征参数,选取与掌心位置最小三维测地距离最大的备选骨骼像素点作为指尖点,并且在计算后续指尖点时消除前序指尖点附近点的干扰。

6.根据权利要求5所述的基于深度传感器的实时手部追踪方法,其特征在于:所述步骤

3.1中,像素点到边缘的距离计算公式为:Distance(x ,y)=min{Distance1(x ,y) ,Distance2(x ,y)}对于手部区域的任一像素点,当Distance值大于周围点的Distance值时,则认为其对应的坐标为手指骨骼点位置。

7.根据权利要求5所述的基于深度传感器的实时手部追踪方法,其特征在于:所述步骤

3 .2中,各点间测地距离关系由下式给出:其中,Origin为测地距离测量的原点,Target为当前求解的目标点,Neighbor为目标点 Target周围已求得3D GSP的临近点;

各像素点之间距离关系由下式给出,。