利索能及
我要发布
收藏
专利号: 201310204961X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Kinect的中国手语识别方法,其特征在于,包括以下步骤:步骤1:利用Kinect获取特定手语的手深度信息和人体主要部位的骨骼关节点3D坐标信息;步骤2:根据手深度信息和关节点3D坐标信息计算特征值,分别获取手型特征信息、位置特征信息和方向特征信息;步骤3:根据上述特征信息分别计算手型基元、位置基元和方向基元;步骤4:通过组合特定的手型基元、位置基元和方向基元,与数据库中存储的标准基元比较,实时识别出待识别手语的含义;

所述步骤1进一步包括:利用Kinect的手心获取函数获取手心3D坐标,并以手心为中心,提取出100*100大小的深度信息构成手的深度信息;利用骨骼提取函数获得人体上半身包括左手、左肘、左肩、右手、右肘、右肩、颈部7个主要关节点的3D坐标信息;

步骤2进一步包括:从获取的手的深度信息中交替获取2500个像素点,并将其中的任一个像素点x与掌心的距离除以所有像素点到手心的最大距离,确保每个像素点的特征值在[0,1]之间,获得2500维手型特征信息。

2.如权利要求1所述的方法,其特征在于:根据获取的人体上半身7个主要关节点的3D坐标计算它们之间的坐标关系,具体包括:计算左手与左肘、左肩的三维坐标关系,右手与右肘、右肩的三维坐标关系,左右手的三维坐标关系与距离,手、肩和颈部的三角关系,以及双手与颈部的三角关系,将上述关系构成21维的双手位置坐标关系信息,再对21维双手位置关系信息值进行PCA降维处理,取降维后的四个主成分值作为手语的位置特征信息。

3.如权利要求2所述的方法,其特征在于:对获取的手深度信息进行处理,首先通过cvThreshold()函数将手深度信息进行二值化处理,然后利用cvFindContours()、cvConvexHull2()和cvConvexityDefects()函数分别获取手型的轮廓、凸包和缺陷图像信息,最后结合原始的3D深度坐标信息确定手的指尖坐标;计算手心坐标到指尖坐标的单位向量(x1,y1,z1),得到手型方向信息;利用双手手肘坐标和手腕坐标,计算手肘到手腕的单位向量(x2,y2,z2),得到手肘方向信息;结合手掌方向和手肘方向根据公式:k(x1,y1,z1)+(1-k)(x2,y2,z2)确定手语的方向特征信息,其中,k为距离参数。

4.如权利要求2所述的方法,其特征在于:采用ABCLTree聚类集成算法,对型特征信息进行聚类,聚类结果作为手语的手型基元;采用DBSCAN聚类算法,对位置特征信息进行聚类,聚类结果作为手语的位置基元;采用K-means聚类算法,对方向特征信息进行聚类,聚类结果作为手语的方向基元。

5.如权利要求4所述的方法,其特征在于:根据手型基元、位置基元和方向基元,采用近邻法和欧氏距离作为相似性度量准则的模板匹配方法,进行基元匹配,确定手语含义。