利索能及
我要发布
收藏
专利号: 2014101913943
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于Kinect传感器的静态手语字母识别系统,其特征在于:包括摄像模块,采用Kinect传感器采集目标区域深度图像;

静态手语特征提取模块,用于提取静态手语的特征点并生成相应的特征描述符,同时采用特征点筛选算法对SURF的特征点提取结果进行改进;

静态手语识别模块,采用“一对一”SVM分类法,以SURF算法生成64维的SURF特征描述符为基准,进行分类训练及识别,得出识别的结果。

2.如权利要求1所述的基于Kinect传感器的静态手语字母识别系统,其特征在于:还包括图像预处理模块以及手像素区域分割模块,图像预处理模块用于将摄像装置获取的深度图像进行初步降噪处理,手像素区域分割模块通过灰度直方图中灰度值由大到小的变化趋势,寻找像素点剧变较大处的灰度值作为手像素区域分割的阈值,再通过二值化方法来完成手像素区域分割。

3.基于Kinect传感器的静态手语字母识别方法,其特征在于:包括如下步骤:

1)利用摄像模块的Kinect传感器获取深度图像;

2)利用图像预处理模块,将摄像装置获取的深度图像进行初步的降噪处理;利用手像素区域分割模块,通过二值化方法对获得的深度图像进行手像素区域分割,使得手部区域成为感兴趣区域;

3)利用静态手语特征提取模块,采用SURF算法提取特征点;同时采用特征点筛选算法对SURF算法的计算结果进行优化,剔除错误特征点;

4)利用静态手语识别模块,对生成的64维的SURF特征点描述符,采用“一对一”SVM分类法,进行分类训练,得出识别的结果。

4.如权利要求3所述的基于Kinect传感器的静态手语字母识别方法,其特征在于:所述SURF算法的Hessian矩阵为:其 中 ,Lxx、Lxy、Lyy 分 别 是 G(x,y,σ) 在 x、y、xy 方 向 的 2 阶 偏 导数:

5.如权利要求4所述的基于Kinect传感器的静态手语字母识别方法,其特征在于:所述SURF特征点提取为:在Hessian矩阵与箱式滤波器进行卷积操作后,可以得到 的近似矩阵Happrox,其行列式为:

其中,Dxx、Dyy、Dxy为卷积结果,ω为加权系数,此系数可通过 的F(Frobenius)范数进行约束,当近似矩阵Happrox行列式值为正时,证明该点是极值点;反之,则不是极值点;对得到的每一个极值点与对应的3×3×3立体邻域内除该点以外的26个点进行比较,通过非极大值抑制(NMS)的极值点定位,得到关键点的准确坐标以及尺度σ。

6.如权利要求3中所述的基于Kinect传感器的静态手语字母识别方法,其特征在于:所述特征点筛选算法为:

设实时图像和模板图像分别为I、I′,其特征点集分别为C={C1,C2,…Cn}、C′={C1′,C2′,…Cn′},其对应的一对匹配特征点对为P、P′,其中P∈C,P′∈C′,在半径为r的邻域内,若两幅图像只存在平移和旋转,则应该满足以下结论:

1)邻域特征点总个数相同,即以P为中心,以r为半径的邻域内特征点总个数,应等于以P′为中心,以r为半径的领域内特征点总个数;

2)对应特征点的间距相同;设Ci,Cj∈C,Ci′,Cj′∈C′,Ci、Ci′是对应的一对特征点,Cj、Cj′也是对应的特征点,则Ci与Cj的距离值应当和Ci′与Cj′的距离值应相等,即d(Ci,Cj)=d(Ci′,Cj′);

基于以上原理,根据以下步骤来剔除错误的特征点:

1)定义一个自适应半径r,若在以当前r为半径的邻域内,特征点个数少于2个,则将r的值提高一倍后再计算特征点个数;若在以当前r为半径的邻域内,特征点个数大于2个,则进行下面两个步骤;

2)计算以匹配点对P、P′为中心,半径为r的邻域内特征点的个数,若特征点的个数相同,则P是正确的特征点,否则,P是错误的特征点,需要进行剔除;

3)计算该特征点与其邻域内其他特征点的距离,通过这一参数限制进一步剔除错误特征点:设P、P′是已满足邻域特征点总数相等这个条件,假设在以r半径的邻域内特征点个数为n,则将P、P′到其邻域内其他特征点的距离按照降序排列统计后分别记为D1={d1,d2,…dn}和D2={d2,d2,…dn},若D1与D2的偏差在允许的范围内,则认为P是正确的特征点,否则不匹配。

7.如权利要求3中所述的基于Kinect传感器的静态手语字母识别方法,其特征在于:所述SURF特征描述符为:

关键点描述分为两部分,首先,确定关键点的主方向,然后生成相应的关键点描述符;

在以关键点为圆心,半径为6σ的圆内,σ为尺度,计算尺寸为4σ的Harr小波响应dx,dy,对之进行高斯加权,记为对 用直方图统计,将一个圆的360°分成72组60°大小的扇形区域,分别统计这些扇形区域内的 同时计算该区域的梯度值,梯度值最大的扇形区域所在方向为关键点的主方向,根据 的反正切值可求出关键点主方向的度数;

确定主方向后,以关键点为核心,构建一个大小为20σ的正方形窗,与关键点对齐,将这个正方形窗划分为4×4共16个小正方形区域,计算每个小区域内Harr小波响应dx,dy,并用高斯函数进行加权。每一个小区域内的Harr小波响应对应的大于零和小于零的dx、dy分别累加,得到的描述符如下:为四维向量,4×4个小区域就组成了关键点的64维描述符向量。

8.如权利要求3中所述的基于Kinect传感器的静态手语字母识别方法,其特征在于:所述SVM“一对一”模型为:

对于m个类别则将训练出m(m-1)/2个SVM模型,分类时将待分类样本x输入到每个SVM模型,若该样本x属于第i类,则第i类的得分加1,最后得票最多的类别则判为该未知样本的类别,采用以下公式:其中,x′n为第n个特征的第i维特征矢量;

将每类手语字母的SURF特征大小归一化到[0 1]。