利索能及
我要发布
收藏
专利号: 2017102240056
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-26
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于关键帧和边界约束DTW的实时动态手势识别方法,其特征在于,包括如下步骤:步骤1)根据动态手势运动特性,针对待识别动态手势图像序列,选取关键帧手势图像;

步骤2)获得各个关键帧手势图像的指尖特征点,并结合关键帧手势图像的质心,构建该帧手势图像的手势特征向量,然后进一步构建待识别动态手势所对应的动态手势特征向量;

步骤3)针对动态手势特征向量,分别计算手势模板库中各个动态手势模板特征向量与待识别动态手势特征向量之间的DTW下界距离,获得满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量;

步骤4)针对满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量,分别计算各个动态手势模板特征向量与待识别动态手势特征向量之间DTW距离,基于DTW距离,实现针对待识别动态手势的识别。

2.根据权利要求1所述一种基于关键帧和边界约束DTW的实时动态手势识别方法,其特征在于,所述步骤1)中,根据如下步骤,针对待识别动态手势图像序列,选取关键帧手势图像;

步骤101)设动态手势图像序列为IInput={I1,I2,...,In},n为动态手势图像序列的长度,It,t∈[1,n],It表示第t帧手势图像;gt'表示第t帧手势图像的质心, 表示第t帧手势图像的质心坐标;δt表示第t帧手势图像的关键帧手势图像选取阈值;

表示第t1帧手势图像与第t2帧手势图像之间的质心距离;

步骤102)针对动态手势图像序列,计算相邻帧手势图像之间质心偏移角度θt的正弦值和余弦值:步骤103)针对动态手势图像序列,计算相邻帧手势图像之间的相对运动方向dirt:步骤104)针对手势图像It,判断dirt≠dirt-1是否成立,是则将该手势图像It作为关键帧手势图像;否则进一步针对该手势图像It,判断判断dist(t,t-1)>δt-1是否成立,是则将将该手势图像It作为关键帧手势图像;否则将该手势图像It不作为关键帧手势图像;

步骤105)根据

更新关键帧手势图像选取阈值δt。

3.根据权利要求2所述一种基于关键帧和边界约束DTW的实时动态手势识别方法,其特征在于,所述步骤2)包括如下步骤:步骤201)设 ,csk表示第k个关键帧手势图像的手势轮廓点集,Nk表示第k个关键帧手势图像中手势轮廓点个数,ck,λ表示为第k个关键帧手势图像中第λ个手势轮廓点,ck,λ=(xk,λ,yk,λ)表示为第k个关键帧手势图像中第λ个手势轮廓点坐标,λ∈[1,Nk],gk为第k个关键帧手势图像的质心;

步骤202)分别针对各个关键帧手势图像,根据如下公式:

计算关键帧手势图像中各个手势轮廓点ck,λ分别与对应关键帧手势图像的质心gk之间的距离dist(ck,λ,gk);

步骤203)分别针对各个关键帧手势图像,进一步分别针对关键帧手势图像中的各个手势轮廓点ck,λ,首先获得该关键帧手势图像所有手势轮廓点中满足|ck,λ-ck,λ'|<ε的手势轮廓点ck,λ',然后判断所获各个手势轮廓点ck,λ',是否均满足dist(ck,λ’,gk)≤dist(ck,λ,gk),是则将该手势轮廓点ck,λ加入该关键帧手势图像所对应的类指尖特征点集中,否则不对该手势轮廓点ck,λ进行任何处理,如此完成针对该关键帧手势图像中各个手势轮廓点的上述操作,获得该关键帧手势图像所对应的类指尖特征点集,进而获得各个关键帧手势图像所对应的类指尖特征点集;其中,ε>0,ε表示预设范围阈值;

步骤204)分别针对各个关键帧手势图像,计算获得关键帧手势图像所对应的凸包曲线hullk,进而获得各个关键帧手势图像分别所对应的凸包曲线hullk;

步骤205)分别针对各个关键帧手势图像,进一步分别针对关键帧手势图像所对应类指尖特征点集中的各个类指尖特征点,若类指尖特征点属于该关键帧手势图像所对应的凸包曲线,则将该类指尖特征点添加到该关键帧手势图像所对应的指尖特征点集,如此完成针对该关键帧手势图像所对应类指尖特征点集中各个类指尖特征点的上述操作,获得该关键帧手势图像所对应的指尖特征点集,进而获得各个关键帧手势图像所对应的指尖特征点集;

步骤206)分别针对各个关键帧手势图像,获得关键帧手势图像所对应指尖特征点集中指尖特征点个数,结合该关键帧手势图像的质心,构建该关键帧手势图像的手势特征向量,然后进一步构建待识别动态手势所对应的动态手势特征向量。

4.根据权利要求3所述一种基于关键帧和边界约束DTW的实时动态手势识别方法,其特征在于,所述步骤3)中,分别针对手势模板库中的各个动态手势模板特征向量,执行如下步骤,分别计算手势模板库中各个动态手势模板特征向量与所获待识别动态手势特征向量之间的DTW下界距离,并针对DTW下界距离进行判断,进而获得满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量;

步骤301)设待识别的动态手势特征向量为 其中 μ∈

I I

[1,n],n为V 的长度; 为V 中所有质心坐标的集合,

为GI在水平方向上的投影, 为GI在垂直方向上的投影;

为VI中所有指尖特征的集合;手势模板库中动态手势模板特征

T

向量为 其中 k∈[1,m],m为V的长度;

为VT中所有质心坐标的集合, 为GT在水平方向上的投影,

为GT在垂直方向上的投影; 为VT中所有指尖特

征的集合。max为n和m的最大值,min为n和m的最小值;

步骤302)重定位GI和GT,得到起始点相同的手势轨迹序列GI'和GT';

步骤303)采用插值法在GI'和GT'的起始位置分别添加max+1-n和max+1-m个起始点坐标得到长度为max+1的手势序列 和步骤304)计算GI+在水平方向和垂直方向上的变化程度:

I+ I+ I+ I+

diff_x=max(X )-min(X ),diff_y=max(Y )-min(Y )其中max()表示序列中的最大值,min()表示序列中的最小值;

步骤305)若diff_x≥diff_y,则采用LB_Kough算法计算XI+和XT+的DTW下界距离LB_D(XI+,XT+);否则计算YI+和YT+的DTW下界距离LB_D(YI+,YT+);

I+ T+ I+ T+

步骤306)判断LB_D(X ,X )或LB_D(Y ,Y )是否大于当前预设最小DTW距离,是则该动态手势模板特征向量不满足预设要求,否则该动态手势模板特征向量满足预设要求。

5.根据权利要求4所述一种基于关键帧和边界约束DTW的实时动态手势识别方法,其特征在于,所述步骤4)中,针对满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量,基于如下定义,执行如下步骤,并基于DTW距离,实现针对待识别动态手势的识别;

定义手势方向序列FG={subFG1,...,subFGα},subFG={dirω,lenω,bandω},ω∈{1,...,α},其中,α为子序列的个数,dirω为第ω个子序列的运动方向,lenω为具有相同运动方向的连续轨迹数据的个数,bandω为该子序列的边界宽度;

步骤401)计算GI'中相邻手势轨迹数据g'μ和g'μ-1之间的向量 坐标,再利用Freeman-4链码计算该向量的方向码值c'μ:

最后将GI'中所有码值相同的连续手势数据进行合并,得到若干手势方向子序列subFGI',组合后得到GI'的手势方向序列FGI',同理构造GT'的手势方向序列FGT';

步骤402)比较FGI'和FGT'中具有相同下标的子序列,若子序列的方向码值相同,则选择这两个子序列中较大的长度作为候选边界宽度cband,再将cband与允许的边界宽度上界iband比较,通常设置 选择二者最小值作为该子序列对应的所有手势数据的边界宽度;否则设置该子序列的对应的所有手势数据的边界宽度为iband;

步骤403)基于动态规划的思想在每个手势数据的边界宽度范围内寻找最优弯曲路径,得到GI'和GT'的DTW距离DTW(GI',GT');

步骤404)针对计算得到的所有DTW距离进行降序排序,若存在某个DTW距离与最小DTW距离的绝对差值小于阈值,跳到步骤405);否则将最小DTW距离对应的动态手势模板作为识别结果;

步骤405)计算CI和CT之间的结构距离,沿用相同的DTW最优弯曲路径,对路径节点上的与 进行异或,并对异或结果进行累加,得到CI和CT的结构距离CD(CI,CT),最后选择结构距离最小的动态手势模板作为识别结果。