1.基于手势数据采集手套的手语手势识别方法,其特征在于,包括以下步骤:
1)使用者佩戴手势数据采集手套,并做出g种中文拼音对应的手势;g为正整数;
2)在使用者做手势过程中,陀螺仪(1)和弯曲传感器(2)分别将采集到的陀螺仪传感信号、手指关节弯曲信号发送至主控模块(3);
主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机;
3)上位机将接收到的陀螺仪传感信号、手指关节弯曲信号存储在传感信号数据集A中,并打上手势类别标签;手势类别集合记为G={y1,y2,...,yg};yg表示第g种中文拼音对应的手势;
上位机对传感信号数据集A进行预处理;
4)对预处理后的传感信号数据集A进行时序分割,建立传感信号数据集X=[X1,X2,…,XW];Xi表示使用者做第i个手势时传感器采集的传感信号数据子集;i=1,2,…,W;
5)对传感信号数据集X进行特征提取,并建立手势训练数据集C;
6)利用手势训练数据集C建立手势识别分类器;所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器;
7)利用手势识别分类器实时识别使用者当前做出的手势;
利用手势识别分类器实时识别使用者当前做出的手势的主要步骤如下:
7.1)陀螺仪(1)、弯曲传感器(2)实时监测使用者当前做出的手势时产生的陀螺仪传感信号和弯曲传感信号,发送至主控模块(3);
主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机;
7.2)上位机对当前接收到的陀螺仪传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取,并将提取到的特征数据集x={x1,x2,...,xk}发送至手势识别分类器;k为特征数据总数;
7.3)将特征数据集x输入到KNN子分类器,输出待测手势的预测分类结果Q1,主要步骤为:
7.3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离,并基于欧式距离对训练样本集元素进行升序排列,得到手势训练数据集C';
7.3.2)提取出手势训练数据集C'前K个元素,并确定K个元素对应的手势类别;
7.3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q1;
7.4)将特征数据集x输入到朴素贝叶斯子分类器,输出待测手势的预测分类结果Q2,主要方法为:利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x);以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q2;
7.5)将特征数据集x输入到BP子分类器,输出待测手势的预测分类结果Q3;
7.6)所述手势识别分类器识别使用者当前手势类别,主要分为以下两种情况:I)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3至少有2个预测分类结果存在重复时,以重复的预测分类结果作为使用者当前手势类别Q;
II)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3均不一致时,使用者当前手势类别Q=Q1u1+Q2u2+Q3u3;其中,u1、u2、u3分别表示KNN子分类器输出的预测分类结果Q1的可信任度、朴素贝叶斯子分类器输出的预测分类结果Q2的可信任度、BP子分类器输出的预测分类结果Q3的可信任度;
可信任度uq如下所示:
uq=(TP+TN)/(P+N) (1)
式中,q=1,2,3;TP表示正确地划分为正例的个数,即实际为正例且被分类器划分为正例的样本数;TN表示被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的样本数;P+N为总样本数。
2.根据权利要求1所述的基于手势数据采集手套的手语手势识别方法,其特征在于,使用者在做出任一中文拼音对应的手势前,做出一组起始手势,在做出任一中文拼音对应的手势后,做出一组终止手势。
3.根据权利要求1所述的基于手势数据采集手套的手语手势识别方法,其特征在于,对传感信号数据集A进行时序分割的方法为:计算t时刻和t‑1时刻同类型传感信号的欧几里得距离d,当d>阈值dmax时,则以t时刻作为时序分割点,对传感信号数据集A进行时序分割;
传感信号类型包括弯曲传感信号、陀螺仪传感信号;分割后,每组时序信号的起始点为手势起始标记信号,终止点为手势结束标记信号;手势起始标记信号为使用者做出起始手势时陀螺仪(1)和弯曲传感器(2)采集到的传感信号;手势结束标记信号为使用者做出终止手势时陀螺仪(1)和弯曲传感器(2)采集到的传感信号。
4.根据权利要求1所述的基于手势数据采集手套的手语手势识别方法,其特征在于,对传感信号数据集A进行预处理的主要步骤如下:
1)对传感信号进行丢包项删除、异常项删除和冗余数据删除;
2)利用组均值补全法对传感信号数据集A进行缺失值补全,方法为:以缺失项前j项数据、后j项数据的平均值填充缺失项;j为正整数;
3)利用滑动平均滤波方法对传感信号数据集A进行数据平滑;平滑后第n组传感信号a[n]如下所示:式中,as[*]表示滤波前的传感信号;M表示传感信号as[*]相邻M项数据;一组传感信号包括同一时间采集的陀螺仪传感信号和弯曲传感信号。
5.根据权利要求1所述的基于手势数据采集手套的手语手势识别方法,其特征在于,传
2 2
感信号的特征包括均值E(X)、均方值E(X)、方差S和标准差S;
其中,均值E(X)如下所示:
2
均方值E(X)如下所示:
2
方差S如下所示:
标准差S如下所示:
6.根据权利要求1所述的基于手势数据采集手套的手语手势识别方法,其特征在于,建立BP子分类器的主要步骤如下:
1)初始化BP网络,随机给定隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt;
2)将手势训练数据集C输入到初始化的BP网络中,更新隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt;
3)重复步骤2),直至BP网络参数满足误差要求,得到BP子分类器。
7.应用权利要求1‑6任一项所述方法的手势数据采集手套,其特征在于,包括手套主体、指套、陀螺仪(1)、弯曲传感器(2)、主控模块(3)、通信模块(4)、连接带(5);
所述手套主体包覆使用者手掌;
所述手套主体内侧贴置有陀螺仪(1)、主控模块(3)和通信模块(4);
所述陀螺仪(1)采集使用者手部运动时的陀螺仪传感信号,并发送至主控模块(3);
所述指套包覆使用者手指关节;采用镂空设计,仅在手指关节处制作弹力指套,每根手指两个关节指套,单手共10个关节指套;
所述指套内侧贴置有若干弯曲传感器(2);弯曲传感器(2)和使用者手指关节一一对应;
所述弯曲传感器(2)采集使用者手指关节弯曲信号,并发送至主控模块(3);
所述连接带(5)连接手套主体和指套;
所述连接带(5)外侧贴置有用于连接弯曲传感器(2)和主控模块(3)的信号线;
所述主控模块(3)接收到陀螺仪传感信号、手指关节弯曲信号后,通过通信模块(4)发送至上位机。
8.根据权利要求7所述的手势数据采集手套,其特征在于,所述陀螺仪(1)为六轴传感器或九轴传感器;
当陀螺仪(1)为六轴传感器时,所述陀螺仪传感信号包括3轴加速度传感信号、3轴陀螺仪传感信号;
当陀螺仪(1)为九轴传感器时,所述陀螺仪传感信号包括3轴加速度传感信号、3轴陀螺仪传感信号和3轴磁力计传感信号。
9.根据权利要求7所述的手势数据采集手套,其特征在于,还包括贴置在手套主体内侧的稳压模块;所述稳压模块用于稳定陀螺仪(1)、弯曲传感器(2)、主控模块(3)和通信模块(4)的电压。