利索能及
我要发布
收藏
专利号: 2020104716887
申请人: 重庆大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于李群和长短时记忆网络的手势识别方法,其特征在于,包括以下步骤:

1)获取动态手势骨骼视频,并逐帧提取手部骨骼图像;

2)对手部骨骼图像进行预处理;

3)提取手部骨骼图像的骨骼关节点数据,并打上分类标签;利用李群数据集S(t)表示动态手势中骨骼间刚体变换的三维几何关系,并通过对数映射将李群数据集S(t)转换为对应的李代数数据s(t);

4)建立LSTM神经网络模型,并利用李代数数据s(t)训练LSTM神经网络模型;

5)获取待检测手势骨骼图像,并提取待检测手势骨骼图像的李代数数据s'(t);将李代数数据s'(t)输入到训练后的LSTM神经网络模型中,实现手势识别;

利用李群特征数据表示动态手势中骨骼间刚体变换的三维几何关系的步骤如下:

3.1)提取手部骨骼图像的手部骨骼数据集S=(V,E);其中V={v1,v2,…vN}为手部关节点数据集,N为关节点数,E={e1,e2,…eM}表示关节点间的刚性骨骼数据集;M为骨骼数;

3.2)提取关节点间的刚性骨骼数据集的相邻骨骼对(en,em),在t时刻对骨骼en进行旋转平移,令骨骼en和骨骼em重合,并对骨骼em进行旋转平移,令骨骼em和骨骼en重合;n初始值为1;

骨骼en和骨骼em的三维刚性变换关系如下:

式中,Rm,n(t)表示骨骼en到骨骼em的旋转矩阵; 表示骨骼en到骨骼em的平移向量;SE(A)表示特殊欧氏群;

骨骼em和骨骼en的三维刚性变换关系如下:

式中,Rn,m(t)表示骨骼em到骨骼en的旋转矩阵; 表示骨骼en到骨骼em的平移向量;

3.3)令n=n+1,并重复步骤3.2),直至对所有骨骼均进行三维刚体变换,并建立变换后的李群数据集S(t),即:S(t)=(P1,2(t),P2,1(t),...,PM‑1,M(t),PM,M‑1(t))∈SE(A)×...×SE(A); (3)式中,M为骨骼数,SE(A)×...×SE(A)表示李群空间曲线;

3.4)利用对数映射将李群数据集S(t)变换为李代数数据s(t),即:其中,vec(.)表示向量,log(.)表示对数映射;A为维数。

2.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法,其特征在于,获取动态手势骨骼视频的装置为摄像头。

3.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法,其特征在于,对手部骨骼图像进行预处理的步骤为:

1)对不同动态手势视频提取的手部骨骼图像数量进行统一,确保不同动态手势视频的手部骨骼图像数量一致;

2)对手部骨骼图像归一化,确保所有手部骨骼图像中手部骨骼尺寸一致。

4.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法,其特征在于,A=3。

5.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法,其特征在于,所述LSTM神经网络模型包括输入层、隐藏和输出层;其中,隐藏层包括输入门、遗忘门和输出门;

隐藏层的遗忘控制单元ft、输入控制单元it、输入元 记忆控制单元Ct、输出控制单元Ot和输出元ht分别如下所示:ft=σ(Wf·[ht‑1,xt]+bf);                (5)it=σ(Wi·[ht‑1,xt]+bi);                 (6)ot=σ(W0·[ht‑1,xt]+bo);                 (9)ht=ot*tanhCt;                   (10)式中,tanh(.)为双曲正切函数;损失函数σ(·)为sigmoid函数;Wf、Wi、WC、Wo分别表示遗忘门、输入门、记忆控制单元和输出门的权重矩阵;bf、bi、bC、bo分别表示遗忘门、输入门、记忆控制单元和输出门的偏移向量;xt表示t时刻隐藏层的输入,ht表示t时刻隐藏层输出,ht‑1表示t‑1时刻隐藏层输出。

6.根据权利要求1所述的一种基于李群和长短时记忆网络的手势识别方法,其特征在于,利用李代数数据s(t)训练LSTM神经网络模型的方法为:将李代数数据s(t)输入到LSTM神经网络模型中,利用反向传播算法更新遗忘门的权重矩阵Wf与偏移向量bf、输入门的权重矩阵Wi与偏移向量bi、记忆控制单元的权重矩阵WC与偏移向量bC、输出门的权重矩阵Wo与偏移向量bo。