利索能及
我要发布
收藏
专利号: 2020101037206
申请人: 沈阳航空航天大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自适应空间监督的动态手势识别方法,其特征在于,该方法首先通过卷积网络模型对视频序列进行高层视觉特征提取,并通过YOLO模型得到手势区域的位置信息,将位置信息转化为特征向量后,将手势位置特征和高层视觉特征分别输入到双流LSTM模型对手势轨迹进行时序模型跟踪,以手势位置特征作为主要跟踪环节,高层视觉特征对识别结果进行空间监督,并利用YOLO输出结果中的平均置信度作为自适应融合控制器参数,实现自适应融合权重调节,促进跟踪网络的回归,实现手势快速跟踪识别;

具体包括以下步骤:

步骤1:读取动态手势视频序列;

步骤2:基于卷积层神经网络模型,分别提取视频序列中每帧图像的高层视觉特征,通过第一个全连接层输出一组视觉特征特征向量U用来训练双流LSTM模型;

步骤3:利用手势检测器对视频序列中的标志手势区域进行检测定位;

步骤4:将步骤3中得到的手势区域特征转化为一组新的特征向量V用来训练新的双流LSTM模型;

步骤5:设计一个自适应融合控制器M用来控制决策级融合权重,并提取步骤4中得到的特征向量V中的置信度信息p作为自适应控制器控制参数;

步骤6:将步骤3、步骤4得到的两组特征向量输入到双流LSTM模型,结合前后帧特征信息,建立时序模型,对手势区域进行跟踪识别;

步骤7:利用步骤5得到的自适应控制器控制双流LSTM模型做决策级融合;

步骤:8:根据双流LSTM模型的融合结果得到动态手势的识别结果;

在步骤5中,自适应融合控制器是与双流LSTM模型等步长的控制模块M,初始时,M=[0 

0…0 0],将每帧图像的特征向量V中的置信度p依次按位输入到控制器M中,此时M=[pl pl‑1…p3 p2 p1];自适应控制率公式:

2.根据权利要求1所述的基于自适应空间监督的动态手势识别方法,其特征在于:所述步骤1中需要预先定义一个静态标签手势“Point”作为动态手势跟踪器的启用手势。

3.根据权利要求1所述的基于自适应空间监督的动态手势识别方法,其特征在于:所述步骤2中的卷积层神经网络模型以视频作为输入来进行特征学习训练,通过YOLO v2的第一个全连接层生成整幅图像的4096维向量U作为视觉特征的密集表示,完成对可视手势的广义理解。

4.根据权利要求1所述的基于自适应空间监督的动态手势识别方法,其特征在于:在步骤3中选择YOLO v2网络结构作为手势检测器,在卷积层的基础上,通过全连接层将特征表示回归到区域预测,得到手势区域标签特征向量V,其中V包含五维信息[x y w h p],其中(xy)为手势区域中心坐标,(w h)为手势区域尺寸,p为手势置信度。

5.根据权利要求1所述的基于自适应空间监督的动态手势识别方法,其特征在于:在步骤7中,将特征向量U、V分别输入双流LSTM网络做时序建模,两个LSTM模型分别得到手势识别结果后在自适应融合控制器控制下做决策级融合,其中以手势区域特征V为输入的LSTM模型的融合权重为η,另一个LSTM模型权重为1‑η。