摘要:
权利要求书:
1.一种基于轻量3D残差网络和TCN的多模态动态手势识别方法,其特征在于,包括以下
步骤:
步骤1:根据原始数据集中手势视频的帧率,对每个手势视频进行采样,生成视频的帧
率对应数量的图片,按照时间顺序排序保存图片,并使用窗口滑动法对采样生成的图片序
列进行时间维度上的统一;
步骤2:使用步骤1中统一化的图片序列作为输入,对轻量的3D残差网络进行预训练,并
以.h5的形式保存轻量的3D残差网络模型权重文件,权重文件保存了模型的结构;模型的权
重;训练配置;优化器的状态,以便于从上次训练中断的地方开始;
步骤3:加载步骤2中的权重文件,以RGB‑D图片序列的训练集和验证集为输入,使用轻
量的3D残差网络学习视频中手势的短期时空特征;
步骤4:把步骤3输出的特征图输入到时间卷积网络,使用时间卷积网络编码动态手势
的长期时空特征;
步骤5:使用注意力机制加权融合RGB和Depth分支网络的时空特征信息;
步骤6:使用全连接层对步骤5输出的特征向量进行分类,并通过Softmax把分类结果映
射成手势类别的概率值。
2.根据权利要求1所述的一种基于轻量3D残差网络和TCN的多模态动态手势识别方法,
其特征在于,所述步骤1:对原始数据集视频进行采样,按照时间顺序排序保存,并使用窗口
滑动法对采样生成的图片序列进行时间维度上的统一,具体为:
根据视频的帧率,对数据集中每个手势视频进行采样,生成相应数量的图片序列,并按
照时间顺序排序保存。为了保证输入数据具有相同的维度,使用窗口滑动法来设置每个手
势视频的输入基准帧数,基准帧数值设置为32,对于32帧以上的视频,将删除两端不相关的
图像,保留中间的关键帧,对于小于32帧的视频,以一定比例重复某些帧,该过程将循环执
行,直到样本超过32帧,最后,将每帧随机裁剪为224×224,并将其大小调整为112×112像
素。
3.根据权利要求2所述的一种基于轻量3D残差网络和TCN的多模态动态手势识别方法,
其特征在于,所述步骤2:使用步骤1中统一化的图片序列作为输入,对轻量的3D残差网络进
行预训练,并以.h5的形式保存轻量的3D残差网络模型权重文件,具体步骤为:
采用迁移学习的思想,使用Jester公开数据集对轻量3D残差网络进行预训练;预训练
过程分为特征提取和特征分类两个部分,其特征提取部分为轻量3D残差网络,特征分类部
分为全连接层及Softmax层,在预训练的过程中,对模型的权重以.h5的形式保存。
4.根据权利要求3所述的一种基于轻量3D残差网络和TCN的多模态动态手势识别方法,
其特征在于,所述步骤3:加载步骤2中的权重文件,以RGB‑D图片序列的训练集和验证集为
输入,使用轻量3D残差网络学习视频中手势的短期时空特征,具体为:
把数据集以3:1:1的比例划分为训练集、验证集和测试集三个部分,其中训练集用于训
练网络模型,验证集是在训练模型的时候验证模型的性能好坏,根据模型在验证集的表现
进行参数的调优,测试集则用于评估模型的泛化能力;以步骤1预处理的RGB和Depth图片序
列的训练集和验证集为输入,分别输入到两个相同的轻量3D残差网络中进行短期的时空特
征提取,其中轻量3D残差网络以3D‑ResNet为基础,使用了分离卷积替换了原始的3D卷积核
3*3*3,分离卷积是把3D卷积核拆分成1*3*3和3*1*1的卷积核。
5.根据权利要求4所述的一种基于轻量3D残差网络和TCN的多模态动态手势识别方法,
其特征在于,所述步骤4:把步骤3输出的特征图输入到时间卷积网络,使用时间卷积网络编
码动态手势的长期时空特征,具体为:
使用时间卷积网络对步骤3中输出的特征图进行编码,以捕获动态手势中视频帧之间
的相关信息,时间卷积网络是使用因果卷积以及将输入序列映射到相同长度的输出序列,
此外,使用了扩张卷积和残差连接来训练更深的网络;
假定时间卷积网络的输入序列为X=[x1,...,xT],输出为S=[s1,...,sT],而yt的计算
仅取决于X=[x1,...,xT],t