利索能及
我要发布
收藏
专利号: 2020104196399
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积神经网络的人体姿态识别方法,其特征在于,该方法包括如下步骤:Step1,通过移动传感器采集各活动类别人体姿态动作信号数据,并对这些动作信号数据附上相应的动作类别标签;

Step2,对上述采集到的动作信号数据进行数据预处理,并将处理后的数据划分为训练样本和测试样本;所述处理包括:数据进行时间序列信号频率降采样排列为数据信号图,将上述处理得到的数据信号图进行归一化处理即将其按比例缩放,使之落入(0,1)区间;

Step3,对上述处理后的数据作为输入样本送进卷积神经网络训练,并调节卷积神经网络模型参数,以得到最优卷积神经网络模型;

Step4,将训练好的最优网络模型保存并生成.pt文件并将文件移植到移动智能终端,通过利用移动智能终端获取人体姿态动作数据,最终编译运行得到人体姿态动作识别结果;

在Step3中,上述处理后的数据是一个四维张量,其数据格式为(N,W,H,C),其中,N为数据个数,W为经过上述数据处理后的数据图宽度,H为经过上述数据处理后的数据图高度,C为经过上述数据处理后的数据图通道数,接下来定义和初始化神经网络权重和偏置函数,并将上述处理后的数据作为输入样本送进卷积神经网络训练,调节卷积神经网络模型权重和偏置值,以得到最优卷积神经网络模型;

所述Step1中,降采样频率设定为30Hz‑40Hz;

第一层卷积层卷积操作如下:将处理后的数据送入输入层得到一个输入矩阵,将此输入矩阵送入第一层卷积神经网络进行网络训练以提取输入数据样本的特征信息,第一层卷d×1×c×n积神经网络包括一组卷积核F={f1,f2,...,fn}∈R ,其中,d×1是卷积核F的尺寸,c是T其通道数,n是卷积核f的个数,与输入数据样本进行卷积操作,Y=XF,其中,Y是进行该卷T积操作后的输出矩阵,X是输入数据样本经过输入层以后得到的输入矩阵的转置,F是实施该卷积操作所使用的卷积核;

第二层卷积层卷积操作如下:将第一层卷积神经网络的输出矩阵Y堆叠成特征图送入T T第二层卷积神经网络进行卷积操作,Y=YB,其中ˉY是进行该卷积操作后的输出矩阵,Y 是第一层卷积神经网络进行卷积操作后的输出矩阵的转置,B是实施该卷积操作所使用的一组乐高卷积核;并且,第二层卷积层卷积的具体过程如下:Step1:Split:将第一层卷积神经网络执行卷积操作后得到的特征图等分成o个部分,将等分的特征图作为新的输入送入第二层卷积神经网络;

Step2:Transform:将等分的o张特征图分别与乐高卷积核b执行卷积操作得到o×b张新的特征图;

Step3:Merge:将第二步生成的特征图垂直合并,最后堆叠成一张输出特征图送入第三层卷积神经网络进行相应的卷积操作。

2.根据权利要求1所述的姿态识别方法,其特征在于,所述Step2中,包括对数据进行空值剔除和剔除后按照数据所属对应活动类别重新整理,并按照比例分别作为训练样本和测试样本。

3.根据权利要求1所述的姿态识别方法,其特征在于,所述神经网络的结构包括输入层、三层卷积层、全连接层、输出层。

4.根据权利要求1所述的姿态识别方法,其特征在于,第三层卷积层卷积的具体过程如下:第三层的卷积操作和第二层的卷积操作相同,将此输出特征图平铺展成一维向量的形式送入全连接层,全连接层的输出连接到最后的Softmax输出层进行人体姿态动作的识别分类。