利索能及
我要发布
收藏
专利号: 2020109344039
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于包括以下步骤:步骤一、获取人体行为姿态关节骨骼点数据;

步骤二、使用类邻接矩阵策略对骨骼点数据处理提取行为空间特征;

步骤三、将Depth层和Point层嵌入卷积层中,构建D2SE双通道深度可分离卷积层,在时间维度上提取行为时间特征;

具体如下:

使用双向SE通道对输入数据进行卷积操作,SE层嵌入使用点卷积Depthwise和深度Pointwise卷积处理;

构建DS层网络,将DS层作为SE‑Block的卷积层读入数据;

Depthwise卷积层将DS层接受参数作为输入;

对DS卷积后的Features进行ReLU激活得到特征图;

步骤四、将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息;

步骤五、使用ReLu函数获取骨骼动作分类。

2.根据权利要求1所述的基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于所述步骤一中,通过Azure for Kinect获取人体关节骨骼点数据,对获取的骨骼点数据进行预处理,具体构建步骤如下:

2.1、从导出的文件中获取姿态骨骼数据序列,去除噪声数据;

2.2、将去噪后的数据构建图数据。

3.根据权利要求2所述的基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于所述步骤二中,将步骤一中预处理后的骨骼点数据使用类邻接矩阵策略转换成一张伪图像矩阵来提取行为空间特征。

4.根据权利要求1所述的基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于所述步骤三中,构建D2SE双通道深度可分离卷积层,在时间维度上提取行为时间特征,所述D2SE网络包括双通道SE网络层及Conv层两个部分,所述双通道SE网络层对输入数据进行卷积操作,Conv层使用depthwise和pointwise卷积组合。

5.根据权利要求1所述的基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于所述步骤四中,构建D2SE‑GCN双通道深度可分离卷积网络将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息,采用随机梯度下降SGD优化网络参数,预设初始学习率、权重衰减、训练和测试样本batch_size、训练epoch及warm_up预热学习率。

6.根据权利要求5所述的基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于所述学习率的更新包括模型预热阶段、正式训练阶段,使用预热学习率能加快模型收敛速度。

7.根据权利要求5所述的基于骨骼数据双通道深度可分离卷积的行为识别方法,其特征在于所述步骤四中,将测试样本输入已训练好的双通道深度可分离卷积D2SE‑GCN模型中,输出向量中最大值对应的姿态行为类别即可判断该测试样本的动作类型,实现姿态行为的准确识别。