利索能及
我要发布
收藏
专利号: 2024107290047
申请人: 南宁师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于时空G‑T的双流动作识别方法,其特征在于,包括以下步骤:输入特征图数据,基于时空图卷积流的自适应空间图卷积网络模块训练,得到训练数据;

将所述训练数据使用所述时空图卷积流的时间卷积网络模块进行提取特征,作出类别预测,得到第一分数;

利用时空Transformer流的空间变换器模块将身体所有关节点之间的连接初始化为相同强度,再将可训练线性变换应用于节点特征,提取所有节点的查询向量、索引向量和值向量;

单帧数据进入所述时空Transformer流时间变换器模块,将可训练线性变换应用于帧间特征,提取单个节点所有帧的查询向量、索引向量和值向量;

将所述空间变换器模块输出作为所述时间变换器模块输入,提取特征,做出类别的预测,得到第二分数;

将所述第一分数和所述第二分数相加,得到融合分数,并基于所述融合分数预测动作标签。

2.如权利要求1所述的基于时空G‑T的双流动作识别方法,其特征在于,所述自适应空间图卷积网络模块训练需要加入两次Batch normalization层和ReLU层。

3.如权利要求1所述的基于时空G‑T的双流动作识别方法,其特征在于,所述自适应空间图卷积网络模块和所述时空Transformer流时间变换器模块为9个。

4.如权利要求1所述的基于时空G‑T的双流动作识别方法,其特征在于,所述自适应空间图卷积网络模块训练中引入label smoothing优化传统的交叉熵损失函数。

5.基于时空G‑T的双流动作识别系统,应用于如权利要求1所述的基于时空G‑T的双流动作识别方法,其特征在于,包括自适应空间图卷积网络模块、时间卷积网络模块、空间变换器模块和时间变换器模块;

所述自适应空间图卷积网络模块,用于学习同一帧中不同骨骼点样本的图的拓扑结构;

所述时间卷积网络模块,用于在时间维度上,对不同层和骨架样本的图相邻或相隔几帧之间的时间连接进行建模;

所述空间变换器模块,用于捕获图像帧内任意关节之间的关系;

所述时间变换器模块,用于捕获图像帧间任意关节之间的关系。