利索能及
我要发布
收藏
专利号: 2024113343431
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征金字塔的骨架动作识别方法,其特征在于,所述基于特征金字塔的骨架动作识别方法,包括:步骤1、将待检测骨架序列输入到由预设数量的金字塔图卷积块组成的特征提取网络,获得人体骨架的多尺度特征;

每个金字塔图卷积块执行如下操作:

金字塔图卷积块的输入特征分别经过三个卷积层,得到不同尺度的第一特征、第二特征和第三特征;

第一特征保持不变,对第二特征和第三特征执行基于注意力的图池化操作,得到对应的第一骨架特征、第二骨架特征和第三骨架特征;

第一骨架特征、第二骨架特征和第三骨架特征分别通过图卷积提取关节之间的关系特征,得到对应第一图特征、第二图特征和第三图特征;

通过图反池化操作,将第二图特征和第三图特征恢复至与第一图特征相同形状;

将第一图特征与图反池化后的第二图特征和第三图特征相加,得到融合特征;

对融合特征执行时间卷积,得到多尺度特征;

步骤2、对特征提取网络输出的多尺度特征进行帧融合和个体融合,得到通道数维度向量;

步骤3、对通道数维度向量进行线性投影变化后,经过分类函数得到识别结果。

2.根据权利要求1所述的基于特征金字塔的骨架动作识别方法,其特征在于,所述基于注意力的图池化操作,包括:第二特征或第三特征作为输入特征,对输入特征进行线性变化,分别得到查询矩阵和关键矩阵;

将查询矩阵与转置后的关键矩阵进行点乘操作,得到关节间的注意力矩阵;

对关节间的注意力矩阵使用ReLU激活函数后按行求和,得到各个关节的权重得分向量;

对权重得分向量中各元素进行排序后筛选,得到所选取的骨架中对应的关节点序号;

从输入特征中提取与关节点序号对应的行列,得到池化后的骨架特征。

3.根据权利要求1所述的基于特征金字塔的骨架动作识别方法,其特征在于,所述帧融合,即时间维度上进行求和操作。

4.根据权利要求1所述的基于特征金字塔的骨架动作识别方法,其特征在于,所述个体融合,即在节点维度上进行求和操作。

5.根据权利要求1所述的基于特征金字塔的骨架动作识别方法,其特征在于,所述通过图反池化操作,将第二图特征和第三图特征恢复至与第一图特征相同形状,包括:构建与第一图特征一样尺寸的全为0的初始矩阵;

将第二图特征和第三图特征中关节点序号对应的特征值填充到初始矩阵中,得到图反池化后的第二图特征和第三图特征。

6.根据权利要求1所述的基于特征金字塔的骨架动作识别方法,其特征在于,所述时间卷积包括四个时序卷积分支,其中卷积核尺寸都为 二维空洞卷积,并且扩张系数为分别为1、2、3和4,四个时序卷积分支的结果最终会被连接在一起以获得多尺度特征。