利索能及
我要发布
收藏
专利号: 2024108695727
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:包括以下步骤:S1、对获取到的人体动作相关原始视频数据进行预处理;

S2、通过OPENPOSE算法进行人体骨骼关节点提取;

S3、获取时空兴趣点空间位置和时间信息;

S4、归一化处理;

S5、OPENPOSE输出关节点与时空兴趣点匹配,形成新的节点特征;

S6、构建ST‑GCN时空图卷积模型;

S7、数据训练;

S8、数据测试

S9、数据测试得到满意的指标后可对任意视频进行动作识别。

2.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述的步骤S1中,将连续的视频片段分解为BMP格式的静态帧的图片序列,再进行灰度化处理便于加快处理速度,同时对数据集进行动作标签标注,最终得到数据集,该数据集包括训练集,测试集和验证集,比例为6:2:2。

3.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述的步骤S2中,首先,将预处理好的视频作为输入,通过OPENPOSE算法进行人体骨骼关节点提取,得到OPENPOSE预测的关节点置信度和关节亲和域,然后使用二分图将同一人的关节点拼接成骨架,得到一系列关节点的位置信息以及置信度。

4.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述的步骤S3中,结合光流法进行时空兴趣点的检测,检测时,首先建立高斯金字塔:对视频的每一帧进行高斯金字塔的建立之后进行金字塔跟踪,从顶层开始计算金字塔最顶层图像上的光流,然后,根据最顶层光流的计算结果估计次顶层光流的初始值,计算其精确结果再反馈到下一层,直至计算出最底层的原始图像的光流,同时对视频的每一帧进行此操作;对包含光流信息的视频帧计算每个像素点光流向量的大小及方向;

接着检测时空兴趣点:使用高斯滤波器对视频光流场进行平滑处理,用于空间滤波,在时域上采用Gabor对高斯滤波后的视频进一步处理,增强图像中的纹理和边缘信息,得到像素点的时空特征强度R(x,y,t):

2 2

R(x,y,t)=(P*Gfilter*hev) +(P*Gfilter*hod)    (5)其中,x和y表示像素点的位置,hev和hod是Gabor滤波器的积分对,定义分别为其中,ω=4/τ;时空特征强度R主要受到两个参数σ和τ的影响,分别表示兴趣点检测器的空间和时间尺度;Gfilter是二维高斯平滑核函数;

通过以上公式计算每个像素点的时空特征强度,选择一个阈值threshold使得:R(x,y,t)>threshold    (9)

其中,R(x,y,t)为该点的时空特征强度;当R大于给定阈值时,表明该位置存在一个时空兴趣点;选择输出兴趣点的空间位置信息以及相关的时间信息,同时输出时空兴趣点的光流向量的大小和方向。

5.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述步骤S4中,将时空兴趣点的光流大小进行归一化,将其范围缩放到[0,1]之间:其中,||Q||表示原始光流大小,||Q||max和||Q||max表示所有兴趣点光流值的最大值和最小值,Q是归一化后的值。

6.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述步骤S5中,对于OPENPOSE输出的关节点,寻找其在时空兴趣点中输出对应的空间坐标,对于匹配的空间点,进一步特征信息,将匹配的关节点和时空兴趣点特征拼接在一起,形成新的节点特征向量,该新的节点特征向量包括输出的关键点位置、置信度、光流向量大小、时间以及光流向量角度。

7.如权利要求1所述的一种基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述的步骤S6中,ST‑GCN时空图卷积模型包括9个ST‑GCN模块、池化层、FC全连接层以及softmax层,每个ST‑GCN模块均包括空间图卷积层GCN、BN层、RELU激活函数模块、时域卷积层TCN和注意力模块CBAM。

8.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述的步骤S7中,将步骤S5中得到的数据输送到模型中,经过GCN和TCN卷积层之后通过CBAM注意力模块将卷积后更新的特征图分别输送到通道注意力机制和空间注意力机制中,将经过权重更新后的特征图相乘,再进行前向传播,根据损失值对训练参数进行优化训练。

9.如权利要求1所述的基于时空兴趣点和时空图卷积的人体动作识别方法,其特征在于:所述的步骤S8中,将训练好的ST‑GCN模型对测试集进行训练,得到测试结果,比较结果与真实动作标签之间的差异,计算模型的准确率、召回率。