利索能及
我要发布
收藏
专利号: 2023101753661
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于运动和时序增强的运动员动作识别网络,其特征在于,包括顺次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和全连接层;

所述第一卷积层用于对输入的运动视频帧进行卷积操作和最大池化操作,输出特征图至所述第二卷积层;

所述第二卷积层至所述第五卷积层均用于对接收到的特征图进行局部运动特征提取和运动敏感通道的显性增强,再对显性增强后的特征图的关键序列进行全局时序增强,最后对运动信息和时序信息均增强的特征图进行时空特征提取;

所述全连接层用于根据所述第五卷积层输出的特征信息进行分类识别,输出运动员动作识别结果。

2.根据权利要求1所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,所述第二卷积层至所述第五卷积层均包括多个以残差形式组合而成的卷积块,每一个所述卷积块用于对接收的特征图的通道利用1×1×1的三维卷积进行降维处理,通过嵌入运动特征激励模块对降维处理后的的特征图的局部混合运动进行特征提取和运动敏感通道显性增强,通过嵌入时序增强模块对显性增强后的特征图的关键序列进行全局时序增强,对运动信息和时序信息均增强的特征图利用3×3×3的三维卷积进行时空特征提取。

3.根据权利要求2所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,所述第二卷积层包含3个所述卷积块,所述第三卷积层包含4个所述卷积块,第四卷积层包含6个所述卷积块,第五卷积层包含3个所述卷积块。

4.根据权利要求2所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,所述运动特征激励模块包括局部运动特征提取单元,用于从输入的经过1×1×1三维卷积后的特征图中提取出动态的局部运动特征;

动作敏感通道激励单元,用于对捕获局部运动特征的通道进行显性增强,得到运动特征激励后的特征图。

5.根据权利要求4所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,所述局部运动特征提取单元包括第一维度变换子单元,用于对经过1×1×1三维卷积后的特征图的通道,使用1×1的二维卷积进行降维处理;

时序划分子单元,用于对经过1×1二维卷积后的特征图按时序划分,得到每一帧的特R征图X(t),t表示每一帧的特征图的时间戳,t=1,2,…,T,T表示输入的特征图的帧数;

R R

特征图变换子单元,用于对特征图X (t)做3×3的逐通道卷积,得到变换后的特征图Y(t);

R

邻帧运动特征计算子单元,用于计算获得特征图X (t)的邻帧运动特征,所述邻帧运动R R特征是特征图X(t)与变换后的特征图Y(t+1)之间的特征差;

R

跨帧运动特征计算子单元,用于计算获得特征图X (t)的跨帧运动特征,所述跨帧运动R R特征是特征图X(t)与变换后的特征图Y(t+2)之间的特征差;

R

特征融合子单元,用于计算获得特征图X (t)在对应时刻的融合后的运动特征,融合后的运动特征为邻帧运动特征与跨帧运动特征相加;

特征拼接子单元,用于将各个时刻对应的融合后的运动特征按时序拼接,得到输入的特征图的局部运动特征。

6.根据权利要求5所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,动作敏感通道激励单元包括第二维度变换子单元,用于对局部运动特征的通道维度使用1×1的二维卷积进行交互和维度变换,得到变换后的局部运动特征;

第三维度变换子单元,用于对局部运动特征的通道维度使用1×1的二维卷积变换为1,得到全局空间特征;

特征增强子单元,用于对全局空间特征进行增强,得到增强后的全局空间特征;

通道描述符获取子单元,用于将变换后的局部运动特征与增强后的全局空间特征执行点乘操作,得到局部运动特征的通道描述符;

运动信息权重获取子单元,用于将通道维度还原到输入特征图的通道维度,并获取每个通道的运动信息权重;

动作特征激励子单元,用于将各通道的运动信息权重与输入特征图相乘,输出运动特征激励后的特征图。

7.根据权利要求2所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,所述时序增强模块包括查询特征图获取单元,用于对运动敏感通道增强后的特征图按时序进行卷积核为3的卷积操作,得到查询特征图键特征图获取单元,用于对运动敏感通道增强后的特征图按时序进行卷积核为3的卷积操作,针对卷积后的特征图,将通道维度与时序维度进行转置,得到键特征图值特征图获取单元,用于对运动敏感通道增强后的特征图按时序进行卷积核为1的卷积操作和维度进行变换,得到保留了原始特征的值特征图时序权重分配单元,用于将查询特征图和键特征图通过时序关联函数得到各个时序的关联权重;

帧序列增强单元,用于将各时序的关联权重与值特征图按时序做对应地乘法运算,将乘法运算后的值特征图的维度变换至显性增强后的特征图的维度,将维度变换后的值特征图与显性增强后的特征图相加,时序增强后的特征图。

8.根据权利要求7所述的一种基于运动和时序增强的运动员动作识别网络,其特征在于,关联权重计算表示为: 其中,σ(·)表示Softmax函数,p(·)表示全局池化操作,⊙表示点乘操作,AttT表示各个时序的关联权重。

9.一种基于运动和时序增强的运动员动作识别系统,其特征在于,包括动作识别模块、视频处理模块和模型训练模块;

所述动作识别模块中包含如权利要求1‑8中任一所述的一种基于运动和时序增强的运动员动作识别网络模型;

所述视频处理模块用于从运动视频中截取包含运动员动作的视频片段,并对视频偏见标注动作类别标签,得到数据集;

所述模型训练模块用于利用所述数据集对所述网络架构模型进行训练,并通过反向传播对网络架构模型中的参数进行优化,基于损失函数对网络架构模型进行迭代直至达到预设迭代次数。

10.根据权利要求9所述的一种基于运动和时序增强的运动员动作识别系统,其特征在于,所述损失函数的表达式为 其中,C表示动作类别的总个数,表示样本属于第i类的预测概率, 表示样本的概率分布。