利索能及
我要发布
收藏
专利号: 2020107590024
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,包括如下步骤:(1)基于YOLOv3的人体框检测

首先基于YOLOv3检测器进行舞蹈者人体检测框的提取,将RGB图像输入YOLOv3模型,获得相应的人体检测框用于人体姿态估计;

(2)序列多尺度特征融合模型

对步骤(1)中所获得的人体检测框进行关节点特征提取,来获得融合多分辨率多尺度信息的特征;在融合多分辨率多尺度信息的特征上使用softmax函数获得关节点的heatmap,由heatmap估算获得各关节的位置信息;

(3)基于关节点几何关系的层级姿态估计方法

对步骤(2)中所估计得到的人体骨骼关节点进行关节点几何关系关联性预测,通过分析关节点之间的几何关系,构建基于关节点几何关系的层级姿态估计模型,进行多层次的关节点估计。

2.根据权利要求1所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,所述序列多尺度特征融合模型首先以HRNet网络为骨干网络其由4个并行的多分辨率子网构成,每个子网络采用ResNet模块设计原则,由4个残差单元组成。

3.根据权利要求2所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,所述HRNet网络首先以高分辨率的子网络作为起始阶段,然后重复添加从高分辨率到低分辨率的子网络形成第2,3,4阶段的输出,然后,通过聚合单元对高、中、低分辨率的特征进行跨尺度的融合,并行连接多分辨率子网络,得到相应的输出特征图。

4.根据权利要求3所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,所述序列多尺度特征融合模型以HRNet网络最后一个聚合单元输出的4个特征图作为序列多尺度特征融合模块的输入特征 其中,m表示输入特征对应的分辨率;对于任意的第ith分辨率的特征,首先进行conv(3×3)卷积操作,然后进行插值和反卷积操作使ith分辨率的特征 上采样变成修正后的i‑1th分辨率特征其中,conv表示卷积操作,Int和Dec分别表示插值和反卷积操作;

接着,级联上采样获得的修正后的i‑1th分辨率特征 和第i‑1th分辨率特征 得到融合后的第i‑1th分辨率特征X′i‑1:其中,concat表示级联特征 和

经过反复执行公式(1)和公式(2)实现高、低分辨率特征的序列融合,通过公式(2),最终获得融合多分辨率多尺度信息的特征X′1;

最后,在最终的特征X′1上使用softmax函数获得关节点的heatmap,由heatmap估算获得各关节的位置信息。

5.根据权利要求1或4所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,根据人体结构将步骤(2)中所获得的关节点划分为两类:第一类是形变trunk limb较小的连接人体各关节的躯干关节k ;第二类是形变明显的肢体关节k ;根据所划分的两类关节,设计层级姿态估计模型,将人体所有关节点聚合为5部分,颈部、左肩、右肩、左臀、右臀,进行基于人体关节几何关系的关节点预测。

6.根据权利要求5所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,基于关节点几何关系的层级姿态估计网络由三阶段组成,网络的第一阶段为根据步骤(2)所设计的SMF模型进行人体所有关节点的heatmap预测,并计算相应的坐标位置;然后将第一阶段所获得的关节点heatmap作为第二阶段网络的输入,鉴于人体躯干关节的形变较小及肢体关节的形变较大的特点,利用SMF模型从第一阶段所获得的所有人体trunk关节中预测形变较稳定的躯干关节k ,将人体关节划分为以躯干关节为主的5部分;接着,将网络第一阶段所有的关节点及第二阶段预测获得的5部分躯干关节作为输入,构建第三阶段网络。

7.根据权利要求6所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,考虑人体结构的几何相关性,将人体所有的关节点进行类内关联划分到5类躯干关节中,实现肢体关节与躯干关节的连接。

8.根据权利要求7所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,对于任意一类的躯干关节与肢体关节,设N1、N2分别为第c部分躯干关节和肢体关节 的候选关节点集合,则所有候选关节点连接集合的最优匹配问题为:其中, 表示关节点k1和k2是否连接,K表示关节点个数。

9.根据权利要求8所述的一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法,其特征在于,对于相互连接的成对关节(k1,k2),根据YOLOv3模型中两条边共享共同节点的方式将关节点之间的连接匹配问题转化为偶图匹配子问题;通过求解所有类内候选关节点连接集合的最优匹配问题,得到躯干关节与肢体关节之间连接的最优匹配,表示为:其中,Emn为关节点之间的关联概率;

连接所有躯干关节与肢体关节的最优匹配组成人体的最终姿态估计结果。