利索能及
我要发布
收藏
专利号: 2024101861463
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于图卷积和注意力机制的三维人体姿态估计系统,由M个堆叠的基本块串行连接构成,其特征在于:每个基本块内包括精炼回归关联捕获模块RR‑ACM、泛化制导关联捕获模块GG‑ACM、特征融合模块LCM、全局知识先验捕获模块GKPC和局部区域主体捕获模块LRAC;

每个基本块内均将通道维度C拆分得到维度C1和维度C2,对维度C1和维度C2分别通过精炼回归关联捕获模块RR‑ACM和泛化制导关联捕获模块GG‑ACM得到两个不同的融合特征信息,再通过特征融合模块LCM对两个不同的融合特征信息处理得到两个相对互补的关联特征,最后使用并行设计的全局知识先验捕获模块GKPC和局部区域主体捕获模块LRAC基于两个相对互补的关联特征对人体姿态的全局和局部特征间关联关系进行捕获;

所述精炼回归关联捕获模块RR‑ACM,通过先细化、再精炼、最终协同提取的步骤处理初始人体关节特征信息得到融合特征信息;

所述泛化制导关联捕获模块GG‑ACM,通过先泛化、再制导、最终协同提取的步骤处理初始人体关节特征信息得到融合特征信息;

所述全局知识先验捕获模块GKPC,通过残差连接的方式串行连接两个多头自注意力机制得到;所述全局知识先验捕获模块GKPC用于采用多头自注意力机制对全局上下文的关注能力提取全局特征;

所述局部区域主体捕获模块LRAC,采用图卷积网络构成;所述局部区域主体捕获模块LRAC用于获取单个关节与局部区域主体间其他关节间的关联。

2.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述精炼回归关联捕获模块RR‑ACM,具体如下:首先,通过对N个人体关节的拓扑节点特征进行精确计算,得到2N‑1个代表细化人体关节的拓扑节点特征信息;Ai表示第i个细化节点特征:其中, 是原N个节点特征中的第j个特征表示;相邻节点是指人体物理拓扑结构中关节位置直接连接的关节点,同时它的拼接顺序是按照人体拓扑节点的序列顺序;

根据初始人体关节特征信息 得到细化人体关节特征信息

其后,在获得细化人体关节特征信息 后,将 通过一个全连接层得到细化‑精炼特征信息 再对 进行邻域节点之间的特征聚合和映射,得到细化人体关节特征的中间表示维度变化形式为:其中,细化人体关节特征的中间表示 与初始输入 的特征维度一致;

最后,拼接初始人体关节特征信息 细化人体关节特征信息 及细化人体关节特征的中间表示 三个来自不同步骤的关节特征信息,而后将其依次经过一层全连接层以及进行邻域节点之间的特征聚合得到融合特征信息,通过特征聚合概括特征信息之间的关系。

3.根据权利要求2所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述泛化制导关联捕获模块GG‑ACM,具体如下:首先,对包含N个人体拓扑节点的特征信息进行泛化操作,得到包含9个拓扑节点的泛化人体关节特征信息 Bi表示第i个泛化节点特征:其中, 代表原N个节点特征中的第j个特征表示,依次对应于泛化节点特征的第i个特征;

其后,在获得泛化人体关节特征信息 后,将 通过一个全连接层得到泛化‑制导特征信息 将泛化的人体关节特征制导回归到原本的特征维度 得到泛化人体关节特征的中间表示 Ci表示中间表示 的第i个制导节点特征:其中,原节点特征是指初始输入的人体关节特征信息 的N个人体拓扑关节点信息;

最后,拼接初始人体关节特征信息 泛化人体关节特征信息 及泛化人体关节特征的中间表示 三个来自不同步骤的关节特征信息,而后将其依次经过一层全连接层以及进行邻域节点之间的特征聚合得到融合特征信息,通过特征聚合概括特征信息之间的关系。

4.根据权利要求3所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,使用局部区域主体捕获模块LRAC对精炼回归关联捕获模块RR‑ACM和泛化制导关联捕获模块GG‑ACM中隐含的特征信息进行提取,并将其作为一个关键影响因素传递到下一个层次;公式表示如下:传递到下一个层次的特性信息,是 三个特征信息的融合向量。

5.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述特征融合模块LCM,由残差连接的全连接感知器和一维卷积构成,对输入的初始人体关节特征信息 通过全连接层,再对中间特征进行单维度的抽象,得到一个与初始人体关节特征信息 维度相同的转换特征。

6.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述全局知识先验捕获模块GKPC中多头自注意力机制的公式表示如下:O

MultiHead(Q,K,V)=Concat(H1,...,Hh)WQ K V

Hi=Attention(QWi,KWi,VWi)

其中,Hi代表第i个头注意力得到的结果,

是投影矩阵。

7.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述局部区域主体捕获模块LRAC中图卷积网络,具体如下:给定一组C维的层特征 用来聚合相邻节点信息的图卷积网络表示为:

其中,为对角矩阵,是添加有自连接的邻接矩阵, 是可学习的权重矩阵。

8.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,所述基本块内全局知识先验捕获模块GKPC和局部区域主体捕获模块LRAC同时进行多级交叉连接与融合,所述基本块内的公式表示如下:其中,GKPC为全局知识先验捕获模块GKPC,LRAC为局部区域主体捕获模块LRAC;第一个基本块的输入是初始人体关节点特征信息, 表示上一层基本块传递过来的特征信息;α是定义的一个比重参数,用来表示两个不同特征H1和H2各自所占的比例,特征H1和H2是通过特征融合模块LCM得到; 和 表示部分关节特征信息,是初始人体关节特征信息经精炼回归关联捕获模块RR‑ACM和泛化制导关联捕获模块GG‑ACM处理后的融合特征信息。

9.根据权利要求1所述的基于图卷积和注意力机制的三维人体姿态估计系统,其特征在于,还包括损失函数模块,通过为每个关节分配不同的权重,以表示不同关节点的重要性,利用L2‑Norm损失来最小化估计结果和地面实况之间的误差;

损失函数表示如下:

10.应用权利要求1‑9任一所述系统进行的基于图卷积和注意力机制的三维人体姿态估计方法,其特征在于,包括如下步骤:S1、将初始人体关节特征信息分别进行细化回归与泛化制导得到两个不同的融合特征信息;

S2、将两个不同的融合特征信息进行融合与交互,得到两个相对互补的关联特征;

S3、基于两个相对互补的关联特征对人体物理拓扑结构全局知识先验及局部区域主体特征信息进行捕获。