利索能及
我要发布
收藏
专利号: 202410154323X
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于3D人体姿态估计的多关系编码器,所述多关系编码器采用多关系编码器网络,所述多关系编码器网络包括注意力模块和图卷积网络模块;其特征在于:所述注意力模块,改进为自适应多关系注意力模块,所述自适应多关系注意力模块包括注意力矩阵、关节自相似矩阵和预定义的骨骼邻接矩阵三个矩阵,三个矩阵分别用于捕获关节的隐式关系、显式关系和固有物理拓扑关系,且在自适应多关系注意力模块中加入结构先验知识;所述自适应多关系注意力模块用于捕获关节的全局特征;

所述图卷积网络模块,通过两个GCN的串联,以及层归一化和残差连接得到,所述图卷积网络模块用于捕获相邻关节之间的局部特征;

3D人体姿态估计方法,包括如下步骤:

S1、输入单张图像,利用2D姿态模型预测二维关键点,从单张图像中生成2D关节点坐标;

S2、构建多关系编码器网络,包括自适应多关系注意力模块、图卷积网络模块和损失函数模块;

S3、在自适应多关系注意力模块中同时学习三种关节关系,分别为隐式关系、显式关系和固有物理拓扑关系;

S4、将自适应多关系注意力模块和图卷积模块有效集成,形成全局‑局部结构;

S5、将2D关节点坐标 作为输入,其中N为关节点的数量,利用多关系编码器网络来提取关节点的特征,根据学习到的关节点的全局和局部特征预测3D关节点坐标;最终进行三维坐标回归,输出三维姿态。

2.根据权利要求1所述的一种用于3D人体姿态估计的多关系编码器,其特征在于,所述三个矩阵,具体表示为:给定一个输入 ,将X传入自适应多关系注意力模块中,其中 、 、是通过卷积实现的可学习变换;变换表示为:

其中, , ,  是参数化的权重矩阵;

使用成对函数f 来计算所有位置之间的亲和力,并使用点积作为f的运算:是用来捕捉关节之间隐式关系的注意力矩阵, 的公式表示为:是用来捕获关节之间的显式关系,引入了自相似矩阵SSM, 的公式表示为:表示预定义的骨骼邻接矩阵,用于捕获人体关节之间的固有物理拓扑关系,的公式表达为:。

3.根据权利要求2所述的一种用于3D人体姿态估计的多关系编码器,其特征在于,在自适应多关系注意力模块中加入结构先验知识,具体为:将 和 作为先验知识,与 组合起来获得空间依赖注意力矩阵SpDA,表示为 ;使用Concat[·,·]操作来连接 、 和 ;SpDA的公式表达为:其中, 表示通过卷积实现的可学习变换;因此,非局部上下文响应Y 通过两个线性映射来计算,如下所示:其中, 和 是通过卷积实现的可学习变换。

4.根据权利要求1所述的一种用于3D人体姿态估计的多关系编码器,其特征在于,所述图卷积网络模块中GCN的设计是根据相邻节点的语义信息对其进行分类,然后进行特征变换并聚合变换后的特征;GCN公式表达如下:其中,K是相邻节点类型的索引, 是第K种类型的1跳相邻节点的过滤器矩阵, 是第K种类型的邻接矩阵, 是第K种类型的度矩阵。

5.根据权利要求1所述的一种用于3D人体姿态估计的多关系编码器,其特征在于,所述多关系编码器网络还包括损失函数模块,损失函数为均方误差,表示为:其中,N代表关节的数量,i是关节类型的索引, 和 分别表示为地面真实三维关节位置位置和预测的三维关节位置。