利索能及
我要发布
收藏
专利号: 2024100860586
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维人体姿态估计方法,其特征在于,包括:获取图像;

提取所述图像中的2D姿态特征;

将所述2D姿态特征输入到训练好的三维人体姿态估计模型中,得到三维人体姿态;

其中,所述三维人体姿态估计模型在GraphMLP的基础上进行改进,包括:将两个图卷积层堆叠作为上分支,在每个图卷积层之前加一个层归一化;

将关节交互模块和全局语义增强模块连接作为下分支,在关节交互模块中引入局部区域重排模块以和空间MLP并联,然后连接关节交互卷积模块;在全局语义增强模块中引入轴向平移模块和通道交互卷积模块,以U型通道MLP代替通道MLP,轴向平移模块和U型通道MLP并联,然后连接通道交互卷积模块;

一个上分支和一个下分支并联后组成一个双分支结构,所述三维人体姿态估计模型包括多个双分支结构;

所述关节交互模块的表达式为:

其中, 是第m个关节交互模块的输出, 是第m个关节交互卷积模块的输入,表示关节交互卷积模块, 表示归一化, 是第m个关节交互模块的输入,表示转置, 表示卷积模块, 表示空间MLP,表示局部区域重排模块;

所述全局语义增强模块的表达式为:

其中, 是第m个通道交互卷积模块的输入,  是第m个全局语义增强模块的输出,表示通道交互卷积模块, 表示轴向平移模块, 表示U型通道MLP。

2.根据权利要求1所述的三维人体姿态估计方法,其特征在于,在所述局部区域重排模块中,先沿着关节维度将输入的特征划分为多个区域特征,在重排时,沿着通道维度连接区域特征中的所有标记,得到重新排列的区域特征,然后将区域特征送到两个连续的FC模块中,沿最后维度混合区域特征中的信息得到混合区域特征,将混合区域特征输入到恢复模块恢复到与输入的特征形状相同的原始形状,得到输出的特征。

3.根据权利要求1所述的三维人体姿态估计方法,其特征在于,所述关节交互卷积模块包括两个并联的1D卷积层和一个1D卷积,两个1D卷积层并联后连接1D卷积;

所述1D卷积层包括依次连接的1D卷积、激活函数和Dropout层;

所述两个1D卷积层的卷积核大小分别为1和3,在1D卷积层并联后连接的1D卷积的卷积核大小为3;

所述通道交互卷积模块的结构和所述关节交互卷积模块的结构相同。

4.根据权利要求1所述的三维人体姿态估计方法,其特征在于,在所述轴向平移模块中,输入特征在通道维度执行层归一化,包括:利用通道投影将输入特征映射为线性层的输入特征,然后利用水平偏移和垂直偏移在映射后输入特征所在的特征空间中对输入特征进行平移操作。

5.根据权利要求1所述的三维人体姿态估计方法,其特征在于,所述U型通道MLP包括三个依次连接的全连接层,第一个全连接层用于减小输入特征的通道,第二个全连接层用于维持输入特征的通道不变,第三个全连接层用于扩展输入特征的通道。

6.一种三维人体姿态估计装置,其特征在于,包括:图像获取模块,被配置为:获取图像;

特征提取模块,被配置为:提取所述图像中的2D姿态特征;

三维人体姿态估计模块,被配置为:将所述2D姿态特征输入到训练好的三维人体姿态估计模型中,得到三维人体姿态;

所述三维人体姿态估计模型在GraphMLP的基础上进行改进,包括:将两个图卷积层堆叠作为上分支,在每个图卷积层之前加一个层归一化;

将关节交互模块和全局语义增强模块连接作为下分支,在关节交互模块中引入局部区域重排模块以和空间MLP并联,然后连接关节交互卷积模块;在全局语义增强模块中引入轴向平移模块和通道交互卷积模块,以U型通道MLP代替通道MLP,轴向平移模块和U型通道MLP并联,然后连接通道交互卷积模块;

一个上分支和一个下分支并联后组成一个双分支结构,所述三维人体姿态估计模型包括多个双分支结构;

所述关节交互模块的表达式为:

其中, 是第m个关节交互模块的输出, 是第m个关节交互卷积模块的输入,表示关节交互卷积模块, 表示归一化, 是第m个关节交互模块的输入,表示转置, 表示卷积模块, 表示空间MLP,表示局部区域重排模块;

所述全局语义增强模块的表达式为:

其中, 是第m个通道交互卷积模块的输入,  是第m个全局语义增强模块的输出,表示通道交互卷积模块, 表示轴向平移模块, 表示U型通道MLP。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1‑5中任一项所述的三维人体姿态估计方法。

8.一种电子设备,其特征在于,包括:

存储器,用于存储指令;

处理器,用于执行所述指令,使得所述电子设备执行实现如权利要求1‑5中任一项所述的三维人体姿态估计方法的操作。