利索能及
我要发布
收藏
专利号: 2025100181541
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种运动数据优化方法,其特征在于,包括如下步骤:

步骤1. 将采集到的人体运动数据进行预处理,并构建训练数据集;

步骤2. 搭建运动数据优化模型,其包括平滑优化模块、位置优化模块以及矩阵优化模块;

所述平滑优化模块使用改进的堆叠自编码器对运动数据进行平滑优化;

其中,改进的堆叠自编码器由多个双向循环自编码器组成;

运动数据在经过一个双向循环自编码后将优化后的运动数据再次输入到下一个双向循环自编码器中,重复的利用双向循环自编码器优化,得到平滑优化结果;

其中每个双向循环自编码器的编码器与解码器之间均引入时间注意力机制,在处理运动数据时更加聚焦于手部数据序列中的运动细节,以提升手语运动优化时的平滑性;

所述位置优化模块使用改进的卷积自编码器;

将平滑优化结果输入到改进的卷积自编码器进行位置误差优化,得到最终优化运动数据;

其中在卷积自编码器的编码器与解码器之间引入时间注意力机制,在处理运动数据时更加关注手部数据序列部分的运动信息,以提高手语运动位置优化质量;

矩阵优化模块采用基于有限差分的平滑算法,构造一个差分矩阵来实现最终优化运动数据的平滑,以解决运动数据在经过卷积自编码器后运动数据平滑性降低问题;

步骤3. 利用步骤1构建的训练数据集,对步骤2搭建的运动数据优化模型进行训练,并利用训练后的运动数据优化模型,对输入模型的人体运动数据进行优化处理。

2.根据权利要求1所述的运动数据优化方法,其特征在于,

所述双向循环自编码器包括编码器、时间注意力机制以及解码器;双向循环自编码器的编码器以及解码器结构对称,且均由三个全连接层和一个双向长短时记忆单元组成;

其中全连接层用于运动数据预测及缺损修复;

双向长短时记忆单元用于处理具有时间序列特征的数据;

时间注意力机制使模型更加关注序列中的某些时间点,在模型处理序列数据时,为序列中的每个时间点分配一个权重,表示该时间点对模型输出的重要性;

双向循环自编码器的编码器,首先将含有噪声的人体骨骼运动数据映射到隐变量空间;

时间注意力机制在隐变量空间的基础上,为双向循环自编码器的解码器提供一种动态选择输入序列中重要部分,生成一个加权的上下文向量;该加权的上下文向量将作为解码器的输入,以帮助双向循环自编码器的解码器在生成输出时关注手语序列部分;

双向循环自编码器的解码器,则将隐变量映射回运动数据空间得到优化后的运动数据。

3.根据权利要求2所述的运动数据优化方法,其特征在于,

所述时间注意力机制的具体处理过程如下:

首先计算注意力得分;

定义运动数据序列 ,计算当前时间步与所有其他时间步之间的相关性 ,特别关注手部运动信息, 表示第i个时间步的运动数据, ;

其中,是得分函数, 是前一个时间步的隐藏状态;

其次计算归一化得分;

使用softmax函数对手部运动特征之间的得分进行归一化处理,得到归一化后的注意力权重 ,以确保所有时间步的权重加起来等于1;

最后进行加权求和,得到加权上下文向量;

将归一化后的注意力权重应用于手部运动特征,进行加权求和,得到加权后的特征表示 ;

其中, 表示第i个时间步的运动数据, 。

4.根据权利要求2所述的运动数据优化方法,其特征在于,

定义双向循环自编码器的编码器中三个全连接层和一个双向长短时记忆单元,分别为全连接层FC1、FC2、FC3、以及第一双向长短时记忆单元;

输入双向循环自编码器的编码器中的运动数据,依次经过输入层、FC1、FC2、FC3、以及第一双向长短时记忆单元处理,得到隐变量空间;

双向循环自编码器的输入层的样本大小为3480×73,表示每个输入样本包含3480个时间步,每个时间步有73个特征,3480代表时间序列长度,73代表每个时间点的特征维度;

FC1、FC2、FC3的输入的样本大小分别为3840×128、3840×256、3840×512,对应表示输入样本的大小包含3480个时间步,每个时间步分别有128、256、512个特征;

第一双向长短时记忆单元输入的样本大小为16×240×512,表示每个样本是一个维度为240的时间序列,每个时间点有一个512维的特征向量,总共有16个样本;

时间注意力机制在隐变量空间的基础上,为双向循环自编码器的解码器提供一种动态选择输入序列中重要部分,生成一个加权的上下文向量;

定义双向循环自编码器的解码器中三个全连接层和一个双向长短时记忆单元,分别为全连接层FC4、FC5、FC6、以及第二双向长短时记忆单元;

加权的上下文向量依次经过第二双向长短时记忆单元、FC4、FC5、FC6处理后,得到优化后的运动数据,优化后的运动数据经过输出层输出;

第二双向长短时记忆单元输入的样本大小为16×240×512;表示每个样本是一个维度为240的时间序列,每个时间点有一个512维的特征向量,总共有16个样本;

FC4、FC5、FC6的输入的样本大小分别为3840×512、3840×256、3840×128;对应表示输入样本的大小包含3480个时间步,每个时间步分别有512、256、128个特征;

双向循环自编码器的输出层的样本大小为3480×73,表示每个输入样本包含3480个时间步,每个时间步有73个特征,3480代表时间序列的长度,73代表每个时间点的特征维度。

5.根据权利要求1所述的运动数据优化方法,其特征在于,

所述改进的卷积自编码器包括编码器、时间注意力机制和解码器三部分;

编码器 由卷积层、池化层和激活层组成;

池化层用于在相邻帧间取最大值,以保证时域的不变性、加快计算速度并防止训练的过拟合,激活层是为了确保网络得到个非线性流形以更好地拟合运动;

在卷积自编码器的编码器与解码器之间引入时间注意力机制,以帮助卷积自编码器更好地捕捉和利用编码后的特征表示,为卷积自编码器的解码器提供一种动态选择输入序列中重要部分,生成一个加权的上下文向量作为卷积自编码器的解码器的输入;

解码器 由反池化层和卷积层组成,反池化层用于将隐变量的值均匀分布在两个可见单元上,使合并后的可见单元在时间维度上与池化前保持一致;

改进的卷积自编码器的编码器与解码器过程表示为:

式中 为编码器, 为解码器, 表示卷积层中卷积核的权重矩阵, 表示平滑优化后的运动数据即平滑优化模块的输出特征, 表示卷积层中偏置,表示最大池化函数;

在卷积自编码器的解码器中将 作为输入,通过反池化操作 后减去偏置 ,最后使用权重矩阵 进行卷积计算,得到最终的位置优化后的运动数据 。

6.根据权利要求5所述的运动数据优化方法,其特征在于,

所述编码器 中卷积层以及池化层分别有五个,五个卷积层分别定义为Conv1、Conv2、Conv3、Conv4、Conv5,五个池化层分别定义为Pool1、Pool2、Pool3、Pool4、Pool5;输入编码器 的运动数据特征依次经过输入层、卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3、池化层Pool3、卷积层Conv4、池化层Pool4、卷积层Conv5以及池化层Pool5处理,得到隐变量空间;

其中,输入层的样本大小为16×240×73×1,卷积层Conv1的输入大小为16×240×73×32,池化层Pool1的输入大小为16×120×37×32,卷积层Conv2的输入大小为16×120×

37×64,池化层Pool2的输入大小为16×60×19×64,卷积层Conv3的输入大小为16×60×

19×128,池化层Pool3的输入大小为16×30×10×128,卷积层Conv4的输入大小为16×30×10×256,池化层Pool4的输入大小为16×15×5×256,卷积层Conv5的输入大小为16×15×5×512,池化层Pool5的输入大小为16×8×3×512;

时间注意力机制在隐变量空间的基础上,为卷积自编码器的解码器提供一种动态选择输入序列中重要部分,生成一个加权的上下文向量;

解码器 中卷积层以及反池化层分别有五个,五个卷积层分别定义为Conv6、Conv7、Conv8、Conv9、Conv10,五个反池化层分别定义为UnPool1、UnPool2、UnPool3、UnPool4、UnPool5;加权的上下文向量依次经过反池化层UnPool1、卷积层Conv6、反池化层UnPool2、卷积层Conv7、反池化层UnPool3、卷积层Conv8、反池化层UnPool4、卷积层Conv9、反池化层UnPool5、卷积层Conv10处理得到优化后的运动数据,并经过输出层输出;

其中,反池化层UnPool1的输入大小为16×15×5×512,卷积层Conv6的输入大小为16×15×5×256,反池化层UnPool2的输入大小为16×30×10×256,卷积层Conv7的输入大小为16×30×10×128;反池化层UnPool3的输入大小为16×60×19×128,卷积层Conv8的输入大小为16×60×19×64,反池化层UnPool4的输入大小为16×120×37×64,卷积层Conv9的输入大小为16×120×37×32;反池化层UnPool5的输入大小为16×240×73×32,卷积层Conv10的输入大小为16×240×73×1,输出层的大小为16×240×73×1;

定义卷积层、池化层以及反池化层的大小a×b×c×d;其中a代表批次大小,表示网络在一次前向或后向传播过程中处理的数据样本数量;b×c表示每个输入或输出特征图的尺寸;d表示特征图的深度,即每个空间位置上的特征向量维度。

7.根据权利要求1所述的运动数据优化方法,其特征在于,

所述矩阵优化模块的处理流程如下:

I. 首先创建一个平滑矩阵,该平滑矩阵使用有限差分法来实现信号的平滑;平滑矩阵的主对角线和邻近对角线的权重被设置为不同的值,以构造出平滑操作;

II. 设置平滑矩阵的主对角线权重为2,邻近对角线权重为‑1,构建一个离散二阶微分算子,旨在通过比较相邻数据点的差异来平滑数据;定义有限差分矩阵S为:;

式中,S是一个(n+4)×(n+4)的矩阵,其中n是输入序列的长度;

III. 通过设置零阶保持边界条件,在输入序列的开始处,第一个元素保持不变,在输入序列的结束处,最后一个元素保持不变,确保输入序列在开头和结尾处平滑操作的有效性,同时保持边界元素的值不变,然后将平滑矩阵转换为三维张量,匹配输入数据的维度;

IV. 扩展位置优化结果Y,在序列的开始处添加两个数据点,这两个数据点与原始序列的第一个数据点相同,以实现零阶保持边界条件,即在输入序列的开始处保持数据不变;

在输入序列的结束处添加两个数据点,这两个数据点与输入序列的最后一个数据点相同,以实现在输入序列的结束处保持数据不变,最终得到扩展后的输入序列 ;

定义输入序列Y是一个B×S×N的三维张量,在其时间维度上添加额外的数据点;设是一个B×1×N的矩阵,表示每个批次第一个时间步的数据;设 是一个B×1×N 的矩阵,表示每个批次最后一个时间步的数据;则扩展后的输入数据 表示为:;

其中,B代表一个批次中包含的数据样本数量,S代表每个样本的时间步数或序列长度,N代表每个时间步的特征数量;

V. 将平滑矩阵S与扩展后的输入数据 相乘得到平滑结果,S和Y的矩阵乘积R为:。

8.根据权利要求1所述的运动数据优化方法,其特征在于,

所述步骤1中,对采集到的人体运动数据进行预处理的过程具体为:步骤1.1. 将所有的运动数据下采样进行频率转换,即将动画数据按照步长为2进行采样,即将帧率从原来的120fps转换为60fps;

步骤1.2. 使用正向运动学方法计算全局位置,进行坐标转换,去除不需要的关节,将需要保留的关节进行保存到关节索引当中;

步骤1.3. 获取运动数据的脚部接触信息以及对脚部高度进行调整;

步骤1.4. 获取关节速度以及旋转速度;

步骤1.5. 最终将关节速度、旋转速度、脚部接触信息整合,对骨骼进行归一化处理,得到含噪声运动数据。

9.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,用于实现如权利要求1至8任一项所述的运动数据优化方法。

10.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,用于实现如权利要求1至8任一项所述的运动数据优化方法。