利索能及
我要发布
收藏
专利号: 2024107274398
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于骨架数据生成步态剪影图的步态数据扩充方法,其特征在于,包括以下步骤:S1、采用真实剪影序列构建训练集,使用训练集预训练步态识别网络GaitSet,最大化该网络区分训练集中不同ID的能力,ID表示行人身份,一个行人对应一个ID;

S2、构建骨架生成剪影网络Ske2SilNet,对Ske2SilNet进行训练,直到达到纳什均衡,Ske2SilNet训练框架包括Ske2SilNet、鉴别器和ID特征保留模块;

S3、使用SkeS算法合成新的ID信息对应的骨架序列,并使用训练好的Ske2SilNet生成剪影序列;

所述Ske2SilNet用于将生成的骨架序列转换成剪影序列,其包括骨架点编码器、骨架图像编码器和骨架剪影解码器;

所述骨架点编码器采用图卷积网络来编码身体关键点的坐标,将骨架点编码器的输出输入到线性层中,将Nj个关键点映射到长度为176的向量,然后通过重塑操作将该向量转换为16×11的特征图;

所述骨架图像编码器采用CNN来编码骨架图像序列,输出16×11的特征图;

使用逐元素加法来聚合SkePEnc和SkeIEnc的特征图,然后将聚合后的特征图输入到骨架剪影解码器中,骨架剪影解码器由两个上采样层和多个卷积层构成,输出为剪影序列Fed(xp,xi),表达式为:Fed(xp,xi)=De(Esp(xp)+Esi(xi));

其中,xi为骨架序列,即身体上不同关键点的坐标,通过Ns×2×Nj矩阵表示,Ns是骨架序列中的样本数量,Nj是关键点的数量,2表示每个关键点的二维坐标;xp为骨架图像序列;Fed(xp,xi)为生成剪影序列;De为骨架剪影解码器;Esp(xp)为骨架点编码器;Esi(xi)为骨架图像编码器;

所述鉴别器包括4层卷积层和2层全连接层,用于确保真实剪影序列和生成剪影序列的差异,即对抗性损失Ladv,训练期间的目标是使对抗性损失最小;Ladv的表达式为:Ladv=loge D(xrs)+loge(1‑D(Fed));

其中,Ladv为对抗性损失,D代表鉴别器,xrs是真实的剪影序列;

所述ID特征保留模块即步骤1中训练好的步态识别网络,将生成的剪影序列和真实剪影序列在批维度上进行拼接,并输入到ID特征保留模块中,通过身份保留约束Lid生成序列的ID信息,Lid的表达式为:其中,fgait(·)表示预训练的步态识别模型,K表示fgait(·)提取的特征的维度,k表示步态特征的索引;

步骤S3具体为:

首先,通过有向无环图DAG表示骨架数据,确保骨架结构内没有循环,将人体的部位分别用线段表示,每个部位由两个关节点定义;选择根关键点,将除根关键点之外的所有关键点转换为基于DAG的相对坐标;采用广度优先搜索算法,从根关键点开始,顺序计算每条线段的终点和起点的差;

其次,DAG中的每条线段都被分配一个唯一的标识符,代表骨架的不同部分;随机选择一个或多个标识符,并将不同的缩放因子分配给选择的标识符,缩放因子用于缩小或扩大每个部位对应的两个关节点之间的距离,其范围为(0.6,0.8)和(1.2,1.4);

最后,从根关键点开始,将修改后的相对坐标转换回绝对坐标,从而产生一个新的骨架。

2.根据权利要求1所述的一种基于骨架数据生成步态剪影图的步态数据扩充方法,其特征在于,引入均方误差损失,该损失量化了输出的剪影序列与真实剪影序列之间的平均平方差,表达式为:其中,Lmse为均方误差损失;S、H和W分别表示输出的剪影序列的帧数、高度和宽度;xrs表示真实剪影序列,(s,h,w)表示序列中一个像素的索引,即序列中第s帧h行w列的像素。

3.根据权利要求1所述的一种基于骨架数据生成步态剪影图的步态数据扩充方法,其特征在于,Ske2SilNet的总体损失函数Ltotal为:Ltotal=Lmse+Ladv+Lid。