利索能及
我要发布
收藏
专利号: 2023111673502
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视角感知部分明智注意力机制的步态识别方法,其特征在于,包括以下步骤:S1、构造数据集D并划分为训练集Dtrain和测试集Dtest;

S2、构建步态特征提取网络,所述步态特征提取网络包括帧级特征编码器、序列级特征编码器和全连接层,其中帧级特征编码器用于提取轮廓序列各帧的空间特征,序列级特征编码器用于聚合时间信息;

S3、构建视角感知部分明智注意力机制,利用部分级细粒度通道注意信息来选择视角信息最多的通道,并捕获部分级特征中的通道间关系;

在所述S3中,步态特征Fg被划分为p个部分,将每个部分步态特征Fgj输入到一个通道注意模块,该模块由两个1D卷积层、1个ReLu激活函数层和1个Sigmoid层级联组成,其链接顺序为1D卷积层、ReLu激活函数层、1D卷积层、Sigmoid层,利用该模块生成一个通道分数mj,mj与部分步态特征Fgj相乘,生成最终的部分级视角特征Fvj,表示为:Fvj=Sigmoid(W1(ReLu(W2(Fgj))))×Fgj;

其中,W1和W2表示一维卷积层的参数矩阵;

将p个部分级视角特征连接在一起获得视角特征Fv,将Fv添加到步态特征Fg中,产生具有视图感知的步态特征Fvg,进行步态识别;

S4、步态特征提取网络和视角感知部分明智注意力机制共同构成视角感知步态识别模型,采用三元组损失、身份交叉熵损失和视角交叉熵损失以及训练集Dtrain训练该模型直到满足训练次数,用测试集Dtest测试训练完成的模型。

2.根据权利要求1所述的一种基于视角感知部分明智注意力机制的步态识别方法,其特征在于,在S1中,将全部N个行人不用视角、不同行走条件步态视频数据,使用预处理算法获取图像大小为H×W的步态轮廓序列组成数据集D,将数据集划分为训练集Dtrain和测试集Dtest。

3.根据权利要求1所述的一种基于视角感知部分明智注意力机制的步态识别方法,其特征在于,所述帧级特征编码器由4个2D卷积层、1个最大池化层和1个水平池化层串联组成,其链接顺序为2D卷积层C1、2D卷积层C2、最大池化层、2D卷积层C3、2D卷积层C4、水平池化层,其中4个卷积层的卷积核大小均为3×3,输出通道数量依次为32、64、128、128,最大池化层和水平池化层的池化核大小为2×2;

所述帧级特征编码器的输入为步态轮廓序列,定义为X={x1,x2,…,xn},xn表示步态序列第n帧步态轮廓图,维度为1×H×W,分别代表图像的通道数、高和宽,经过4层2D卷积和1层最大池化后的步态轮廓特征大小为128×h×w,其中h=H/2,w=W/2,然后在水平池化层中,将每一帧步态轮廓特征分成p份,每一份大小为128×1×w,然后分别对每一份在空间维度进行全局最大池化和全局平均池化,得到p份128维特征,记为ff,维度为128×p,最终输出的一个序列步态轮廓特征记为Ff=ff1,ff2,…,ffn}。

4.根据权利要求3所述的一种基于视角感知部分明智注意力机制的步态识别方法,其特征在于,所述序列级特征编码器包括多尺度膨胀时间特征提取器MSDTE和集合池化层,所述MSDTE由两部分结构组成,第一部分结构由1D卷积层、1D批归一化层、1D卷积层、1D批归一化层依次串联组成,两个ID卷积层的卷积核大小为3,膨胀率为1,第二部分结构由1D卷积层、1D批归一化层、第二1D卷积层、1D批归一化层依次串联组成,两个1D卷积层的卷积核大小为3,膨胀率为2;

帧级特征}f分别经过第一和第二部分结构生成短期特征Fs和长期特征Fl,Ff、Fs和Fl的维度相同,不同尺度的步态特征采用拼接方式进行聚合,通过一个时间池化层输出序列级特征,序列级特征输入到全连接层中,生成步态特征Fg,维度为256×h。

5.根据权利要求1所述的一种基于视角感知部分明智注意力机制的步态识别方法,其特征在于,在所述S4中,设步态轮廓序列组的样本三元组为R=(Q,P,N),其中Q和P来自同一受试者,Q和N来自两个不同的受试者;

三元组损失Ltp表示为:

Ltp(R)=max(m+DQ,P‑DQ,N,0);

其中m是类内距离DQ,P和类间距离DQ,N之间的阈值;

交叉熵损失Lce包含身份交叉熵Lice和视角交叉熵Lvce两部分,表示为:

其中,N表示样本数量,M是类别数量,标签 表示第i样本的身份类别是第j类,标签表示第i样本的视角类别是第j类,pij表示第i样本的类别是j预测概率;

总损失L表示为:

L=α×Ltp+β×Lice+γ×Lvce;

其中α、β和γ为超参数;

在训练阶段,每一次训练从训练集中采样P×K个样本,将三元组损失的阈值m设置为

0.2,并选择Adam优化器进行训练;在测试阶段,将整个步态轮廓序列直接输入模型进行特征提取。