利索能及
我要发布
收藏
专利号: 2024103644979
申请人: 中南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于毫米波雷达的多视觉多穿戴下的开集步态识别方法,包括如下步骤:S1.获取人体步态信息采集雷达回波信号,并针对获取的回波信号进行预处理,同时构建频谱图集;

S2.构建基于毫米雷达的步态识别网络模型;

S3.采用步骤S1构建的频谱图集,通过联合计算若干个损失函数,训练、优化步骤S2构建的基于毫米雷达的步态识别网络模型;

S4.设置开集模型样本库,采用步骤S3中训练、优化后的基于毫米雷达的步态识别网络模型,基于回波信号,完成步态识别处理。

2.根据权利要求1所述的基于毫米波雷达的多视觉多穿戴下的开集步态识别方法,其特征在于步骤S1所述的获取回波信号,并针对获取的回波信号进行预处理,同时构建频谱图集,具体包括:通过接收机与发射机进行混频处理,获取调解后的人体步态信息采集雷达回波信号;

针对获取的雷达回波信号,沿着距离维度进行快速傅里叶变换处理,获取时间‑距离谱图;

针对获取的时间‑距离谱图进行静态杂波去除处理,消除杂波;

在时间范围图上选择人员位置范围内的一个单位,进行短时傅里叶变换;采用下述公式表示短时傅里叶变换:‑jωτ

STFT(t,ω)=∫s(τ)h(τ‑t)e dτ其中,STFT(t,ω)表示回波信号在时域t和频域ω上的短时傅里叶变换;t表示时间维度;ω表示频率维度;s(·)表示接收到的回波谱图;h(·)表示窗函数;

构建频谱图集:构建的频谱图集包含若干位受试者在设定穿着条件下沿若干个不同视角行走的数据;将采集的回波信号进行短时傅里叶变换后得到的频谱图集合成一个频谱图集,频谱图集每个频谱图展示了信号在频率域上的分布情况。

3.根据权利要求2所述的基于毫米波雷达的多视觉多穿戴下的开集步态识别方法,其特征在于步骤S2所述的构建基于毫米雷达的步态识别网络模型,具体包括:基于毫米雷达的步态识别网络模型包括输入层、多尺度时间提取结构层、ResNet18层、拼接层、全局平均池化层、批标准化层、分类器层;

1)输入层:

选择毫米波谱图作为网路模型的输入,输入到模型的输入层中;

选择表示输入, 其中,B表示模型每次训练的Batch数量;C表示图像的通道数;T表示毫米波谱图的时间轴的维度;D表示毫米波谱图的频率轴的维度;

2)多尺度时间提取结构层:

通过多尺度时间提取结构,针对输入进行处理,获取三种不同时间维度的特征谱图;三种特征谱图分别为短时特征谱图S1、正常时特征谱图N1、长时特征谱图谱图L1;

短时特征谱图S1的维度为 正常时特征谱图N1的维度为长时特征谱图L1的维度为

3)ResNet18层:

ResNet18层通过ResNet18网络,针对多尺度时间提取结构层获取的三种不同时间维度的特征谱图进行处理,提取谱图中的步态特征;

通过ResNet18网络,针对短时特征谱图S1进行步态特征提取处理,获取处理后的特征谱图 其中,C1表示短时特征谱图提取后输出谱图的通道数;T1表示短时特征谱图提取后输出谱图的时间轴的维度;D1表示短时特征谱图提取后输出谱图的频率轴的维度;

通过ResNet18网络,针对正常时特征谱图N1进行步态特征提取处理,获取处理后的特征谱图 其中,C2表示正常时特征谱图提取后输出谱图的通道数;T2表示正常时特征谱图提取后输出谱图的时间轴的维度;D2表示正常时特征谱图提取后输出谱图的频率轴的维度;

通过ResNet18网络,针对长时特征谱图L1进行步态特征提取处理,获取处理后的特征谱图 其中,C3表示长时特征谱图提取后输出谱图的通道数;T3表示长时特征谱图提取后输出谱图的时间轴的维度;D3表示长时特征谱图提取后输出谱图的频率轴的维度;

4)拼接层:

拼接层将ResNet18层处理后得到的特征谱图在时间维度上进行拼接处理,获得拼接后的特征谱图 其中,C4表示拼接后的特征谱图的通道数;D4表示拼接后的特征谱图的频率轴的维度;

采用下述公式表示拼接处理后的特征谱图P:

P=N1⊙S1⊙L1

其中,⊙表示时间维度上的拼接操作;

5)全局平均池化层:

全局平均池化层针对拼接处理后得到的特征谱图 进行全局平均池化处理,获得全局平局池化后的特征谱图 其中,C5表示全局平均池化后的特征谱图的通道数;

6)批标准化层:

批标准化层针对全局平均池化处理得到的特征谱图进行批标准化操作,得到标准化后的特征谱图;

7)分类器层:

分类器层针对批标准化处理后的数据进行处理,将批标准化处理后的数据送入分类器,通过分类器进行判别,得到输出特征;

输入层、多尺度时间提取结构层、ResNet18层、拼接层、全局平均池化层、批标准化层、分类器层、依次串联连接。

4.根据权利要求3所述的基于毫米波雷达的多视觉多穿戴下的开集步态识别方法,其特征在于步骤S3所述的采用步骤S1构建的频谱图集,通过联合计算若干个损失函数,训练、优化步骤S2构建的基于毫米雷达的步态识别网络模型,具体包括:(3‑1)模型的训练、优化:

实验中,对输入谱图进行缩放,按比例调整图像的大小,保持图像内容的相对位置不变,从而适应模型的输入要求;

同时,采用Adam优化器,针对联合计算的损失函数中的三元损失函数进行优化处理;

通过训练,获得若干个视角的步态特征,并存放到样本库中;

(3‑2)损失函数计算:

通过联合计算若干个损失函数,针对基于毫米雷达的步态识别网络模型的参数进行更新处理,学习准确的微动特征;

联合计算的若干个损失函数包括步态损失函数、三元损失函数、中心损失函数;

采用下述公式表示用于联合计算的若干个损失函数:L=LGait+LTriplet+σLCenter其中,L表示用于联合计算的若干个损失函数;σ表示中心损失的调整参数;LGait表示步态损失函数;LTriplet表示三元损失函数;LCenter表示中心损失函数。

5.根据权利要求4所述的基于毫米波雷达的多视觉多穿戴下的开集步态识别方法,其特征在于联合计算的若干个损失函数,具体包括:联合计算的若干个损失函数包括步态损失函数、三元损失函数、中心损失函数;

(1)步态损失函数:

步态损失函数与步态识别网络模型的最后一层相关;

将隐藏层大小设置为N的全连接层,其中,N表示预测图像的数量;

采用下述公式计算步态损失函数函数:

其中,LGait表示步态损失函数;y表示真实步态标签;i表示模型预测的步态标签;pi表示模型预测为y的概率;ε表示常量;

(2)三元损失函数:

计算三元损失函数的目的是建立一个由三个样本组成的三元组(anchor,positive,negative),在三元组中,通过训练三元损失函数,实现相同样本的特征向量之间最近、不同样本的特征向量之间最远的目标;

采用下述公式计算三元损失函数:

LTriplet=max{d(ftac,ftpos)‑d(ftac,ftneg)+margin,0}其中,LTriplet表示三元损失函数;d(·)表示欧氏距离;ftac表示基准样本的特征向量;

ftpos表示正样本的特征向量;ftneg表示负样本的特征向量;margin表示边界值;

模型的训练目标为最小化欧几里得距离d(ftac,ftpos),同时最大化欧几里得距离d(ftac,ftneg),进而使得相同样本的特征向量之间最近、不同那个样本的特征向量之间最远;

针对样本进行采样处理,实现对三元损失函数的训练,确保每个批次的数据集包含整数倍的三元组;

通过边界值margin优化三元损失函数;

(3)中心损失函数:

通过学习不同类别的深层次特征中心,惩罚深层次特征与对应的类别中心之间的距离;

采用下述公式计算中心损失函数:

其中,LCenter表示中心损失函数;B表示批次大小; 表示第yi个类别的中心的特征;yi表示第i个图片的标签;

通过中心损失函数,表示出类间的差别,进而增加类内的紧凑性。