1.基于时空特征融合的细粒度步态子相位识别方法,其特征在于,包括以下步骤:S1:在下肢康复外骨骼机器人上集成多源异构传感器,采集受试者穿戴下肢康复外骨骼机器人行走时的步态多源数据;
S2:将实验视频提取为静态图像,进行人工标注以生成金标准标签,并计算各子相位的时间占比;对采集到的步态多源数据进行滤波、去噪,基于地面接触力GCF数据构建四维压力分布向量,同时对表面肌电信号和惯性测量单元信号进行归一化处理;
S3:设计步态子相位标签分配算法,为步态多源数据分配对应的步态子相位标签;基于四维压力分布向量对支撑相内五个子相位进行标签分配,并基于摆动相内三个子相位的时间占比进行剩余标签分配;
S4:采用滑动重叠窗口技术,将处理后的步态多源数据划分为固定长度的时间窗口,利用统计众数法为每个时间窗口分配唯一标签,以构建训练数据集;
S5:基于金标准标签验证步态子相位标签分配算法的可靠性;
S6:基于异构并行卷积架构设计特征提取模块,同时结合双向长短期记忆网络实现时序建模,并将输出特征向量进行级联,完成分类决策,以构建时空特征融合模型;
S7:引入加权分类交叉熵损失函数,动态调整类别权重,以提升模型对于样本较少的子相位类别的识别能力;
S8:采用分层K折交叉验证策略进行模型训练与评估,合理设置超参数并启用模型检查点机制;
S9:利用Simulink部署训练完成的时空特征融合模型,构建端到端的步态子相位在线识别系统,实现步态子相位的实时识别。
2.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S1所述的多源异构传感器,包括地面接触力鞋垫、惯性测量单元以及表面肌电传感器。
3.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S2所述的基于地面接触力GCF数据构建四维压力分布向量,具体过程如下:将滤波、去噪后的地面接触力GCF数据按照“前足掌”、“足弓”、“前脚跟”和“后脚跟”划分为四组,分别计算各组的平均值,以得到四组GCF平均值;对每组GCF平均值进行阈值二值化处理,公式如下: (1)
其中 为GCF平均值, 为阈值,设置为受试者体重的5%;G表示地面接触状态,其值为“1”时表示为地面状态,为“0”时表示为地上状态;将阈值二值化处理后得到的G值拼接,构建四维压力分布向量,以便于后续进行步态子相位标签分配。
4.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S3所述的步态子相位标签分配算法,具体设计过程如下:S31.基于四维压力分布向量,初步判定当前步态多源数据对应步态处于支撑相还是摆动相,即当四维压力分布向量中的任意元素非零时,步态被判定为处于支撑相;当四维压力分布向量中的所有元素均为零时,步态被判定为处于摆动相;
S32.在标签分配过程中,四维压力分布向量为 对应的步态多源数据被初步分
配标签“9”,表示处于摆动相,其余数据被初步分配标签“0”,表示处于支撑相;随后,根据四维压力分布向量中“1”的分布情况,进一步明确支撑相内五个子相位的标签分配;若四维压力分布向量为 ,分配标签“1”,表示处于“初始接触”;若四维压力分布向量为或 ,分配标签“2”,表示处于“载荷响应”;若四维压力分布向量为
,分配标签“3”,表示处于“中间站立”;若四维压力分布向量为 或
,分配标签“4”,表示处于“终端站立”;若四维压力分布向量为 ,分配标签“5”,表示处于“预摆动”;
S33.根据摆动相内三个子相位的时间占比,对剩余的步态多源数据进行标签分配;按照时间顺序和时间占比,将初步分配为标签“9”的步态多源数据,依次替换为标签“6”、“7”和“8”;其中,标签“6”表示处于“初摆动”,标签“7”表示处于“中摆动”,标签“8”表示处于“末摆动”。
5.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S4中采用滑动重叠窗口技术构建训练数据集的具体过程为:S41.设置窗口大小为50,滑动步长为10,对时间序列数据进行分割;从时间序列的第1个数据点开始,截取长度为50的时间窗口作为第一个窗口;随后,从第11个数据点开始截取相同长度的数据作为第二个窗口;按照固定步长滑动窗口,直至覆盖整个序列;
S42.采用统计众数法分配窗口标签,即统计窗口内各时间点标签的频次,并以出现频次最高的标签作为该窗口的唯一标签。
6.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S6中时空特征融合模型的详细架构和层级配置,具体包括:步骤S6所述的基于异构并行卷积架构设计特征提取模块,具体包含:
模型的输入数据为双下肢的4通道表面肌电信号与3通道惯性测量单元信号组成的14通道生物传感数据,输入张量维度为:批尺寸128×时间步50×传感器通道14×信号维度1;
特征提取模块包括以下三条异构卷积分支:
时空联合卷积分支:采用6×14二维卷积核沿时间‑空间联合维度滑动,卷积核数量设置为16,使用ReLU激活函数;输出特征张量经批量归一化层正则化后,经过2×2大小的最大池化层进行下采样,最终经全局平均池化层压缩为特征向量;
时序主导卷积分支:采用14×1时序卷积核沿时间维度滑动,卷积核数量设置为8,使用ReLU激活函数;输出特征张量经批量归一化层正则化后,经过2×1大小的最大池化层进行下采样,最终通过全局平均池化层压缩为特征向量;
空间主导卷积分支:采用1×14空间卷积核沿传感器通道维度滑动,卷积核数量设置为
8,使用ReLU激活函数;输出特征张量经批量归一化层正则化后,通过Permute层进行维度置换,重构为时序数据结构,最终通过全局平均池化层压缩为特征向量;
步骤S6所述的结合双向长短期记忆网络实现时序建模,具体包含:
将三条异构卷积分支的输出特征向量经RepeatVector层扩展为三维时序结构,分别输入到独立配置的双向长短期记忆网络中;其中,时空联合卷积分支对应双向长短期记忆网络的隐藏单元数设置为128,前向与反向输出拼接为256维时序特征,通过64单元全连接层输出;时序主导卷积分支对应双向长短期记忆网络的隐藏单元数设置为64,输出64维时序特征,通过32单元全连接层输出;空间主导卷积分支对应双向长短期记忆网络的隐藏单元数设置为64,输出64维时序特征,通过32单元全连接层输出;
步骤S6所述的将输出特征进行级联并完成分类决策,具体包括:
通过Concatenate层将各分支对应双向长短期记忆网络的输出特征向量沿传感器通道维度拼接,形成融合特征向量;通过32单元全连接层映射至256维语义空间,权重矩阵采用Xavier正态分布进行初始化;最终,输出层采用Softmax函数生成8×1步态子相位概率分布向量。
7.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S7所述的引入加权分类交叉熵损失函数,动态调整类别权重,具体包括:引入加权分类交叉熵 作为损失函数,为不同类别分配与其样本数量倒数成正比的
权重,其数学表示为:
(2)
其中, 为类别数, 表示样本 标签的one‑hot编码值,如果标签为第 类,则,否则 ; 是模型对第 类输出的预测概率,由Softmax函数计算得到, 是第 类的权重;类别权重 通过下式计算:
(3)
其中, 代表训练集中第 类的样本总数。
8.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S8所述的分层K折交叉验证策略具体包括:在进行正式的模型训练时,将数据集划分为10个不重叠的折,在每个折叠中按照8:1:1的比例分为训练集、验证集和测试集,并保证每个折内的样本类别分布与原数据集一致;
步骤S8所述的超参数设置并启动模型检查点机制具体包括:使用自适应矩估计Adam算法优化模型,初始学习率设定为0.001,并根据平均损失动态调整;为防止模型过拟合,采用早停机制,即当验证集的损失在连续10个周期内未能改善时,提前终止训练;在训练过程中启用模型检查点,每轮训练结束时自动保存验证集损失最小的模型,从而确保捕捉到最佳模型参数,避免因过拟合导致性能下降。
9.如权利要求1所述的基于时空特征融合的细粒度步态子相位识别方法,其特征在于,步骤S9所述的利用Simulink部署训练完成的时空特征融合模型,构建端到端的步态子相位在线识别系统,具体包括:S91.实时数据流处理:在下肢康复外骨骼机器人上集成表面肌电传感器与惯性测量单元,以1000Hz采样率实时同步采集双下肢的4通道表面肌电信号与3通道惯性测量单元信号,组成14通道的原始步态数据;采用环形缓冲区管理策略,将数据缓存队列长度设置为
100毫秒,并通过滑动重叠窗口技术将原始步态数据划分成时间窗口,窗口大小设置为50,滑动步长设置为10,并以窗口为单位进行与步骤S2相同的滤波、去噪处理;随后,对滤波去噪后的步态数据进行动态范围归一化,即基于最近10秒数据的最大、最小值实时更新归一化系数;最后,配置输入张量维度为:批尺寸128×时间步50×传感器通道14×信号维度1,并对所有标签进行减一操作,以匹配one‑hot向量格式;
S92.在线模型推理:将训练完成的时空特征融合模型转换为ONNX格式,利用MATLAB的importONNXNetwork函数对模型的输入输出节点、张量维度及数据类型进行兼容性验证;在Simulink中构建端到端的步态子相位实时识别系统,集成信号采集模块、预处理模块、数据缓冲模块、模型推理模块以及结果显示模块;通过Deep Learning Toolbox加载ONNX格式文件至模型推理模块,进行在线模型推理,以输出为8×1步态子相位概率分布向量;同时,启用CUDA加速及单样本批处理模式;最后,对模型输出的步态子相位概率分布向量执行最大值决策,其数学表达为: (4)
其中, 表示执行最大值决策后的输出标签, 表示时刻 的输入数据 属于类
别 的后验概率;对最大值决策的输出标签进行从数值到步态子相位的映射,最终得到当前步态子相位的实时识别结果。
10.基于时空特征融合的细粒度步态子相位识别装置,其特征在于,包括显示界面、存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1‑9中任一项所述的基于时空特征融合的细粒度步态子相位识别方法。