1.一种基于多模态数据的正骨手法动作识别方法,其特征在于:其包括以下步骤:S1:数据预处理:针对获取到的正骨手法动作多模态数据进行数据降噪和数据归一化操作;
S2:数据融合:针对归一化后的不同模态的数据,先将数据的时间戳单位对齐,进而利用线性插值和最近邻匹配算法对多模态数据进行融合,得到归一化数据融合多模态数据;
S3:活动段划分:针对归一化数据融合多模态数据,利用自适应状态检测转换算法进行活动段划分;
S31:得到特征量:根据C个通道的双臂肌电信号得到t时刻的双臂肌电信号的特征量,特征量包括滑动窗口内t时刻的C个通道的双臂肌电信号的均方根 、局部最大最小能量差 和过零率 ;
S32:得到自适应阈值:自适应阈值包括状态阈值中的高状态阈值 、低状态阈值、能量阈值 和过零率阈值 ;
S33:得到活动段的时间区间:根据双臂肌电信号的特征量和自适应阈值,对活动段的时间区间进行划分;
S34:设置标签:根据活动段的时间区间为归一化数据融合多模态数据设置标签;具体为:基于活动段的有效时间区间,对归一化数据融合多模态数据进行状态划分,划分成活动段和静止段;在活动段中,根据具体的正骨手法动作标注相应的动作类别标签,针对静止段的数据标注静止标签;最终,归一化数据融合多模态数据的每个时间点都被分配一个动作类别标签,动作类别标签包括正骨手法动作数据集中所有动作的名称标签和静止标签;
S4:多模态区间特征提取:针对归一化数据融合多模态数据,利用滑动窗口机制,对多模态区间特征信号确定动作类别并提取多模态区间特征向量;具体为:针对第p个窗口的双臂肌电信号 和六维力信号 ,多模态区间特征信号为 ,动作类别表示为 ,其中, 是静止标签, 是某个动作类别标签, 是该窗口内静止标签的个数, 是该窗口内第q个动作类别标签个数,一个多模态区间特征信号 和动作类别 组成一个具有标签的样本,对多模态区间特征信号 提取特征;
S5:区间支持向量机建模与优化:训练区间支持向量机模型,优化区间支持向量机的超参数,并进行评估,包括构建数据集:使用正骨手法动作数据集建立动作类别数据集,并采用五折交叉验证的方法对动作类别数据集进行划分,划分成训练数据集和验证数据集;
执行步骤S5的区间支持向量机建模与优化后,还包括进行正骨手法动作类别识别的步骤,输入新的正骨手法动作数据到区间支持向量机模型进行动作识别。
2.根据权利要求1所述的基于多模态数据的正骨手法动作识别方法,其特征在于:在S1中,针对第i个通道的原始双臂肌电信号 利用带通滤波器结合陷波滤波器进行降噪;针对六维力信号的第j个分量 ,利用低通滤波器进行降噪;
对同类型正骨手法动作,采用min‑max归一化的方法对t时刻的第i个通道的滤波后的双臂肌电信号 进行归一化;采用z‑score标准化的方法对t时刻的六维力信号的第j分量数据 进行归一化。
3.根据权利要求1所述的基于多模态数据的正骨手法动作识别方法,其特征在于:在S2中,针对归一化后的不同模态的数据,先将数据的时间戳单位对齐,进而利用线性插值和最近邻匹配算法对多模态数据进行融合得到归一化数据融合多模态数据;其中t时刻的第i个通道的双臂肌电信号为 ,六维力信号的第j个分量为 。
4.根据权利要求1所述的基于多模态数据的正骨手法动作识别方法,其特征在于:S32具体为:(1)计算判断信号状态的状态阈值,状态阈值计算表达式为:;
;
其中, 和 分别为常数,且 > ;N为滑动窗口内的总样本数量;k为在t时刻第i个通道滑动窗口的时间索引,对应的双臂肌电信号值为 ; 表示滑动窗口大小为W1时滑动窗口内最小时刻, 表示滑动窗口大小为W1时滑动窗口内最大时刻;
(2)得到能量阈值,
;
其中, 为阈值能量比例系数, 为时刻t的能量均值, 为平滑系数;
(3)得到过零率阈值,
;
其中, 为过零率阈值比例系数, 为t时刻的过零点数均值, 为平滑系数,I为指示函数。
5.根据权利要求4所述的基于多模态数据的正骨手法动作识别方法,其特征在于:S33具体为:如果同时满足 ,则当前时间t被记为活动
开始时间 ;如果同时满足
,则当前时间t记为活动结束
时间 ;其中, 为设置的活动段最低持续时间;活动段的有效时间区间为。
6.根据权利要求1所述的基于多模态数据的正骨手法动作识别方法,其特征在于:S4具体为:多模态区间特征信号为 ,其中 ,
、 和 分别为在第p个窗口下第i个通道的双臂肌电信号的区间向量、窗口内的最小值和窗口内的最大值; ,其中,
、 和 分别为第p个窗口下的第j个六维力信号分量的区间向量、窗口内的最小值和窗口内的最大值;
对多模态区间特征信号 提取特征包括针对第p个窗口的双臂肌电信号和六维力信号的区间均值 、区间方差 、区间能量 、以及针对第p个窗口的双臂肌电信号的区间熵 ,得到对于第p个窗口的多模态区间特征向量为 ,标签为动作类别 。
7.根据权利要求1所述的基于多模态数据的正骨手法动作识别方法,其特征在于:S5还包括:S52:区间支持向量机建模与优化:利用区间支持向量机的方法进行区间动作识别;区间支持向量机的核函数为区间RBF核函数;
S53:模型验证:整合各轮根据验证数据集得到的验证结果,对训练完成的区间支持向量机模型进行评估,输出准确率与混淆矩阵。
8.一种用于权利要求1所述的基于多模态数据的正骨手法动作识别方法的识别系统,其特征在于:其包括数据库、数据预处理模块、数据融合模块、活动段划分模块、区间特征提取模块和区间支持向量机模块,并依次连接;
数据库用于存储正骨手法动作数据集,包括序号、名称、双臂肌电信号和力信号数据段,双臂肌电信号和力信号一起组成多模态数据;
数据预处理模块用于从数据库中获取正骨手法动作数据,针对多模态数据依据步骤S1进行数据降噪、数据归一化操作得到归一化多模态数据;
数据融合模块用于针对数据预处理模块得到的归一化多模态数据,不同模态的数据使用S2中方法先将其时间戳单位对齐,进而利用线性插值和最近邻匹配算法对多模态数据进行融合,得到归一化数据融合多模态数据;
活动段划分模块用于针对数据融合模块得到的归一化数据融合多模态数据使用S3中的方法,利用自适应状态检测转换算法进行活动段划分,对归一化数据融合多模态数据的每个时刻都标注标签;
区间特征提取模块用于针对已标注标签的归一化数据融合多模态数据使用S4中的方法,对多模态区间特征信号确定动作类别并提取多模态区间特征向量;
区间支持向量机模块先根据区间特征提取识别模块得到的多模态区间特征向量,使用S5中的方法进行建模与优化后,用于对输入的新正骨手法动作数据进行动作识别。
9.根据权利要求8所述的基于多模态数据的正骨手法动作识别方法的识别系统,其特征在于:区间支持向量机模块具体包括:数据集构建子模块、动作识别子模块和结果评估子模块;
其中,数据集构建子模块使用正骨手法动作数据集建立动作类别数据集,并采用五折交叉验证的方法对动作类别数据集进行划分,划分成训练集和验证集;
动作识别子模块针对归一化数据融合多模态数据,利用区间支持向量机的方法进行区间动作识别,构建基于正骨手法动作识别的区间支持向量机模型;
结果评估子模块针对构建的基于正骨手法动作识别的区间支持向量机模型,计算准确率和混淆矩阵,进行评估验证。