1.一种基于脑电肌电多模态融合的运动想象手势识别方法,其特征在于:包括以下步骤:步骤1、采集脑电数据、肌电数据,得到数据集;肌电数据共采集两个通道,分别对应前臂肌的前群和后群;
步骤2、脑电数据、肌电数据的预处理;
步骤3、脑电数据、肌电数据的特征提取;
对脑电数据的特征提取包括通过滤波器分解为多个频段,以及对每个频带的脑电信号进行共空间模式特征提取;对肌电数据的特征提取包括对肌电数据提取均值、极差和均值比;所述均值比为两个通道的肌电数据的均值之比;
将所得脑电特征 与肌电特征XsEMG拼接,得到特征数据Xj;
脑电特征的采集如下:针对每个动作j,分别建立对应的二分类模型;每个二分类模型均包含一个用于特征提取的空间滤波器 每个运动想象类型对应的空间滤波器 均对经过预处理的脑电数据进行特征提取,得到脑电特征;将各个运动想象类型对应的脑电特征分别与肌电特征拼接,每个运动想象类型均得到对应的训练集;
步骤4、构建分类模型,并使用步骤3得到的特征数据Xj对分类模型进行训练;所述的分类模型采用SVR模型;运动想象类型的数量为s;s≥3;每种运动想象类型均对应有一个SVR模型;每个SVR模型均使用其运动想象类型对应的训练集进行训练;
步骤5、在被测者进行运动想象的过程中,对被测者进行脑电数据和肌电数据的采集;
所得脑电数据和肌电数据经过预处理和特征提取所得的特征拼接后输入分类模型进行识别,分类模型输出被测者的运动想象类型。
2.根据权利要求1所述的一种基于脑电肌电多模态融合的运动想象手势识别方法,其特征在于:对于任意一个频带k,提取CSP特征的具体过程如下:构建第i个样本的协方差矩阵 如下:
构建第j类的平均协方差矩阵为:
其中, 为样本个数,tr(·)为矩阵的迹
步骤3中采集肌电特征XsEMG如下:
其中,XsEMGi为第i个样本的肌电特征;mean(·)为取均值运算;max(·)为取最大值运算;min(·)为取最小值运算;X'i,0、X'i,1分别为第i个样本两个通道的肌电数据。
3.根据权利要求1所述的一种基于脑电肌电多模态融合的运动想象手势识别方法,其特征在于:构建空间滤波器 并对脑电数据进行特征提取的过程如下:(1)将数据集中各样本的标签处理为各二分类模型对应的二分类标签;
(2)将步骤2的脑电信号分解到不同频段:
(3)对每个频带的数据分别提取CSP特征;
(4)构建复合协方差矩阵 并进行特征值分解,得到白化矩阵P:c ‑1 2 c T
P=(Λ ) /(U)
c c
其中,U是特征向量矩阵,Λ 是由特征值构成的对角矩阵;
(5)构建初始空间滤波器W如下:
T
W=PU
(6)选择初始空间滤波器W中的前后各2个空间滤波器,组成频带k的空间滤波器将 所有 频 带 的 滤 波器 组 合 得 到 针 对第 j 类 最 终的 空 间 滤 波 器 为并利用空间滤波器 构建脑电特征 如下:其中,diag(·)为取对角元素处理;X为脑电信号。
4.根据权利要求1所述的一种基于脑电肌电多模态融合的运动想象手势识别方法,其特征在于:所述的运动想象类型共有三种,分别为休息、抓握运动和伸展运动。
5.根据权利要求1所述的一种基于脑电肌电多模态融合的运动想象手势识别方法,其特征在于:步骤2中,脑电数据的预处理过程为:选取C3、CZ、C4三个通道,先降采样至250Hz,然后做3~48Hz的带通滤波,滤波器为fir滤波器;先降采样至250Hz,然后利用滑动窗口进行处理,窗口大小为10,滑动步长为1,每个滑动窗口内做均值归一处理;然后,对第一次滑动窗口处理所得数据继续用滑动窗口进行处理,窗口大小为20,滑动步长为1,求每个滑动窗口内的均值;若所得均值大于阈值,就保留对应采样点信号,否则该采样点信号为0。
6.一种手部康复器械,包括脑电采集设备、分类器和手部康复器械;其特征在于:还包括肌电采集设备;所述的脑电采集设备用于采集使用者的脑电数据;肌电采集设备用于采集使用者的肌电数据;分类器用于通过脑电数据和肌电数据,利用如权利要求1‑5中任意一项所述的一种基于脑电肌电多模态融合的运动想象手势识别方法识别出使用者的运动想象类型;手部康复器械用于带动使用者的手部进行与分类器的识别结果一致的运动。
7.一种计算机设备,其特征在于:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述存储器存储计算机程序;所述处理器执行如权利要求1‑5中任意一项所述的一种基于脑电肌电多模态融合的运动想象手势识别方法。
8.一种可读存储介质,存储有计算机程序;其特征在于:所述计算机程序被处理器执行时用于实现如权利要求1‑5中任意一项所述的一种基于脑电肌电多模态融合的运动想象手势识别方法。