利索能及
我要发布
收藏
专利号: 2021113819961
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于脑电信号的伤残手软体康复机器人运动想象识别方法,其特征在于,该方法包含下列步骤:

⑴本发明针对恢复期前期,根据手抓握、伸展视频引导被试者进行左右手运动想象相应的手部运动,同时脑电信号采集设备实时获取左右手运动想象产生的脑电信号;

⑵对采集到的脑电信号XN×M(t)采用离散小波变换将不同通道连续的脑电信号分解成T

δ、θ、α、β和γ波段,记为D5N×M(t)=[d1δ,d1θ,d1α,d1β,d1γ,....dij,...,dNδ,dNθ,dNα,dNβ,dNγ] ,其中dij表示第i个通道脑电信号的j波段,i=1,2,...,N,j={δ,θ,α,β,γ};然后采用独立成分分析和样本熵去除在采集脑电信号过程中因眨眼产生的眼电信号干扰,也即眼电伪迹,得到不含眼电伪迹的脑电信号TN×M;其中,样本熵是用来度量信号或系统的稳定程度,若处理后的信号越不稳定,则熵值越大;反之处理后的信号越稳定,熵值越小;

⑶将TN×M作为融合通道注意力模块的卷积神经网络模型的输入样本,经过通道注意力模块增强对运动意图识别有用的脑电信号特征,弱化无用特征,得到对输入数据按通道程度加权后的输出数据 卷积层利用n个卷积核学习 的特征,得到n个特征映射Mapi,i=1,2,...,n;池化层采用平均池化对卷积层的每个Map进行降采样;全连接层采用一个1×1的映射矩阵w将池化层的n个Map进行全连接,生成n×(N‑2)×(M‑2)/4个神经元;输出层输出脑电信号的类别,并通过反向传播算法将误差反向传播,从而对卷积神经网络的参数进行更新;

⑷用最小二乘支持向量机替换原始卷积神经网络中的输出层,并以全连接层得到的特征作为最小二乘支持向量机的输入,分类提取出运动意图所需的信号;

⑸针对恢复期前期的伤残手患者,将增强现实技术应用到患者手部康复训练系统中,开发“摘苹果”康复训练环境;训练开始后,患者通过想象手的抓握与伸展动作触发脑电信号,同时采集患者脑电信号进行预处理及特征提取,最终获得其运动意图,进而实现摘苹果的动作;在此训练环境中,设置两个训练模式:计时模式,计算机统计患者摘光树上的苹果需要花费的时间;限时模式,计算机统计在规定时间内患者摘到的苹果数;当患者成功摘到苹果时,计算机会给出“摘到i个苹果”,i=1,2,..N,的听觉反馈以及触觉反馈。

2.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法,其特征在于,所述步骤(1)中,其中脑电信号的采集包括以下步骤:步骤(1.1):当t=0s时,被试者准备开始实验,并调整身体使其进入放松状态;

步骤(1.2):当t=2s时,计算机发出开始提示音后,被试者根据视频引导执行相应的实验任务;

步骤(1.3):当t=6s时,计算机发出停止提示音后,被试者停止执行实验任务,稍作休息后继续下次实验。

3.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法,其特征在于,所述步骤(2)中,其中脑电信号的预处理包括以下步骤:步骤(2.1):设XN×M(t)表示采集到的脑电信号,其中N表示通道个数,M表示每个通道信号的长度;对每个通道的脑电信号进行离散小波变换分解,重构相应层的小波系数得到脑电信号的δ、θ、α、β和γ波段,记为D5N×M(t)=[d1δ,d1θ,d1α,d1β,d1γ,....dij,...,dNδ,dNθ,dNα,TdNβ,dNγ],其中dij表示第i个通道脑电信号的j波段,i=1,2,...,N,j={δ,θ,α,β,γ};

步骤(2.2):对步骤(2.1)进行零均值化和白化处理;

零均值化也叫做数据的中心化,即从观测数据中去除其均值,其算法如下:D'(t)=D(t)‑E[D(t)]     (1)其中,D(t)为经过离散小波变换的脑电信号,也即观测信号,D'(t)为去除均值后的观测信号,E[D(t)]为观测信号的均值;

信号的白化过程可通过特征值分解的方法实现:T

令Cx为D'(t)的协方差矩阵,即Cx=E[D'(t)D'(t) ],该矩阵可分解为:T

Cx=UΛU      (2)

其中,U为Cx的特征向量所构成的正交矩阵,Λ=diag(λ1,λ2,....λN)为Cx的特征值所构成的对角矩阵,则白化矩阵V可表示为:‑1/2 T

V=Λ U     (3)

其白化过程为:

Z(t)=VD'(t)=VAS(t)=BS(t)     (4)其中,Z(t)为新的观测信号,A为混合矩阵,S(t)为源信号,B为正交矩阵;

步骤(2.3):采用独立成分分析中基于负熵最大化判据的新型快速固定点算法—FastICA算法对Z(t)进行分解;其中,负熵是用来度量非高斯性的一种标准,而非高斯性可以用来度量分离结果之间的相互独立性,当负熵达到最大时,则表明已完成对各独立分量的分离;设信号中的一个独立成分为y,负熵的定义如下:J(y)=H(ygauss)‑H(y)      (5)其中,J表示代价函数;ygauss是与y具有相同均值和方差的高斯随机变量;H(·)表示变量的微分熵,其计算方法如下:

H(y)=‑∫Py(ξ)lgPy(ξ)dξ    (6)T

由Y(t)=WZ(t),W为分离矩阵,Y(t)为输出列向量,y=wi Z(t)中wi为W的第i行,则FastICA中的目标函数可以表示为:其中,G(·)表示一种非二次函数, 为分离出的第i个独立分量,v是均值取值为0方差设定为1的高斯变量,随机变量y与v具有相同的数学性质;

根据拉格朗日定理,在 约束条件下 的最优值可通过下式得到:

T T

其中,g(·)为函数G(·)的一阶导数;β可以通过β=E{wi(0) Z(t)g(wi(0)Z(t))}获得,其中wi(0)为wi的初始值,接下来利用牛顿迭代法求解得到迭代公式:经多次迭代后对于wi(k+1)进一步做标准化处理,如下式:然后判断wi(k+1)是否收敛,若不收敛,则重新进行迭代,直到收敛为止,并输出求解出的脑电信号与眼电伪迹的独立分量;

步骤(2.4):伪迹波段选择;将样本熵方法运用在FastICA分离出的眼电伪迹分量识别中,其公式为:

m m+1

SampEn(m,r,N)=‑ln[B(r)/B (r)]     (11)其中,SampEn(m,r,N)为样本熵,N为信号的长度,r为相似容限,m为嵌入维数;

将计算得到的样本熵值按从小到大的顺序重新排列后,依次表示为λk,根据信号的样本熵值测量眼电伪迹与脑电信号的复杂度,并结合公式(12)区分眼电伪迹和脑电信号,将满足该公式的样本熵值所对应的独立分量判定为眼电伪迹;

λk+1‑λk<λk‑λk‑1,2≤k≤n      (12)步骤(2.5):眼电伪迹去除;根据步骤(2.4)中判定为眼电伪迹的成分直接置零,其他独T

立成分保持不变,得到伪迹去除后的dij组成的矩阵PL×M=[p1,p2,...,pi,...,pL] ,其中pi为去除伪迹后的dij;

T

步骤(2.6):重构脑电信号,利用PL×M=[p1,p2,...,pi,...,pL] 更新dij得到D”5N×M=[d′1δ,d′1θ,d′1α,d′1β,d′1γ,....d′ij,...,d'Nδ,d'Nθ,d'Nα,d'Nβ,d'Nγ],其中:T

对D”中各波段重构即可得到伪迹去除后的脑电信号TN×M=[t1,...,ti,...,tN],其中:ti=d′1δ+d′1θ+d′1α+d′1β+d′1γ    (14)。

4.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法,其特征在于,所述步骤(3)中,其中脑电信号的特征提取包括以下步骤:步骤(3.1):输入层I1的输入为不含眼电伪迹的脑电数据TN×M;

步骤(3.2):对输入数据TN×M进行计算,得到通道权重向量M,将通道权重向量M加权到输入数据的每个通道特征上,得到对输入数据按通道重要程度加权后的输出数据 该过程公式:

步骤(3.3):卷积层C2利用n个卷积核学习 的特征,其中,卷积核为3×3的矩阵,将相应元素逐一相乘并对乘积求和,得到n个特征映射Mapi,i=1,2,...,n;卷积后每个Map的大小为(N‑2)×(M‑2),卷积层上的每个Map通过下式求得:

2 2 2

式中,yj为C卷积层上第j个Map,kj 和bj分别表示第j个Map的卷积核和偏置,f为输入层到卷积层的激活函数,此处选用ReLU函数,形式如下:f(x)=ReLu(x)=max(0,x)     (17)步骤(3.4):池化层P3采用平均池化对卷积层的每个Map进行降采样,池化层上的每个Map通过下式求得:

2 3 3 3

式中,yj和yj分别对应卷积层和池化层的第j个Map,αj 和bj分别为池化层上第j个Map的乘子和偏置,Ds()为降采样函数,f为ReLU激活函数,池化后池化层上每个Map大小变为卷积层的一半;

步骤(3.5):全连接层F4采用一个1×1的映射矩阵w将池化层的n个Map进行全连接,生成n×(N‑2)×(M‑2)/4个神经元,全连接层的每个神经元通过下式求得:

4 4

式中,yj和bj为全连接层的第j个神经元和偏置,f为sigmoid激活函数,形式如下:步骤(3.6):输出层O5输出脑电信号的类别,并通过反向传播算法将误差反向传播,从5

而对卷积神经网络的参数进行更新,输出层的每个神经元yi的值计算公式如下:5

式中,bi 为输出层的第i个的偏置,ωji表示连接全连接层第j个和输出层第i个神经元的权值,f为sigmoid激活函数。

5.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法,其特征在于,所述步骤(4)中,其中脑电信号的分类包括以下步骤:利用最小二乘支持向量机替代卷积神经网络的输出层,卷积神经网络的全连接层作为最小二乘支持向量机的输入;将卷积神经网络特征提取获得的特征向量送入最小二乘支持向量机进行训练,最后获得测试样本的分类结果,最小二乘支持向量机算法在优化目标时选取的损失函数如下:

其中,c为惩罚因子,

6.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法,其特征在于,所述步骤(5)中,在针对恢复期前期开发了“摘苹果”虚拟训练环境的基础上,再开发一种针对恢复期后期的伤残手患者康复训练环境,具体内容如下:针对恢复期后期的伤残手患者,根据食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳的视频分别引导被试者进行左右手运动想象相应的手部运动,同时脑电信号采集设备实时获取左右手运动想象产生的脑电信号;开发“手势匹配”康复训练环境,手势包括食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳,并以Kinect2深度摄像机进行手势识别;训练开始后,患者根据计算机出现的手势,通过想象相应手的动作触发脑电信号,同时采集患者脑电信号进行预处理及特征提取,最终获得其运动意图,进而实现相应的动作;在此训练环境中,设置两个训练模式:计时模式,计算机统计患者正确匹配5个手势需要花费的时间;限时模式,计算机统计在规定时间内患者正确匹配的手势个数;当患者做出正确的手势时,计算机会给出“匹配正确”的听觉反馈以及视觉反馈;当患者做出错误的手势时,计算机会给出“匹配错误”的听觉反馈和视觉反馈。