利索能及
我要发布
收藏
专利号: 2021115197370
申请人: 广州大鱼创福科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,包括以下步骤:通过脑电采集系统采集稳态视觉诱发电位信号SSVEP;

将采集的稳态视觉诱发电位信号SSVEP进行降采样、滤波在内的预处理;

将预处理好的稳态视觉诱发电位信号SSVEP按照窗口大小划分;

将按照窗口大小划分好的信号传入到多任务模型中训练;

使用训练好的多任务模型对被试者的稳态视觉诱发电位信号SSVEP进行验证;

将预测出来的结果与实际结果进行对比,完成目标识别;

所述将按照窗口大小划分好的信号传入到多任务模型中训练,具体包括:模型的架构由三个子网络组成:网络1,网络2,网络3,三个子网络分别对应三个输出;

前两层卷积神经网络属于网络1、网络2、网络3共享的隐藏层,第三层卷积神经网络以及后面紧接着的全连接层为网络2的独享结构,网络1的特征层输出后接一个全连接层输出为网络1的独享结构,网络1的特征层与网络2的特征层进行相关系数计算为网络3的独享结构;

将划分后的数据打乱顺序后输入到深度学习检测模型中,使用Adam优化器对所述的深度学习检测模型进行训练,批大小设置为每批32段信号,初始的学习率设置为0.005;

训练中网络1和网络2使用的损失函数为交叉熵,公式如下:其中p(i)表示真实标记的分布,q(x)则为训练后的模型的预测标记分布,H(p,q)表示交叉熵;

训练中网络3使用的损失函数为corr_loss,公式如下:其中,r(X,Y)表示corr_loss,X为网络1的特征层进行加权通道融合后的特征,表达式为:X=W1·F1

W1为通道融合权重,F1为网络1的特征层;

Y为网络2的特征层进行加权通道融合后的特征,表达式为:Y=W2·F2

W2为通道融合权重,F2为网络2的特征层;

Cov(X,Y)为X与Y的协方差,Var[X]为X的方差,Var[Y]为Y的方差;

在训练300次迭代后得到训练好的深度学习多任务模型。

2.根据权利要求1所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,所述通过脑电采集系统采集稳态视觉诱发电位信号,具体包括:被试者根据提示注视SSVEP刺激界面,其产生的SSVEP信号通过脑电采集系统进行采集,采集步骤如下:(1)被试者在坐在刺激界面屏幕正前方60cm;

(2)被试者被要求在数据采集过程中不要有动作;

(3)被试者根据刺激界面的提示来注视刺激目标,刺激界面显示在14寸的屏幕上,共有

9个刺激目标,显示为数字1到9;刺激目标为10cm×10cm的方块,每个刺激目标之间的距离为20cm,刺激目标在闪烁前会有0.5s的变红提示。

3.根据权利要求1或2所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,所述采集的SSVEP稳态视觉诱发电位信号进行包括带通滤波,陷波滤波在内的预处理,信号预处理步骤如下:(1)将采集到的信号进行降采样到250hz,降采样的公式如下:其中n表示第n个降采样点,序列h[*]是数位滤波器的脉冲响应,K是它的长度列,x[*]为要被降采样的原始讯号的取样点;M表示取样点间隔数,y[n]表示降采样后的数据的第n个点;

(2)将降采样后的信号使用巴特沃夫带通滤波器进行带通滤波;

(3)将带通滤波后的信号使用巴特沃夫陷波滤波器进行滤波。

4.根据权利要求3所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,所述巴特沃夫滤波器指的是一种通频带之频率响应曲线平坦无纹波的信号处理滤波器;所述带通滤波指的是允许特定频率信号通过的滤波器,降低或消除该频带上下频率的信号;所述陷波滤波指的是在某一个频率点迅速衰减输入信号,以达到阻碍此频率信号通过的滤波效果。

5.根据权利要求4所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,将预处理好的SSVEP稳态视觉诱发电位信号按照窗口大小划分;按照窗口大小划分指的是将时域的信号按照一定时间长度来划分后划分出来的信号。

6.根据权利要求5所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,所述使用训练好的多任务模型对被试者的SSVEP信号进行验证,具体包括:(1)采集被试者新的数据,通过预处理方法后进行离线验证;

(2)被试者通过脑电采集系统采集SSVEP稳态视觉诱发电位信号的方法采集新的数据,在采集过程中实时的处理数据,并且传入到深度学习模型中进行在线验证。

7.根据权利要求6所述的一种基于深度学习的多任务稳态视觉诱发电位目标识别方法,其特征在于,所述将模型的验证结果进行对比,得到最终分类结果,具体比较方法的步骤如下:(1)观察网络1和网络2的输出并且进行加权后求和,网络1的输出权重为1,网络2的输出权重为0.5;

(2)将加权后的向量进行softmax处理,得到一个值得大小在0‑1范围的1×N的向量,N为刺激目标数;

(3)遍历softmax处理后的向量,找到最大值,最大值对应的位置就是刺激目标的序号。