利索能及
我要发布
收藏
专利号: 2023105344813
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多特征融合和CLSTN的脑电情绪识别方法,其特征在于,包括以下步骤:(1)采集情绪脑电数据;

用户观看带有情绪的视频剪辑片段,根据三种不同的情绪状态记录对应的标签,根据国际标准10‑20系统电极位置,采集其情绪相关通道的脑电数据;

(2)预处理数据;

对记录的脑电信号进行预处理,通过陷波滤波器去除工频干扰,通过0.5‑45Hz的带通滤波去除噪声,通过降采样减少数据量与计算量,通过重参考平均电极电位,通过独立成分分析去除眼电、肌电噪声;

(3)多特征融合;

对预处理后的脑电信号进行功率谱密度、微分熵和小波包分解三种特征的提取与融合,得到最终特征,输入至CLSTN模型;

(4)搭建与训练CLSTN模型;

通过组合卷积与长短期时间序列模块对提取的特征进行学习,通过注意力机制调整参数,通过SOFTMAX函数进行分类,通过Adam算法进行优化,搭建与训练脑电情绪识别的CLSTN模型;具体包括:通过组合卷积与长短期时间序列模块,搭建与训练脑电情绪识别的CLSTN模型;通过将

6个特征输入6个卷积模块提取频域及空间域信息,按顺序组合得到的6个输出,通过输入到长短期时间序列模块提取时域信息,通过SOFTMAX激活函数进行最终分类;卷积模块包含五个不同的卷积层、一个最大池化层、一个扁平层和一个全连接层,长短期时间序列模块由卷积层、循环层、循环‑跳跃层、时间注意层和自回归层组成,通过注意力机制调整循环‑跳跃层的超参数,通过将循环层和循环‑跳跃层的输出进行组合输入到全连接层,将全连接层的输出与自回归层的输出相结合,通过SOFTMAX激活函数得到最终的分类结果,使用交叉熵作为损失计算,使用Adam优化算法,并将学习率、epoch和批处理大小分别设置为0.001、100和

128来对模型进行训练。

2.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法,其特征在于,通过使用离散傅里叶的方法来计算功率谱密度,其计算公式为:2

PSD={∑[abs(DFTi)]}/(EndPos‑StartPos) (1)其中DFTi表示通过离散傅里叶变换得到的第i个点对应的信号数值,EndPos与StartPos分别表示一个频段的结束点位置与开始点位置;对离散傅里叶后得到的信号取其模的平方,获得该频率的功率谱密度,再对整个频段所有点平均,最后得到频段的平均功率谱密度作为特征;

通过频段计算微分熵特征,其计算公式为:

其中,x表示为连续的信息,p(x)表示概率密度函数,[a,b]表示取值区间;

通过频段计算小波包分解特征,其计算公式为:

其中Cn,k表示小波分解级的kth近似成分;Dj,k表示分解级的kth细节部分;ψ(t)表示小波函数。

3.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法,其特征在于,在步骤(3)多特征融合中,所述的多特征提取与融合包括:通过对信号以0.5秒的时间窗口划分为相等不重叠的信号片段,增加数据量以及划分时域信息;通过对信号按0.5~4.5Hz、4~8Hz、8~13Hz、13~30Hz、30~42Hz滤波获取delta、theta、alpha、beta和gamma五个频段;通过使用离散傅里叶的方法来计算功率谱密度,通过频段计算微分熵特征和小波包分解特征,通过将与每个大脑区域相关的电极位置映射到一个二维矩阵中,以获取空间信息;将每个电极所对应的三种特征进行融合放入二维矩阵中,得到最终特征。

4.根据权利要求1所述的基于多特征融合和CLSTN的脑电情绪识别方法,其特征在于,所述的长短期时间序列模块是:t时刻各循环单元计算为:其中,⊙表示按位乘运算,σ表示sigmoid激活函数,xt表示在t时刻该层的输入,p表示跳过的隐藏单元的数量,在循环层中p为1,表示不跳过单元;同时使用整流线性单元作为隐藏层激活函数,来输出每个时间段的隐藏状态,通过注意力机制调整循环‑跳跃层的超参数,其计算公式为:其中,αt表示t时刻的注意力权重, 表示循环层中隐藏特征,AttnScore表示计算注意力的相似性函数,通过将循环层和循环‑跳跃层的输出进行组合输入到全连接层,将全连接层的输出与自回归层的输出相结合,通过SOFTMAX激活函数得到最终的分类结果;模型训练阶段,使用交叉熵来计算损失,其计算公式为:其中,x表示输入的样本,y表示最终期望的输出,a则表示为实际神经元的输出,n表示输入样本的总体数量。

5.一种基于多特征融合和CLSTN的脑电情绪识别方法的系统,其特征在于包括:情绪脑电数据采集模块,用于获取和保存情绪脑电数据;

数据预处理模块,对采集的数据进行预处理,用于后续特征提取与融合;

多特征融合模块,对预处理后的数据进行特征提取,用于后续模型输入;

CLSTN模型搭建与训练模块,通过卷积模块与长短期时间序列模块搭建模型,使用提取的特征训练和保存模型,用于后续情绪识别;具体包括:通过组合卷积与长短期时间序列模块,搭建与训练脑电情绪识别的CLSTN模型;通过将

6个特征输入6个卷积模块提取频域及空间域信息,按顺序组合得到的6个输出,通过输入到长短期时间序列模块提取时域信息,通过SOFTMAX激活函数进行最终分类;卷积模块包含五个不同的卷积层、一个最大池化层、一个扁平层和一个全连接层,长短期时间序列模块由卷积层、循环层、循环‑跳跃层、时间注意层和自回归层组成,通过注意力机制调整循环‑跳跃层的超参数,通过将循环层和循环‑跳跃层的输出进行组合输入到全连接层,将全连接层的输出与自回归层的输出相结合,通过SOFTMAX激活函数得到最终的分类结果,使用交叉熵作为损失计算,使用Adam优化算法,并将学习率、epoch和批处理大小分别设置为0.001、100和

128来对模型进行训练;

情绪识别模块,用于脑电情绪的识别与结果显示。

6.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑4中任一项所述的基于多特征融合和CLSTN的脑电情绪识别方法。

7.一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1‑4中任一项所述的方法。