利索能及
我要发布
收藏
专利号: 2022106651852
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-06-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积递归神经网络与多头自注意力的情感识别方法,其特征在于,包括以下步骤:

S1,利用卷积神经网络CNN提取脑电EEG信号空间特征,并采用4.0‑45.0Hz带通滤波器对EEG信号空间特征进行预处理;

S2,将预处理后带有空间特征的EEG信号进行正则化与池化处理;

S3,将卷积平滑信号输入到BiLSTM双向长短时记忆网络,学习EEG时间序列的动态时间特征,获取EEG信号的过去和未来关键的情感信息;

S4,最后利用Transformer的多头自注意力机制对脑电情感关键信息的权重再分配;还包括采用训练模型进行训练的步骤,训练模型是双向双层LSTM与多头自注意力机制加上单层卷积神经网络的结构,简称为CNN1D_BiLSTM_MHSA网络,输入的数据经过一维卷积网络,其卷积核为128,然后经过Batch Normalisation正则化和Relu激活函数再对数据进行核为

3的一维池化,得到的数据序列喂给BiLSTM深层网络,每层LSTM网络有256个隐藏单元,输出结构用全连接层进行拼接,得到的512个数据序列分别克隆给多头自注意力的Q,K,V,然后通过缩放点积注意力分配权重,最后使用softmax激活函数得到分类结果。

2.根据权利要求1所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法,其特征在于,所述步骤S1通过卷积神经网络CNN构成的特征提取器对多通道EEG信号的空间特征进行提取,然后将EEG信号的空间特征传递给正则化和池化层,CNN处理过后的卷积平滑信号还通过引入LSTM网络来处理时间序列。

3.根据权利要求2所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法,其特征在于,所述步骤S2先利用Relu激活函数的正则化避免过拟合并且加速学习,然后再经过池化将特征信号转递给BiLSTM双向长短时记忆网络。

4.根据权利要求2所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法,其特征在于,LSTM网络通过共享权值,隐藏层和输出层之间的权重可以随时回收,LSTM网络是一种用于处理时间序列的链式模型,能有效地补偿消失梯度问题,双向脑电信号提取方法可以同时提取脑电信号序列中较早段和较晚段的动态信息;一个LSTM单元由遗忘门、记忆门、输出门三个门控制单元组成。

5.根据权利要求4所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法,其特征在于,所述LSTM单元的遗忘门、记忆门、输出门三个门控制单元组成,计算公式如下所示:ft=σ(Wf·[ht‑1,xt])+bf),

it=σ(Wi·[ht‑1,xt])+bi),

Ot=σ(WO·[ht‑1,xt])+bO),

ht=tanh(Ct)×Ot,

其中,xt为t时刻的时间序列,Ct表示为细胞状态, 为临时细胞状态,σ为sigmoid函数,W为权值矩阵,b为相对应权重的偏置向量,ht为隐藏状态,ft为遗忘门,it为记忆门,Ot则是输出门;遗忘门选择了保留的特征,将上一状态的信息和当前的状态信息同时输入到sigmoid函数中,记忆门负责更新LSTM单元的状态,之后输入门控制输出值到下一个LSTM单元。

6.根据权利要求5所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法,其特征在于,所述S4,最后利用多头自注意力机制对脑电情感关键信息的权重再分配,具体包括:Transformer模型是一种自回归生成模型,使用自我注意机制和正弦位置信息,每一层包括时间自注意子层、前反馈网络子层、残差网络子层和dropout层;时间自注意子层用于捕获关键信息,前反馈网络子层用于是把神经网络中隐藏层归一为标准正态分布加速收敛,残差网络子层缓解了梯度消失的问题,使得网络可以做得比较深,dropout层用于减少过拟合的效果;

注意力本质上是为EEG序列中的每个元素分配一个权重系数,如果存储了每个元素,则注意可以计算Q和K之间的相似性;由Q和K计算的相似性反映了提取的V值的重要性,即权重,然后加权求和得到注意值;K,Q,V模型中自我注意机制的特殊点是Q=K=V,Q是指输出端的序列组成的向量组,K是指输入端序列的每个向量对应的各种权重,V是指输入端的序列组成的向量组;

缩放点积注意力公式如下: