1.一种基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于它是由下述步骤组成：(1)获取脑电信号和眼动特征数据集

从上海交通大学仿脑计算和机理实验室提供的多模态情绪脑电数据集SEED‑V中选取一维脑电信号特征数据、眼动特征数据；

(2)脑电信号数据集预处理

将一维脑电信号特征数据通过二维的电极拓扑结构映射为三维脑电信号特征数据；

(3)选取数据样本

1)选取脑电信号样本

从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量，m∈[1，

20]，脑电样本集S中每一个数据样本的维度为9×9×800；

2)选取眼动特征数据样本

从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，眼动特征数据样本集合E中每一个数据样本的维度为1×594；

(4)增强脑电数据

采用滑动窗口方法扩展脑电信号数据集，该方法的窗口尺寸为4秒，窗口重叠为2秒；

(5)脑电数据标准化

将脑电样本集S按下式进行数据标准化s′：其中 为脑电数据的平均值，v为脑电数据的方差且不为0；

(6)划分训练集和测试集以及验证集

将脑电信号数据样本集S划分成脑电信号训练集、脑电信号验证集、脑电信号测试集，脑电信号训练集与脑电信号验证集、脑电信号测试集的划分比例为7:2:1；眼动特征数据样本集E划分成对应的眼动数据训练集、眼动数据验证集、眼动数据测试集，眼动数据训练集与眼动数据验证集、眼动数据测试集的划分比例为7:2:1；

(7)构建三维卷积神经网络和深度神经网络

1)构建三维卷积神经网络

三维卷积神经网络由第一三维卷积层C1与第一最大池化层M1、第二三维卷积层C2、第二最大池化层M2、第一全连接层F1、第二全连接层F2、激活函数Softmax层依次串联构成；

2)构建深度神经网络

深度神经网络由第一全连接层FC1与第二全连接层FC2、第三全连接层FC3、第四全连接层FC4、第五全连接层FC5、激活函数Softmax层依次串联构成；

(8)训练三维卷积神经网络和深度神经网络将脑电信号数据样本集S中的训练集输入到三维卷积神经网络，眼动特征数据样本集E中的训练集输入到深度神经网络中，进行网络训练，采用Adam优化方法更新神经网络的权重和偏置参数，损失函数使用类别交叉熵损失函数Loss：其中，yi表示数据样本对应的真实标签，y′i表示数据样本的预测值；训练三维卷积神经网络时每次输入到神经网络的数据样本批量为16，训练深度神经网络时每次输入到神经网络的数据样本批量为32，训练至类别交叉熵损失函数Loss收敛；得到三维卷积神经网络和深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态的分类准确率P：其中，TP表示预测正确的数据样本总数，FP表示预测错误的数据样本总数；

(9)多模态决策融合

采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果；

所述的多模态决策级融合方法为：

1)将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：T

P1＝(P11，P12，...，P15)深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：T

P2＝(P21，P22，...，P25)

2)将分类准确率P1构成权重矩阵W1：

分类准确率P2构成权重矩阵W2：

3)三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C1：T

C1＝(c11，…，c15)

深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：T

C2＝(c21,…,c25)

4)按下式确定多模态融合情绪分类的结果C：

5)按下式确定最终的分类结果：

其中k为1～5整数；

(10)测试网络性能

将脑电信号测试集输入到训练好的三维卷积神经网络中进行测试，眼动数据测试集输入到训练好的深度神经网络中进行测试。

2.根据权利要求1所述的基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于：在(7)构建三维卷积神经网络和深度神经网络步骤的1)构建三维卷积神经网络中，所述的第一三维卷积层C1是带激活函数RELU的三维卷积层，有32个滤波器，卷积核的大小为3×3×4，步长为1；第一最大池化层M1是最大池化层，卷积核的大小为1×1×2，步长为

1；第二三维卷积层C2是带激活函数RELU的三维卷积层，有64个滤波器，卷积核的大小为3×

3×4，步长为1；第二最大池化层M2是最大池化层，卷积核的大小为1×1×2，步长为1；第一全连接层F1是全连接层，输出维数为1024；第二全连接层F2是全连接层，输出维数为5。

3.根据权利要求1所述的基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于:在(7)构建三维卷积神经网络和深度神经网络的2)构建深度神经网络步骤中，所述的第一全连接层FC1的输出维数为256；第二全连接层FC2的输出维数为800；第三全连接层FC3的输出维数为64；第四全连接层FC4的输出维数为32；第五全连接层FC5的输出维数为

5。