1.一种基于多元可视图神经网络模型的情绪识别方法,其特征在于步骤为:
S1、让受试者观看不同类型的视频片段,以引起不同类型的情感:包括积极,消极和中性,在相同频率下采集人体各个部位的生理信号并记录当前的情感状态的电信号数据,并在采集的电信号中标注当前的影片的情感类型;电信号数据以时间τ为周期对数据进行分组,从而得到N组二十二维的时间序列以及情感标签;
S2、对N组视频片段产生的电信号数据进行预处理,从而形成N组二十二维时间序列,利用可视图算法将将每一组数据的二十二维时间序列转化为二十二张可视图网络,可视图中的每个顶点连出的所有边的数量就是这个顶点的度,得到可视图后统计每张可视图的度分布情况,生成一组二十二维度分布序列;
S3、将原时间序列与二十二维度分布序列以及相应的情感状态组成数据集,将数据集分为训练集与测试集;
S4、构建基于多元可视图的神经网络模型,利用训练集来训练多元可视图的神经网络模型,然后通过测试集测试多元可视图的神经网络模型的准确率;
S5、多元可视图的神经网络模型通过学习不同通道间度分布关系以及原时间序列间时序特征来构成动态图;多元可视图的神经网络模型包括两个并行设置的分支:多元度分布关系网络层Multi‑DDRN Layer和时域卷积网络层Time‑Convolutional Layer;
多元度分布关系网络层输入为二十二维度分布序列,包括多个度分布关系网络单元,每个度分布关系网络单元用来学习两个不同维度的度分布序列之间的关系,通过多元度分布关系网络层,获得度分布序列不同维度之间的权重,得到动态图的邻接矩阵;
时域卷积网络层的输入为原始时间序列,时域卷积网络层由TCN模型构成,用以提取原时间序列不同维度间的时序特征,构成动态图的节点信息;
多元度分布关系网络层和时域卷积网络层的输出分别作为图的边特征和节点特征,多元度分布关系网络层和时域卷积网络的输出共同构成了一张图结构;
S6、设置迭代次数和学习率参数,将二十二维度分布序列和原始时间序列分别输入到多元度分布关系网络层和时域卷积网络层中,并将输出进行结合得到动态图信息,然后将动态图输入到图卷积网络中,最后将图卷积网络得到的特征向量输入到全联接层中,进行分类,从而得到预测的情感状态;
S7、计算输入数据对应的真实情感状态的目标值与通过此神经网络模型预测情感状态的预测值之间的损失,通过Adam算法对多元可视图的神经网络模型进行梯度下降,从而最小化损失函数,其中损失函数为目标值与预测值之间的均方损失;
S8、重复步骤S5‑S7完成多元可视图的神经网络模型的训练;
S9、将测试集数据输入到多元可视图的神经网络模型中即可预测人类的情感状态,并计算测试集时间序列识别准确率,以此来评估经该多元可视图的神经网络模型的性能;
对N组视频片段产生的电信号数据进行预处理过程为:
确定尺度因子c,之后利用尺度因子c对时间序列进行粗粒化,每组粗粒化后的时间序[1] [2]列为 其中T为时间序列长度,定义每组二十二维时间序列为x(t)={x (t),x[M](t),···,x (t)},上标M代表维度;
通过可视图算法依次将二十二维EEG时间序列转化为二十二张可视图网络,此可视图网络通过邻接矩阵 来存储,其中 是α层的邻接矩阵;
将二十二维时间序列转化为二十二张可视图的可视图算法为:
c1将长度为N的一维时间序列 (其中xi=x(ti),i=1,···,N)的每一个采样点作为可视图网络中的一个节点,而两个节点是否能够连接取决于两节点是否满足所给出的可视性准则,可视性准则定义为:对于时间序列中任意两个采样点(ta,xa)和(tc,xc)来说,两个时间点ta和tc之间所有的采样点(tb,xb)满足下列可视化条件,那么ta和tc在网络中就相互可视,即:若两个节点满足可视性准则,则在可视图中可以连接成边;根据定义,时间序列的两两相邻的时间点一定连接可以成边,整个可视图为无相无权连通网络;
c2对于一组二十二维的时间序列 其中每一维时间序列都可以根据可视图算法转化为一张可视图网络,因此将二十二维的时间序列构造成具有二十二层的多路可视图[1] [2] [M]用邻接矩阵表示为A={A ,A ,···,A },其中 是a层的邻接矩阵,i和j表示节点, 当且仅当节点i和节点j在第a层连接,否则为0;
统计每张可视图的度分布情况,生成一组二十二维的度分布序列,将每组度分布序列[1] [2] [M] [α]定义为y(k)={y (k),y (k),···,y (k)},上标M代表维度,k代表度的个数,y (k)即表示第α维度为k的个数;
将每组的原始时间序列x(t)与其对应的度分布序列y(k)以及时间序列相对应的情感状态标签l组合在一起形成数据集Di={x(t),y(k),l},i=1,···,N;将数据集D划分为包含Ntrain组时间序列样本的训练集Dtrain和包含Ntest组时间序列样本的测试集Dtest;
将训练集Dtrain输入到多元可视图的神经网络模型进行训练的具体步骤为:f1将二十二维度分布序列y(k)输入到多元度分布关系网络层中,通过此层得到每两个维度间的权重w,组成邻接矩阵f2将二十二维原始时间序列x(t)输入到TCN层中,通过此层得到时间序列特征节点向量 其中s代表时间序列特征维度;
f3将邻接矩阵 和节点向量 输入到图卷积网络中进行特征学习,得到特征向量I;
f4将向量I输入到多层感知机中,最后通过激活函数SoftMax得到情绪类别;
通过多元度分布关系网络层得到度序列间权重向量I的具体步骤为:
[α] [β]
f11从一组二十二维的度序列中任取其中两维度分布序列y ,y ,通过公式MN×N=(y[α] T [β]) (y )得到矩阵MN×N;
f12对矩阵MN×N以固定大小p进行分块,然后对每一块矩阵分别进行二维卷积操作,其中卷积核大小为p×p,线性嵌入每一块卷积后的结果,生成一组一维特征向量v,对分割后的每一块矩阵进行位置编码,并将位置编码嵌入到向量v中生成特征向量vpoc;
f13将vpoc输入到Transformer的encoder层中,经过encoder层后得到特征向量f14将特征向量venc依次输入到3层二维卷积层,每个卷积层后都有一个归一化层和非线性激活单元,并且使用残差连接避免因为网络过深导致梯度消失,最后输入到全连接层,得到a,β两维度间的权重wαβ;
f15依次从二十二维的度分布序列中取出两维进行步骤f11‑f13计算后,得到一组邻接矩阵
2.根据权利要求1所述的基于多元可视图神经网络模型的情绪识别方法,其特征在于,损失函数的计算过程为:损失函数为目标值与预测值之间的均方损失,多元可视图的神经网络模型通过Adam算法进行梯度下降,从而最小化损失函数。
3.根据权利要求1所述的基于多元可视图神经网络模型的情绪识别方法,其特征在于,多元度分布关系层包括多个度分布关系单元,多元度分布关系单元包括顺序连接的二维卷积层、3个transformer的encoder层、3个一维卷积层以及全连接层,其中每个一维卷积层后都顺序连接有归一化层,非线性激活层,池化层,丢弃层;
具体的,多元度分布关系单元的输入为:由两条度分布序列构成的矩阵M;
构成:首先是一个二维卷积层,卷积核大小为4*4,步长为4*4,填充为0;接着是3个transformer的encoder层;接下来是3个一维卷积层,3个一维卷积层的卷积核分别为16*1,
8*1,8*1,每个卷积层后都跟着一个归一化层,非线性激活层,池化层和丢弃层;最后是一个全连接层,输出维度为1;
输出为:权重w。
4.根据权利要求1所述的基于多元可视图神经网络模型的情绪识别方法,其特征在于,时域卷积网络层包括顺序连接的三个二维卷积层、两个TCN模型以及全连接层,其中每个二维卷积层后都设有一个归一化层,非线性激活层、池化层;
具体的,时域卷积网络层的输入:原始时间序列;
构成:首先是三个二维卷积层,卷积核大小都为3*8,步长分别为(1*8,1*4,1*2),顶部和底部填充为1,左侧和右侧填充为0,每个二维卷积层后都设有一个归一化层,非线性激活层、池化层;接着是两个TCN模型,两个TCN卷积核长度为7,通道数为原始时间序列的维度m,最后是一个全连接层,输出维度为(m,s);
输出为: