利索能及
我要发布
收藏
专利号: 2021115815274
申请人: 山东师范大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-09-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于脑功能连接网络的多模态情绪识别方法,其特征在于,包括:获取原始脑电信号和眼动信号,并进行相应预处理;

将预处理的脑电信号进行小波变换,获得若干个频段;

对每个频段分别构建脑功能连接网络,并将所述脑功能连接网络转换为二值化脑网络;

分别对所述脑功能连接网络和眼动信号进行特征提取,并将提取的特征进行融合;

基于脑功能连接网络特征、眼动信号特征以及融合特征,通过预先训练的分类模型,获得情绪识别结果;

所述特征融合为将二值化脑网络的所有特征和眼动凝视特征进行特征级融合;

首先,通过特征级融合在6个频带的二维特征水平上融合了眼睛的注视特征和大脑功能连接网络的特征;

对实验数据进行随机非线性特征映射,将特征投影到高维随机特征空间,然后将特征输入到KCCA模型中进行特征融合,最后将新的融合特征输入到SVM模型中进行情绪识别;

随机化理论的权重衰减与一定的分布速度一致,然后将权重衰减Fp定义如下:|α(w)≤Cp(w)|

其中,α为R到Rd映射的权值,φ表示R到Rd所满足的|φ(Z)|≤1的非线性映射;μ和w是映射空间中的向量,p(w)是映射向量w的概率密度值,C是一个正则化常数,映射函数可以定义如下:假设数据集D={(xi,yi)}的特征非线性映射R到Rd是从一个分布Q(X,Y)中提取的输入和输出对的有限样本,采用风险最小化的方法搜索映射函数f,其定义为:损失函数定义为:

使用wi∈Rd随机抽样参数对上述参数和公式(5)、(6)进行优化,并为输入数据X∈Rn×d构造了一个多维随机特征空间z(X),其结构定义为:w1,...,wm~p(w),

n×m

z(X)=[z1...zm]∈R ,      (8)利用非线性随机特征z(X)将公式(6)的非凸优化转化为最小二乘问题,非凸优化的最小二乘解是:s.t.||α||∞≤C    (9)

在随机特征空间中,我们使用核典型相关分析来融合这两种特征,核函数采用高斯径向基核函数,KCCA被定义为:

其中,σ是内核的宽度,∑11ij和∑22ij代表一种特征自身的第i和j向量的协方差,∑

12ij代表两种特征的第i和j向量的协方,K(x1,x2)=φ(x1)φ(x2)表示随机特征空间中两个特征的非线性映射,这两个特征之间的关系K计算为公式(11):公式(11)的奇异值分解为:

T

k=(α1,α2,...,αk)D(β1,β2,...,βk)    (12)。

2.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法,其特征在于,所述预处理包括对获取的原始脑电信号和眼动信号,进行数据时间和试验次数归一化预处理。

3.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法,其特征在于,所述对每个频段分别构建脑功能连接网络,具体步骤为:根据每个脑电频段中任意两个电极信号通道之间的相位变化值,计算脑电信号相位锁相值及相滞指数;基于所述相位锁相值和相滞指数计算脑功能连接网络中节点间的边缘。

4.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法,其特征在于,所述将所述脑功能连接网络转换为二值化脑网络,具体为:步骤1:对每个脑功能连接网络的每个连接权值与预设阈值进行比较,若不小于所述预设阈值,所述连接权值设为1,否则,设为0,获得二值化脑网络;

步骤2:对所述预设阈值增加预设变化量,继续执行所述步骤1;

步骤3:循环预设次数的步骤1至步骤2,将获得的二值化脑网络求均值,获得最终的二值化脑网络。

5.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法,其特征在于,提取的所述脑功能连接网络特征包括全局网络属性特征和局部网络属性特征,所述全局网络属性特征包括但不限于聚类系数、平均最短路径长度、同配系数、全局效率以及局部效率;所述局部网络属性特征包括但不限于中间中心度和节点度。

6.如权利要求1所述的一种基于脑功能连接网络的多模态情绪识别方法,其特征在于,所述眼动信号采用眼动凝视信号,提取的所述眼动信号特征包括但不限于注视、扫视、瞳孔直径、注视点序列以及注视距离。

7.一种基于脑功能连接网络的多模态情绪识别系统,其特征在于,包括:数据获取单元,其用于获取原始脑电信号和眼动信号,并进行相应预处理;

分频单元,其用于将预处理的脑电信号进行小波变换,获得若干个频段;

脑功能连接网络构建单元,其用于对每个频段分别构建脑功能连接网络,并将所述脑功能连接网络转换为二值化脑网络;

特征融合单元,其用于分别对所述脑功能连接网络和眼动信号进行特征提取,并将提取的特征进行融合;

情绪识别单元,其用于基于脑功能连接网络特征、眼动信号特征以及融合特征,通过预先训练的分类模型,获得情绪识别结果;所述特征融合为将二值化脑网络的所有特征和眼动凝视特征进行特征级融合;

首先,通过特征级融合在6个频带的二维特征水平上融合了眼睛的注视特征和大脑功能连接网络的特征;

对实验数据进行随机非线性特征映射,将特征投影到高维随机特征空间,然后将特征输入到KCCA模型中进行特征融合,最后将新的融合特征输入到SVM模型中进行情绪识别;

随机化理论的权重衰减与一定的分布速度一致,然后将权重衰减Fp定义如下:|α(w)≤Cp(w)|

其中,α为R到Rd映射的权值,φ表示R到Rd所满足的|φ(Z)|≤1的非线性映射;μ和w是映射空间中的向量,p(w)是映射向量w的概率密度值,C是一个正则化常数,映射函数可以定义如下:假设数据集D={(xi,yi)}的特征非线性映射R到Rd是从一个分布Q(X,Y)中提取的输入和输出对的有限样本,采用风险最小化的方法搜索映射函数f,其定义为:损失函数定义为:

使用wi∈Rd随机抽样参数对上述参数和公式(5)、(6)进行优化,并为输入数据X∈Rn×d构造了一个多维随机特征空间z(X),其结构定义为:w1,...,wm~p(w),

n×m

z(X)=[z1...zm]∈R ,    (8)利用非线性随机特征z(X)将公式(6)的非凸优化转化为最小二乘问题,非凸优化的最小二乘解是:s.t.||α||∞≤C    (9)

在随机特征空间中,我们使用核典型相关分析来融合这两种特征,核函数采用高斯径向基核函数,KCCA被定义为:

其中,σ是内核的宽度,∑11ij和∑22ij代表一种特征自身的第i和j向量的协方差,∑

12ij代表两种特征的第i和j向量的协方,K(x1,x2)=φ(x1)φ(x2)表示随机特征空间中两个特征的非线性映射,这两个特征之间的关系K计算为公式(11):公式(11)的奇异值分解为:

T

K=(α1,α2,...,αk)D(β1,β2,...,βk)   (12)。

8.一种电子设备,其特征在于,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如权利要求1‑6任一项所述的一种基于脑功能连接网络的多模态情绪识别方法的步骤。

9.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,实现如权利要求1‑6任一项所述的一种基于脑功能连接网络的多模态情绪识别方法的步骤。

10.一种计算机程序,其特征在于,包括计算机程序,所述计算机程序当在一个或多个处理器上运行的时候用于实现如权利要求1‑6任一项所述的一种基于脑功能连接网络的多模态情绪识别方法的步骤。