利索能及
我要发布
收藏
专利号: 2023110646353
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,包括以下步骤:步骤1、通过人工将视频材料解释为第一文本材料,将第一文本材料按照固定时间窗口进行划分,得到划分后的第二文本材料;

步骤2、基于Stanford NLP模型对划分后的第二文本材料进行实体关系抽取,构建知识图谱集合步骤3、采集被试者在观看步骤1的第一文本材料时的脑电信号,对脑电信号进行下采样和预处理,得到预处理后的脑电信号;

步骤4、将预处理后的脑电信号划分为与步骤1中第二文本材料相同的时间窗口,并在每一个时间窗口下,继续划分为若干个等长的时间间隔;

步骤5、在步骤4中的每一个时间窗口下,对每个时间间隔下的脑电信号计算不同通道之间的皮尔逊相关系数,用于构建间隔级脑图 得到每个窗口下所有构建的间隔级脑图步骤6、在步骤4中每一个时间窗口下,脑电信号提取每个通道在5个频段下的频域特征:微分熵DE和功率谱密度PSD,对每个时间间隔的脑电信号提取特征向量记为 将窗口下所有的间隔级特征向量 融合成窗口级特征向量步骤7、将步骤5每个窗口下所有构建的间隔级脑图 步骤6

中窗口级特征向量 和间隔级特征向量 输入到脑图集成模块BGI中;

步骤8、对步骤7中的脑图集合 进行Zigzag持久性计算,得到包含了拓扑属性的之字形持久性图像ZPI,对ZPI进行卷积池化,得到窗口级脑图拓扑特征步骤9、将步骤8的窗口级脑图拓扑特征 与步骤6得到的每一个间隔级特征向量进行空间图卷积,获得空间特征向量集合 将S中所有元素融合得到空间特征向量

步骤10、将步骤6得到窗口级特征向量 与步骤8得到的窗口级脑图拓扑特征 进行时间图卷积,得到时间特征向量

步骤11、将步骤9得到的空间特征向量 与步骤10得到的时间特征向量 进行矩阵乘法,得到包含时空特征的特征向量

步骤12、计算包含时空特征的特征向量 的皮尔逊相关系数,过滤得到邻接矩阵并重构回脑图步骤13、将每个窗口下的从步骤11得到的 输入到GRU中,获得特征 经过皮尔逊相关系数计算,得到集成整个时间段内脑电信号特征的BGall;

步骤14、将脑图 送入认知对齐模块CA,使用图神经网络GNN和注意力机制计算分布步骤15、从步骤2的知识图谱集合 选出与步骤12脑图中同一时间窗口的知识图谱 送入Graphormer的Encoder层,经过注意力机制和L

全连接层获得分布pθ(A|KG);

L

步骤16、构建ELBO公式,用于从步骤14中的分布 和步骤15中的分布pθ(A |KG)学习到表征认知对齐的隐变量

步骤17、将送入Graphormer Encoder层获得的编码输出结果与步骤16中的隐变量 融合,经过Graphormer的Decoder层得到特征 将 经过皮尔逊相关系数的计算,重构回脑图步骤18、将从步骤2得到的知识图谱集合 中所有的实体关系

全部提取KGall,从步骤16经过融合得到 从步骤13得到的BGall融合,进行情感分类。

2.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤3和步骤4具体为:使用62通道ESI神经扫描系统采集被试者在观看第一文本材料时的脑电信号,对原始EEG数据下采样至200Hz,进行去除伪迹和重影的预处理,使用0‑

75Hz的带通频率滤波器,将数据划分为δ波,频率1‑4Hz、θ波,频率4‑7Hz、α波,频率8‑13Hz、β波,频率13‑30H和γ波,频率31‑50Hz五个波段;将预处理后的脑电信号划分为与文本材料长度相同且不重叠的n个窗口,并在每个窗口下继续划分m个10s的EEG片段。

3.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤5具体为:在每一个窗口下,计算时间间隔级别的脑电信号不同通道之间的皮尔逊相关系数并过滤,构建脑图其中X,Y分别是通道X,Y在间隔内的脑电信号离散值,σX,σY是标准差,η是一个阈值,Cov(X,Y)是X,Y的协方差。

4.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤6具体为:从5个频段中提取DE和PSD特征,每个时间间隔下取平均值,拼接成特征向量其中,p(x)是脑电信号的概率密度函数,[a,b]表示脑电片段时间取值的区间,N是脑电片段长度,X(k)是脑电信号经过傅里叶变换的结果。

5.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤7和步骤8具体为:将窗口级的脑图序列 和特征向量集合 输入脑图集成模块中,为捕捉脑电的拓扑特征,利用Zigzag持久性工具,将脑图序列构建之字形路径

其中v*

是一个尺度参数, 作为单纯复形,将每个之字形路径项投影到拓扑空间中;通过过滤每个*之字形路径项中的尺度参数v,跟踪图拓扑特征随时间点的诞生和消亡(tb,td)或,并被记录到离散之字形持久图ZPD: 最后,基于ZPD中的所有(tb,td)或点,通过公式(3)计算每个时间窗口wi的之字形持久性图像ZPI;ZPI被认为是ZPD的连续有限维表示;在(3)中,μ和θ是ZPD中所有点的均值和方差,其中g(μ)作为加权激活函数,z是ZPI中的像素点,由ZPD中通过(3)得到;接下来 将经过卷积层fCNN和最大池化层ξmax,得到最终的窗口级脑图拓扑特征

6.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤9‑步骤11具体为:将时间窗口wi中的频谱特征输入到时空图卷积中用于整合窗口级的脑图,将每个 作为一个初始空间卷积网络隐藏状态, 作为整个初始时间卷积网络隐藏状态;最后,在(4)中,窗口级脑图拓扑特征 将分别融合窗口级空间和时间隐藏状态,即为 和 通过矩阵乘法,获得窗口级时空脑图表示 其中62是EEG电极个数,10是特征向量X的维度,将计算每个电极对的EEG信号之间的皮尔逊相关系数,以导出时间窗口级集成脑图的62×62邻接矩阵其中,归一化拉普拉斯算子 作为可训练的脑图节点嵌

入,基于空间和时间隐藏状态,即 和 将通过时空图卷积层l=1→L进行转换,||表示空间图卷积层融合,其中U、V、W作为可训练权重。

7.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤12‑步骤14具体为:将所有窗口下的时空特征向量H利用GRU进行整合(5),最终GRU的输出 通过每个电极对之间的皮尔逊相关系数,得到集成整个时间段脑电特征的脑图BGall;利用 进行情感分类,获得情感标签的预测值ybgi,整个BGI模块的LOSS是预测值ybgi和标签y之间的交叉熵损失(6);

8.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤15‑步骤17具体为:首先基于Graphormer的Encoder‑Decoder架构,构建上界网络P(BG|KG)用于实现知识图谱KG到脑图BG的回溯;利用TransE模型将实体关系三元组进行嵌入,以获取节点表示V;知识图谱表示为 其中 表示当前时间窗口下文本材料出现的实体关系的嵌入, 是实体节点之间的邻接关系;然后将知识图谱KG经过Graphormer的Encoder层(7)进行编码来获取知识图谱的表示 之后将结果送到注意层和稠密层中,以学习知识图谱分布Zp;

+ ‑ d

其中,z ,z∈R是入度和出度的编码表示,LN(·)是层归一化,MHA是多头注意力机制,FFN是前馈神经网络,emb_dim是KG的嵌入维度, 是KG在Encoder中第l层的表示;

同时,来自脑部整合模块BGI的窗口级融合脑图 将被传入图注意层GAT,以高效地学习脑节点表示 并提取图结构特征;脑图 的表示输入到注意层和稠密层,以学习脑图Zq的分布,见公式(9)和(10);

在式子(11)中,将在两个分布网络中学习到的潜在表示Zp和Zq进行融合,生成对齐的潜L在变量A,将知识图谱KG中的实体映射到脑图谱BG中的EEG电极,从而得到矩阵其中K表示 的节点数,N表示 的节点数;矩阵 代表了知识图谱节点和脑图谱节点之间的相关性;

L

最后,在式子(12)中,隐变量A将被输入到上界网络以重建另一个脑图BG';GraphormerL解码器由Transformer架构解码器组成,用于从 和A 解码表示,从而得到重建脑图的表示 利用皮尔逊相关系数计算 最终得到重建BG'的邻接矩阵其中, 是Graphormer解码器中脑图的第l个隐藏表示;通过使用Evidence Lower LBound即ELBO原理将整体条件概率分布P(BG|KG)分解为pθ(A |KG)和 两部分,使用潜在变量来建模脑图BG和知识图谱KG之间的对齐关系;提出最大化P(BG|KG)的ELBO,如式子(13)所定义:L

当pθ(A|KG)和 之间的Kullback‑Leibler散度即KL散度等于0时,ELBO取得最大值;在这一点上,ELBO达到了P(BG|KG)的证据上界;因此,在认知对齐模块CA中最小化pθL(A|KG)和 之间的Kullback‑Leibler散度。

9.根据权利要求8所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,在所述认知对齐模块CA中,除了最小化ELBO中的Kullback‑Leibler散度,还通过L L重建误差损失 来帮助学习潜在变量A,加强pθ(A|KG)和 之间的联系,CA模块中的损失包括两部分:最小化已学习分布的Kullback‑Leibler散度和基于Graphormer的重建脑图BG与重建脑图之间的平均绝对误差,如式子(14)所描述;

10.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法,其特征在于,步骤18具体为:在脑部整合和认知对齐之后,所有的信息将在融合模块中进行情感分析;首先,通过将来自不同时间窗口的对齐信息 进行连接,然后将连接结果馈送到稠密层中进行线性转换,如式子(15);接着,整合后的图信息,包括脑图BGall和知识图谱KGall,将被传入图卷积网络GCN中,以聚合图结构特征,并通过稠密层进行线性转换,将其转换为与对齐信息 相同的维度,见式子(16)、(17);最后,所有的信息将被拼接成hall,并通过SoftMax层进行分类,输出分类结果见式子(18);

融合模块的损失函数在式子(18)中定义,提高模型中的分类性能;

最后,模型将通过式子(20)中定义的综合损失进行训练,该损失将整合涉及三个模块:BGI模块、CA模块和Fusion模块的所有损失。