利索能及
我要发布
收藏
专利号: 202310816455X
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多视图门控融合网络的多模态方面级情感分析方法,其特征在于,所述多视图门控融合网络包括输入层、多视图特征提取层、特征融合层以及输出层;所述多模态方面级情感分析方法包括:S1、获取图文多模态数据集,所述图文多模态数据集包括一个文本评论、一组关联图像和一个方面词序列,其中所述方面词序列为文本评论的子序列;

S2、在输入层,分别对所述文本评论、关联图像和方面词序列进行编码,对应获取上下文词嵌入矩阵、图像嵌入矩阵和方面词嵌入矩阵;以及获取句子级特征和图像整体特征;

并根据所述文本评论,获取表示句法依存关系的邻接矩阵;

S3、在多视图特征提取层,根据所述上下文词嵌入矩阵,获取考虑上下文语境的方面词特征,结合所述句子级特征和图像整体特征,对应获取上下文语境感知的文本全局视图特征和图像全局视图特征;

以及根据所述方面词嵌入矩阵,基于动态门控自注意力模块分别对所述上下文词嵌入矩阵和图像嵌入矩阵进行噪声过滤,获取文本语序视图特征和图像区域视图特征;以及结合所述邻接矩阵,获取文本句法视图特征二S4、在特征融合层,融合所述文本全局视图特征、图像全局视图特征、文本语序视图特征、文本句法视图特征和图像区域视图特征,获取最终融合特征;

S5、在输出层,根据所述最终融合特征,获取方面级情感类别的预测结果。

2.如权利要求1所述的多模态方面级情感分析方法,其特征在于,所述S2中采用BERT模型编码文本评论和方面词序列,采用ResNet50模型编码关联图像;和/或采用spacy工具获取邻接矩阵A;

其中,所述BERT模型输出单词级的上下文词嵌入矩阵HS、方面词嵌入矩阵HA;所述ResNet50模型倒数第二层输出的特征信息再经过降维获取图像嵌入矩阵HI;

以及将所述BERT模型的[CLS]特征信息作为句子级特征 所述ResNet50模型最后一层输出的特征信息再经过降维获取图像整体特征

3.如权利要求2所述的多模态方面级情感分析方法,其特征在于,所述S3中文本全局视图特征和图像全局视图特征的获取过程包括:根据所述方面词序列的长度及其在评论文本中的位置,提取所述上下文词嵌入矩阵中的相应子序列平均池化所述相应子序列,获取方面词特征;

其中, 表示方面词特征;n表示方面词索引; 表示HS中第k+n个单词,k表示方面词序列起始位置的前一个单词序号;r指方面词序列的长度;

将所述句子级特征与方面词特征相加后经自注意力机制获取的特征向量作为文本全局视图特征;

其中, 表示文本全局视图特征;Attention(·)为自注意力机制;

将所述图像整体特征与方面词特征相加后经自注意力机制获取的特征向量作为图像全局视图特征;

其中, 表示图像全局视图特征。

4.如权利要求3所述的多模态方面级情感分析方法,其特征在于,所述S3中文本语序视图特征、图像区域视图特征和文本句法视图特征的获取过程包括:根据所述方面词嵌入矩阵,构造门控调节向量;

GA=exp a nd(σ(WG×AvgPool(HA)+bG))    (4)其中,GA表示门控调节向量;exp a nd(·)为沿length维扩展特征向量维度;σ(·)为Sigmoid激活函数;AvgPool(·)为平均池化操作;WG与bG均为可训练参数;

将所述门控调节向量嵌入动态门控自注意力模块的多头自注意力机制中,动态调控Key‑Query对之间的注意力权重计算过程,进行噪声过滤,获取方面词敏感的文本和图像特征表示HSA和HIA;

将所述方面词敏感的文本特征表示经Bi‑LSTM,获取所述文本语序视图特征;

Seq

其中,View 表示文本语序视图特征; 表示HSA中的节点向量;

分别表示前向LSTM网络、后向LSTM网络;

将所述方面词敏感的文本特征表示经L层GCN,结合所述邻接矩阵,获取所述文本句法视图特征;

Sny Sny

其中,View 表示文本句法视图特征; 表示View 中的节点向量;ReLU(·)为ReLU激活函数;A表示邻接矩阵;WC为可训练参数; 表示A的度矩阵;

对所述方面词敏感的图像特征表示执行归一化调整特征分布,获取所述图像区域视图特征;

Reg

View =Norm(HIA)    (9)

Reg

其中,View 表示图像区域视图特征;Norm(·)表示归一化操作。

5.如权利要求4所述的多模态方面级情感分析方法,其特征在于,所述方面词敏感的文本和图像特征表示的获取过程包括:将所述上下文词嵌入矩阵和图像嵌入矩阵作为多头自注意力机制的输入,经过投影对应获取Key、Query、Value键;

其中, 表示HS输入自注意力机制后经投影得到的Query、Key、Value特征矩阵; 表示HI输入自注意力机制后经投影得到的Query、Key、Value特征矩阵;

根据第j个注意力机制头的门控调节向量 获取每个注意力头中Key特征矩阵以及Query特征矩阵其中, 表示如果部分特征向量未被门控调节向量激活保留原始的特征;为Hadamard点积; 分别表示HS、HI在第j个自注意力机制头中的Query特征矩阵;

分别表示HS、HI在第j个自注意力机制头中的Key特征矩阵;

根据经过门控调节向量 调节过的Key特征矩阵 以及Query特征矩阵基于自注意力机制获取所述方面词敏感的文本和图像特征表示;

其中, 分别表示由第j个自注意力机制头输出的方面词敏感文本、图像特征表示; 与 为可训练参数;h表示多头注意力机制的头数;concat表示特征拼接操作。

6.如权利要求4所述的多模态方面级情感分析方法,其特征在于,在特征融合层引入两层三视图分解高阶池化机制TFH,每层TFH由l个三视图分解双线性池化机制TFB组成,每个TFB包括特征膨胀Expand和特征挤压Squeeze两个阶段;所述S4包括:在第一层TFH,融合所述文本语序视图特征、文本句法视图特征和图像区域视图特征,获取细粒度级融合特征;

F l Reg Seq Syn

View=TFH(View ,View ,View )  (21)F,1 F,l

=View +…+View

其中,exp对应特征膨胀阶段,sqz对应特征压缩阶段; 和 为可学习参数;

F,i

表示第i层TFB在特征膨胀阶段的细粒度级输出特征;View 表示第i层TFB在特征压缩阶段的细粒度级输出特征;prj表示特征投影操作,tanh表示tanh激活函数;SumPool表F示求和池化操作;View表示细粒度级融合特征;

在第二层TFH,进一步融合所述细粒度级融合特征与文本全局视图特征、图像全局视图特征,获取最终融合特征;

其中, 和 为可学习参数; 表示第i层TFB在特征膨胀阶段的最终输W,i W

出特征;View 表示第i层TFB在特征压缩阶段的最终输出特征;View表示最终融合特征。

7.如权利要求1~6任一项所述的多模态方面级情感分析方法,其特征在于,所述S5具体包括:W

在输出层,将所述最终融合特征View经过Softmax分类器进行归一化,得到对应方面词情感类别的概率值,其中最大概率值所对应的情感作为所述方面级情感类别的预测结果,计算过程如下:其中,Wp为可训练的参数,bp为偏置。

8.一种基于多视图门控融合网络的多模态方面级情感分析系统,其特征在于,所述多视图门控融合网络包括输入层、多视图特征提取层、特征融合层以及输出层;所述多模态方面级情感分析系统包括:获取模块,用于获取图文多模态数据集,所述图文多模态数据集包括一个文本评论、一组关联图像和一个方面词序列,其中所述方面词序列为文本评论的子序列;

编码模块,用于在输入层,分别对所述文本评论、关联图像和方面词序列进行编码,对应获取上下文词嵌入矩阵、图像嵌入矩阵和方面词嵌入矩阵;以及获取句子级特征和图像整体特征;

并根据所述文本评论,获取表示句法依存关系的邻接矩阵;

提取模块,用于在多视图特征提取层,根据所述上下文词嵌入矩阵,获取考虑上下文语境的方面词特征,结合所述句子级特征和图像整体特征,对应获取上下文语境感知的文本全局视图特征和图像全局视图特征;

以及根据所述方面词嵌入矩阵,基于动态门控自注意力模块分别对所述上下文词嵌入矩阵和图像嵌入矩阵进行噪声过滤,获取文本语序视图特征和图像区域视图特征;以及结合所述邻接矩阵,获取文本句法视图特征;

融合模块,用于在特征融合层,融合所述文本全局视图特征、图像全局视图特征、文本语序视图特征、文本句法视图特征和图像区域视图特征,获取最终融合特征;

预测模块,用于在输出层,根据所述最终融合特征,获取方面级情感类别的预测结果。

9.一种存储介质,其特征在于,其存储有用于基于多视图门控融合网络的多模态方面级情感分析的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~7任一项所述的多模态方面级情感分析方法。

10.一种电子设备,其特征在于,包括:

一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~7任一项所述的多模态方面级情感分析方法。