欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2024100042826
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图文情感分析方法,其特征在于,包括:

获取初始情感分析模型以及图文训练样本;所述图文训练样本包括句子训练样本、方面词训练样本和图像训练样本;

对所述句子训练样本、所述方面词训练样本和所述图像训练样本分别进行编码和特征提取,得到句子特征表示、方面词特征表示、第一图像表示和实体名词特征表示;其中,所述方面词特征表示的首个位置令牌的表示为方面词全局表示;

根据所述方面词全局表示和所述实体名词特征表示,获取名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示;

根据所述方面词全局表示、所述正向注意力表示和所述反向注意力表示,构建对比内容溯源损失函数;

对比内容溯源损失函数如下所示:

其中, 为对比内容溯源损失函数, 为相似度函数, 为所述方面词全局表示, 为所述正向注意力表示, 为所述反向注意力表示, 为第一相似性差异幅值;

根据所述正向注意力表示及其对应的名词,所述反向注意力表示及其对应的名词,构建对比内容交换损失函数;

对比内容交换损失函数如下所示:

其中, 为对比内容交换损失函数, 为相似度函数, 为所述方面词全局表示, 为所述正向注意力表示, 为第二相似性差异幅值;

根据所述实体名词特征表示和所述第一图像表示,得到各个实体名词感知的第二图像表示;

根据所述反向注意力权重和所述第二图像表示对所述第一图像表示进行过滤,得到目标图像表示;

根据所述方面词特征表示、所述句子特征表示和所述目标图像表示,得到训练样本的目标多模态融合全局表示;

将所述目标多模态融合全局表示输入至分类器,得到所述训练样本的情感分析结果;

根据所述情感分析结果构建情感损失函数,根据所述情感损失函数、所述对比内容溯源损失函数和所述对比内容交换损失函数构建训练约束函数;

所述训练约束函数如下所示:

其中, 为训练约束函数, 为所述情感损失函数, 为所述对比内容溯源损失函数, 为衡量 的重要性的超参数, 为所述对比内容交换损失函数, 为衡量 的重要性的超参数;

根据所述训练约束函数训练所述初始情感分析模型,得到图文情感分析模型;

将包含句子、方面词和图像的待分析图文数据输入至所述图文情感分析模型,得到所述待分析图文数据的情感分析结果。

2.根据权利要求1所述的图文情感分析方法,其特征在于,所述根据所述方面词特征表示、所述句子特征表示和所述目标图像表示,得到训练样本的目标多模态融合全局表示的步骤,包括:根据所述方面词特征表示和所述句子特征表示,获取目标方面感知文本表示;

根据所述方面词特征表示和所述目标图像表示,获取目标方面感知图像表示;

分别对所述目标方面感知文本表示和所述目标方面感知图像表示进行多头注意力和层规范化处理,得到所述目标方面感知文本表示的第一自注意力输出和所述目标方面感知图像表示的第二自注意力输出;

根据所述目标方面感知文本表示和所述目标方面感知图像表示,获取方面感知图像的第一跨模态输出和方面感觉文本的第二跨模态输出;

根据所述第一跨模态输出和所述第一自注意力输出,获得多模态融合图像表示;

根据所述第二跨模态输出和所述第二自注意力输出,获得多模态融合文本表示;

将所述多模态融合图像表示和所述多模态融合文本表示进行拼接,得到目标多模态融合特征表示,其中,所述目标多模态融合特征表示的首个位置令牌的表示为所述目标多模态融合全局表示。

3.根据权利要求2所述的图文情感分析方法,其特征在于,所述根据所述方面词特征表示和所述句子特征表示,获取目标方面感知文本表示的步骤,包括:将所述方面词特征表示作为查询值、所述句子特征表示作为键和值,通过多头注意力层对所述方面词特征表示和所述句子特征表示进行多头交叉注意力处理和层规范化处理,得到第一层规范化数据;

对所述第一层规范化数据输出进行激活、全连接和层规范化处理,得到初始方面感知文本表示;

将所述初始方面感知文本表示进行堆叠处理,得到所述目标方面感知文本表示;

所述根据所述方面词特征表示和所述目标图像表示,获取目标方面感知图像表示的步骤,包括:将所述方面词特征表示作为查询值、所述目标图像表示作为键和值,对所述方面词特征表示和所述目标图像表示进行多头交叉注意力处理和层规范化处理,得到第二层规范化数据;

对所述第二层规范化数据输出进行激活、全连接和层规范化处理,得到初始方面感知图像表示;

将所述初始方面感知图像表示进行堆叠处理,得到所述目标方面感知图像表示。

4.根据权利要求2所述的图文情感分析方法,其特征在于,所述根据所述目标方面感知文本表示和所述目标方面感知图像表示,获取方面感知图像的第一跨模态输出和方面感觉文本的第二跨模态输出的步骤,包括:将所述目标方面感知文本表示作为查询值、所述目标方面感知图像表示作为键和值,对所述目标方面感知文本表示和所述目标方面感知图像表示进行多头交叉注意力处理,得到所述第一跨模态输出;

将所述目标方面感知图像表示作为查询值、所述目标方面感知文本表示作为键和值,对所述目标方面感知文本表示和所述目标方面感知图像表示进行多头交叉注意力处理,得到所述第二跨模态输出。

5.根据权利要求2所述的图文情感分析方法,其特征在于,所述根据所述第一跨模态输出和所述第一自注意力输出,获得多模态融合图像表示的步骤,包括:对所述第一跨模态输出进行激活和全连接处理,得到第一激活全连接数据;对所述第一激活全连接数据和所述第一自注意力输出进行层规范化处理,得到初始融合图像表示;

对所述初始融合图像表示进行叠加处理,得到所述多模态融合图像表示;

所述根据所述第二跨模态输出和所述第二自注意力输出,获得多模态融合文本表示的步骤,包括:对所述第二跨模态输出进行激活和全连接处理,得到第二激活全连接数据;对所述第二激活全连接数据和所述第二自注意力输出进行层规范化处理,得到初始融合文本表示;

对所述初始融合文本表示进行叠加处理,得到所述多模态融合文本表示。

6.根据权利要求1所述的图文情感分析方法,其特征在于,所述根据所述方面词全局表示和所述实体名词特征表示,获取名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示的步骤,包括:根据所述方面词全局表示和所述实体名词特征表示,获取各个名词与方面词训练样本的过渡注意力分数;

根据各个所述过渡注意力分数和所有所述过渡注意力分数,获取各个名词与方面词训练样本的正向注意力权重和反向注意力权重,包括:通过以下公式,获得各个名词与方面词训练样本的正向注意力权重:;

其中, 为第 个名词与方面词训练样本的正向注意力权重,为预设的超参数, 为第 个名词与方面词训练样本的过渡注意力分数, 为第一名词的数量;

通过以下公式,获得各个名词与方面词训练样本的反向注意力权重:;

其中, 为第 个名词与方面词训练样本的反向注意力权重;

根据名词的所述实体名词特征表示,以及该名词与方面词训练样本的所述正向注意力权重,获得该名词与方面词训练样本的正向注意力表示;

根据名词的所述实体名词特征表示,以及该名词与方面词训练样本的所述反向注意力权重,获得该名词与方面词训练样本的反向注意力表示。

7.根据权利要求6所述的图文情感分析方法,其特征在于,所述根据所述方面词全局表示和所述实体名词特征表示,获取各个名词与方面词训练样本的过渡注意力分数的步骤,包括:通过以下公式,获取各个名词与方面词训练样本的过渡注意力分数:;

其中, 为第 个名词与方面词训练样本的过渡注意力分数; 、 、 和为可学习的权重参数, 为Tanh激活函数, 为所述方面词全局表示, 为第 个名词的所述实体名词特征表示。

8.根据权利要求6所述的图文情感分析方法,其特征在于,所述根据名词的所述实体名词特征表示,以及该名词与方面词训练样本的所述正向注意力权重,获得该名词与方面词训练样本的正向注意力表示的步骤,包括:通过以下公式,获得名词与方面词训练样本的正向注意力表示:;

其中, 为第 个名词的正向注意名词表示, 为第 个名词与方面词训练样本的正向注意力权重, 为可学习的权重参数, 为第 个实体名词特征表示,其中 小于或等于 。

9.根据权利要求6所述的图文情感分析方法,其特征在于,所述根据名词的所述实体名词特征表示,以及该名词与方面词训练样本的所述反向注意力权重,获得该名词与方面词训练样本的反向注意力表示的步骤,包括:通过以下公式,获得名词与方面词训练样本的反向注意力表示:;

其中, 为第 个名词的反向注意名词表示, 为第 个名词与方面词训练样本的反向注意力权重, 为可学习的权重参数, 为第 个实体名词特征表示,其中 小于或等于 。