利索能及
我要发布
收藏
专利号: 2024107442232
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种智能网联汽车用户多模态评论有用性预测方法,其特征在于,基于预设的模型,方法包括:获取多个历史多模态评论数据及汇总统计信息;其中任一评论数据包括一条评论文本及多张关联的评论图片、有用性分数标签和数值型评论信息;

针对当前位置的评论数据,分别提取其评论文本的文本嵌入表示及所有关联的评论图片的图片嵌入表示,引入相似‑差异性多视图分解注意力机制,获取多模态评论特征表示;

结合所述多模态评论特征表示与所述数值型评论信息的特征,获取该评论数据的评论特征表示;

获取来自所述汇总统计信息的第一初始信念;选择预设数量的相对当前位置的邻居评论数据,融合所有邻居评论数据的评论特征表示,以获取来自邻居的第二初始信念;将所述第一初始信念和第二初始信念进行自适应融合,获取邻居评论特征表示;

根据该评论数据的评论特征表示、邻居评论特征表示,再次引入所述相似‑差异性多视图分解注意力机制,以获取该评论数据的有用性分数预测结果;

根据每一评论数据的有用性分数标签和有用性分数预测结果,构建主任务损失;基于作用于相似性子空间和差异性子空间的双空间对比学习策略,构建辅助损失;最小化所述主任务损失和辅助损失的联合损失函数,训练所述模型直至收敛;

将待预测的多模态评论数据作为收敛后的模型的输入,获取相应的有用性分数;

所述引入相似‑差异性多视图分解注意力机制,获取多模态评论特征表示;包括:t i

对文本嵌入表示K 和图片嵌入表示K 分别进行L2归一化,并将其缩放到单位长度,获取归一化后的特征利用点积和欧氏距离分别计算特征 之间的相似性和差异性得分,将它们的值缩放到[0,1]范围内,并归一化后得到相似性权重矩阵S和差异性权重矩阵D;

t i

将文本嵌入表示K 和图片嵌入表示K与矩阵S、D两两点乘,分别获取加权的文本‑图片相似性特征表示 文本‑图片差异性特征表示 图片‑文本相似性特征表示图片‑文本差异性特征表示t i

将上述四个特征表示进行加权拼接,将拼接结果与文本嵌入表示K 和图片嵌入表示Kt_i二次拼接,并通过线性层进行映射获取多模态评论特征表示K 。

2.如权利要求1所述的智能网联汽车用户多模态评论有用性预测方法,其特征在于,所述根据该评论数据的评论特征表示、邻居评论特征表示,再次引入所述相似‑差异性多视图分解注意力机制,以获取该评论数据的有用性分数预测结果;包括:d

基于所述相似‑差异性多视图分解注意力机制,融合该评论数据的评论特征表示Er∈R×1、邻居评论特征表示Eb,以获取加权的当前评论‑邻居评论相似性特征表示 当前评论‑邻居评论差异性特征表示 邻居评论‑当前评论相似性特征表示 邻居评论‑当前评论差异性特征表示d

将上述四个特征表示进行加权拼接,将拼接结果与该评论数据的评论特征表示Er∈R×1 r_b、邻居评论特征表示Eb二次拼接,并通过线性层进行映射获取融合观点特征表示K ;

r_b

将融合观点特征表示K 通过多层感知机映射获取该评论数据的有用性分数预设结果s。

3.如权利要求1所述的智能网联汽车用户多模态评论有用性预测方法,其特征在于,所述数值型评论信息包括发布时间和整体星级;则所述结合所述多模态评论特征表示与所述数值型评论信息的特征,获取该评论数据的评论特征表示;包括:通过多层感知机将低维的发布时间和整体星级的特征映射成高维特征,将所述高维特t_i征与多模态评论特征K 进行拼接,并通过线性层映射获取该评论数据的评论特征表示Erd×1∈R ,其中d为向量的维度。

4.如权利要求1所述的智能网联汽车用户多模态评论有用性预测方法,其特征在于,所述汇总统计信息包括平均星级、星级分布和总评论数;则所述获取来自所述汇总统计信息的第一初始信念;包括:通过平均星级、星级分布计算星级的标准差;

0 2×d

将平均星级和标准差合并,通过嵌入层得到K∈R ;

0

对K进行变换,通过两个线性层Tanh激活函数,获取来自汇总统计信息的第一初始信念

0_sta d×1

E ∈R ,其中d为向量的维度。

5.如权利要求1所述的智能网联汽车用户多模态评论有用性预测方法,其特征在于,所述选择预设数量的相对当前位置的邻居评论数据,融合所有邻居评论数据的评论特征表示,以获取来自邻居的第二初始信念;包括:选择n个相对当前位置的邻居评论数据,获取每个邻居评论数据的评论特征表示其中i为邻居评论数据的索引;

以每个邻居评论数据的评论特征表示为节点,以各个邻居评论数据之间的依存关系为边,构建全连接的邻居图;

对于所述邻居图,通过两层GCN网络获取每个节点的新表示,进行拼接后线性映射到与

0_sta 0_nei d×1

第一初始信念E 相同的特征空间中,以获取所述来自邻居的第二初始信念E ∈R 。

6.如权利要求2所述的智能网联汽车用户多模态评论有用性预测方法,所述基于作用于相似性子空间和差异性子空间的双空间对比学习策略,构建辅助损失;包括:分别构建模态间的双空间对比损失 和评论间的双空间对比损失将经过相似性权重矩阵得到的特征表示空间命名为相似性子空间 将经过差异性权重矩阵得到的特征表示空间命名为差异性子空间 则模态间的双空间对比损失表示为:其中,B表示批量; 用于度量A和B之间的相似性,相似性函m m

数sim(A,B)=A·B,τ是温度超参数;Ki ,Kj表示加权的文本‑图片相似性特征表示文本‑图片差异性特征表示 图片‑文本相似性特征表示 图片‑文本差异性特征表示 中的任意两个特征表示;

同理,则评论间的双空间对比损失 表示为:

o o

其中,Ki ,Kj表示加权的当前评论‑邻居评论相似性特征表示 当前评论‑邻居评论差异性特征表示 邻居评论‑当前评论相似性特征表示 邻居评论‑当前评论差异性特征表示 中的任意两个特征表示;

根据所述邻居评论特征表示Eb,采用深度学习的方法获取邻居评论的置信度c,如下式所示,并将其作为辅助损失的调节因子:c=Conv(Pooling(MLP(Eb)))其中,Conv表示卷积操作,Pooling表示池化操作,MLP表示多层感知机;

根据所述双空间对比损失 和 结合所述邻居评论的置信度c,构建所述辅助损失:

7.如权利要求1所述的智能网联汽车用户多模态评论有用性预测方法,其特征在于,所述联合损失函数的获取过程;包括:根据每一评论数据的有用性分数标签和有用性分数预测结果,采用均方误差损失作为主任务损失:其中,si、yi分别表示第i条评论数据的有用性分数预设结果、有用性分数标签;|B|表示批量B的评论数据总数;

根据所述主任务损失 和辅助损失 构建所述联合损失函数:其中,λ表示用于调整辅助对比学习损失效应的超参数。

8.一种智能网联汽车用户多模态评论有用性预测系统,其特征在于,基于预设的模型,系统包括:评论数据获取模块,用于获取多个历史多模态评论数据及汇总统计信息;其中任一评论数据包括一条评论文本及多张关联的评论图片、有用性分数标签和数值型评论信息;

评论信息建模模块,用于针对当前位置的评论数据,分别提取其评论文本的文本嵌入表示及所有关联的评论图片的图片嵌入表示,引入相似‑差异性多视图分解注意力机制,获取多模态评论特征表示;结合所述多模态评论特征表示与所述数值型评论信息的特征,获取该评论数据的评论特征表示;

邻居评论建模模块,用于获取来自所述汇总统计信息的第一初始信念;选择预设数量的相对当前位置的邻居评论数据,融合所有邻居评论数据的评论特征表示,以获取来自邻居的第二初始信念;将所述第一初始信念和第二初始信念进行自适应融合,获取邻居评论特征表示;

有用性分数预测模块,用于根据该评论数据的评论特征表示、邻居评论特征表示,再次引入所述相似‑差异性多视图分解注意力机制,以获取该评论数据的有用性分数预测结果;

模型训练模块,用于根据每一评论数据的有用性分数标签和有用性分数预测结果,构建主任务损失;基于作用于相似性子空间和差异性子空间的双空间对比学习策略,构建辅助损失;最小化所述主任务损失和辅助损失的联合损失函数,训练所述模型直至收敛;

有用性分数获取模块,用于将待预测的多模态评论数据作为收敛后的模型的输入,获取相应的有用性分数;

所述引入相似‑差异性多视图分解注意力机制,获取多模态评论特征表示;包括:t i

对文本嵌入表示K 和图片嵌入表示K 分别进行L2归一化,并将其缩放到单位长度,获取归一化后的特征利用点积和欧氏距离分别计算特征 之间的相似性和差异性得分,将它们的值缩放到[0,1]范围内,并归一化后得到相似性权重矩阵S和差异性权重矩阵D;

t i

将文本嵌入表示K 和图片嵌入表示K与矩阵S、D两两点乘,分别获取加权的文本‑图片相似性特征表示 文本‑图片差异性特征表示 图片‑文本相似性特征表示图片‑文本差异性特征表示t i

将上述四个特征表示进行加权拼接,将拼接结果与文本嵌入表示K 和图片嵌入表示Kt_i二次拼接,并通过线性层进行映射获取多模态评论特征表示K 。

9.一种存储介质,其特征在于,其存储有用于智能网联汽车用户多模态评论有用性预测的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~7任一项所述的智能网联汽车用户多模态评论有用性预测方法。

10.一种电子设备,其特征在于,包括:

一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~7任一项所述的智能网联汽车用户多模态评论有用性预测方法。