欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021109931174
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图神经网络和评论相似度的会话推荐方法,其特征在于,该方法具体如下:构建基于评论相似度的全局图模块,根据商品的评论文档得到商品在文本空间的相似度,并依据此相似度构建基于评论的商品全局图;

构建局部图模块,根据当前会话的商品序列,得到在会话中的商品局部图;

构建会话生成模块,结合商品在前两个模块分别得到的商品全局图和商品局部图表示,生成最终会话表示;

构建候选商品预测模块,根据会话表示,预测各个候选商品的得分,为用户推荐合适的目标商品;

所述基于评论相似度的全局图模块的构建过程具体如下:

区分邻居重要性:以商品的初始表示以及预处理获得的全局图信息,即邻居及其相应关联边权重,作为输入;通过全局图信息检索出商品所对应的邻居商品初始表示,对邻居商品初始表示和邻居商品对应的关联边权重进行点乘;最后送入ReLU激活函数得到邻居商品的更新表示,具体公式如下:其中,eij为商品vi与邻居商品vj之间的关联边权重; 为归一化后的关联边权重;exp()是以e为底的指数函数; 为商品vi在全局图中的邻居商品vj的初始表示; 为全局图中邻居商品vj的更新表示; 为商品vi在全局图中的邻居商品集合,商品vk属于此邻居集合与商品vi的并集;

获取新权重:获得邻居商品的更新表示后,使用余弦相似度的方式计算商品与每个邻居商品的新权重;利用权重矩阵Wdim来学习商品向量中不同维度的区别;最后以加权求和的方式输出全局图中每个商品的邻居商品复合表示,具体公式如下:其中 为会话中的商品vi的表示; 为商品vi在全局图中的邻居商品vj的更新表示,来自于公式(2);cosine()为余弦相似度;π(vi,vj)为商品vi与邻居商品vj之间的余弦相似度;exp()是以e为底的指数函数;π(vi,vj)为归一化后的相似度; 为全局图中商品vi的邻居商品复合表示,其中 与公式(1)中的定义相同;

获得全局图中商品的最终表示:以会话中的本地商品的初始表示和全局图中邻居商品的复合表示为输入,利用软注意力的方式获得全局图中商品的最终表示,即全局图商品表示,具体公式如下:其中, 为本地商品vi的初始表示; 为可学习的权重矩阵;σ为sigmoid激活函数; 为全局图中商品vi的邻居商品复合表示;ReLU为激活函数; 为商品vi在基于评论相似度的全局图模块的输出,即全局图商品表示。

2.根据权利要求1所述的基于图神经网络和评论相似度的会话推荐方法,其特征在于,所述局部图模块的构建过程具体如下:学习邻居权重矩阵:以会话内部的本地商品的初始表示以及局部图关联边信息为输入;首先定义四种不同的权重矩阵,以学习定义局部图中所输出的四种有向边,并利用点乘的方式得到不同邻居商品对本地商品的重要性,得到融合局部图关联边信息的邻居权重矩阵,具体公式如下:其中, 为本地商品vi的初始表示; 为局部图中商品vi的邻居商品vj的初始表示;

⊙表示点乘; 代表商品vi与商品vj之间关联边的权重向量,对应着局部图中四种不同的边,即包含ain、aout、ain‑out和aself, 同理;LeakyReLU为激活函数; 为商品vi在局部图中的邻居集合,商品vk属于此邻居集合与商品vi的并集;exp()是以e为底的指数函数;αij表示邻居商品vj对本地商品vi的重要性;

获得局部图的商品表示:以会话内部的本地商品的初始表示以及公式(8)学习的邻居权重矩阵为输入;通过加权求和来获得局部图商品表示,具体公式如下:其中 同公式(8);αij为公式(8)的输出; 同公式(8); 为商品vi在局部图模块的输出,即局部图商品表示。

3.根据权利要求2所述的基于图神经网络和评论相似度的会话推荐方法,其特征在于,所述会话生成模块的构建过程具体如下:以基于评论相似度的全局图模块获得的全局图商品表示 以及局部图模块获得的局部图商品表示 为输入;利用通道注意力得到融合商品表示;根据学习到的融合商品表示,利用软注意力的方式生成融合位置信息的会话表示;具体如下:融合商品表示:以基于评论相似度的全局图模块获得的全局图商品表示 以及局部图模块获得的局部图商品表示 为输入;通过通道注意力机制对全局图商品表示和局部图商品表示计算权重,最终得到融合商品表示;具体公式如下:其中 为基于评论相似度的全局图模块获得的全局图商品表示,来自公式(7);

为局部图模块获得的局部图商品表示,来自公式(9);dropout()表示dropout函数,随机丢掉某些特征;||表示两个矩阵在新的维度上进行拼接; 为定义的多通道商品表示;ReLU()为激活函数; 为可学习的权重矩阵;σ为sigmoid激活函数; 为全局和局部两个通道的可学习权重; 为通道注意力机制输出的融合商品表示;

生成会话表示:以上一步的融合商品表示为输入;为了体现不同商品对下一次预测的不同重要性,设置一个可学习的位置表示矩阵P=[p1,p2,...,pl],其中 是位置i的位置向量,而l是当前会话的长度;通过平均池化得到均值会话表示;通过软注意力来学习融入位置信息的商品表示对于当前会话的重要性,最后加权求和得到最终会话表示;具体公式如下:其中, 为公式(14)输出的商品vi的融合商品表示;pl‑i‑1为商品vi反向的位置向量;

b1为偏置值;tanh为激活函数;l是当前会话的长度; 为商品vi的融入位avg

置信息的商品表示;s 为均值会话表示; 为可学

习的权重矩阵;b2为偏置值;σ为sigmoid激活函数;βi为学习到的商品vi对于当前会话的重要性;s为生成的最终会话表示。

4.根据权利要求3所述的基于图神经网络和评论相似度的会话推荐方法,其特征在于,所述候选商品预测模块的构建过程具体如下:以所有候选商品表示以及会话生成模块所得到的会话表示作为本模块的输入;对候选商品表示和当前会话表示进行点积运算,应用Softmax函数来获得每个候选商品的推荐得分:其中s表示最终会话表示,来自公式(18); 为候选商品vi的初始表示,为候选商品vi的推荐得分,将打分为top‑N的商品推荐给当前会话的用户;

本方法模型尚未进行充分训练时,需要在训练数据集上进行训练,以优化模型参数;当模型训练完毕时,候选商品预测模块可预测每个候选商品的推荐得分,根据得分,推荐合适的商品给当前会话的用户。

5.根据权利要求1所述的基于图神经网络和评论相似度的会话推荐方法,其特征在于,所述全局图信息的构建过程具体如下:下载网络上已经公开的电子商务网站数据集,将其作为构建会话序列的原始数据;

预处理用于构建会话序列的原始数据,将会话的时间跨度设定为某一时间段,构建满足条件的训练集和测试集会话序列;

生成评论文档:将构建好的会话序列中的商品评论分别放入对应商品的评论文档,然后使用正则表达式清洗评论文档;

训练评论文档:将清洗好的评论文档送入Doc2Vec工具进行训练,将评论文档转化为向量化表示,即商品在文本空间中的向量化表示;

获取全局图信息:载入训练评论文档后得到的商品在文本空间中的向量化表示,利用Doc2Vec工具中的相似度模块计算商品之间的相似度;对于每一个商品,取与其相似度最高的前N个商品,保存其所对应的邻居列表及其它们之间的相似度,即得该商品的全局图信息;邻居商品将作为全局图中的边的顶点,邻居商品的相似度将作为相应边的权重;

构建商品向量映射层:商品的集合V={v1,v2,...,vm}中的每一个商品在图中均对应一个节点,将每一个商品ID映射为商品的初始表示;同时,设置一个可学习的位置表示矩阵,以考虑会话序列中商品的顺序关系;

所述的会话推荐模型构建完成后通过训练数据集进行会话推荐模型的训练与优化,具体如下:构建交叉熵损失函数:由构建候选商品预测模块过程可知,是经过会话推荐模型处理得到的每个候选商品的推荐得分,yi是真实值,代表该会话下一次点击是否是目标商品,公式如下:优化模型训练:使用Adam作为优化算法,学习率设置为0.001,L2正则化设置为1e‑5,学习率衰减后的步数设置为3,学习率更新设置为0.1;在训练数据集上,对会话推荐模型进行优化训练。

6.一种基于图神经网络和评论相似度的会话推荐系统,其实现如权利要求1所述一种基于图神经网络和评论相似度的会话推荐方法,其特征在于,该系统包括:训练集和测试集的会话序列构建单元,首先需要获得用户在电子商务网站的交互记录,随后对其进行预处理操作,从而得到符合训练要求的会话序列;训练集和测试集的会话序列构建单元包括,原始数据获取单元,负责下载网络上已经公开的电子商务网站数据集,将其作为构建会话序列的原始数据;

原始数据预处理单元,负责将会话的时间跨度设定为某一时间段,构建满足条件的训练集和测试集会话序列,从而构建训练集和测试集的会话序列;

商品的评论表示生成单元,收集预处理得到的训练集中每一个商品所对应的所有评论,生成当前商品的评论文档;利用Doc2Vec工具包处理评论文档,得到商品在文本空间中的向量化表示;计算商品在文本空间的相似度,为每个商品找到最相似的N个邻居;商品的评论表示生成单元包括,评论文档生成单元,将构建好的会话序列中的商品评论分别放入对应商品的文档,然后利用正则表达式的方式清洗评论文档;

评论文档训练单元,将清洗好的评论文档送入Doc2Vec训练,最终得到商品在文本空间中的向量化表示;

全局图信息获取单元,载入评论文档训练单元得到的商品在文本空间中的向量化表示,利用Doc2Vec中的相似度模块计算商品之间的相似度,出于对计算效率的考虑,只保留相似度最高的前12个商品;最终得到每个商品所对应的邻居列表及其它们之间的相似度,即边的权重;

会话推荐系统模型构建单元,用于载入训练集、测试集以及全局图信息、构建商品向量映射层、构建基于评论相似度的全局图模块、构建局部图模块、构建会话生成模块以及构建候选商品预测模块,会话推荐系统模型构建单元包括,训练集、测试集以及全局图信息载入单元,负责加载训练集、测试集以及全局图信息;

对于每个会话序列,根据全局图信息查找到会话中每个商品所对应的邻居列表及其它们之间的相似度,即边的权重;

商品向量映射层构建单元,负责定义所有的商品向量表示以及位置向量,并对二者初始化;

基于评论相似度的全局图模块构建单元,负责构建基于图注意力神经网络的全局图,根据每个连接的重要性生成注意力权重;全局图构建完成后,通过图注意力神经网络的方式对图中的节点,即会话中的商品进行更新学习;

局部图模块构建单元,负责学习局部图中商品的邻居的不同重要性,定义了四种不同的边,之后对局部图中商品之间的有权边进行计算,最终通过加权求和来获得每个商品的输出特征;

会话生成模块构建单元,负责结合全局图和局部图的输出来获得其表示;利用通道注意力机制,分别从评论信息的全局视角和商品转移关系的局部视角来捕捉商品的特征表示;之后需要根据学习到的商品表示,学习会话中的每个商品对于预测的贡献,结合注意力机制以及位置向量来生成最终会话表示;

候选商品预测模块构建单元,负责将会话生成模块构建单元所得到的会话表示将作为本单元的输入,每个候选商品的最终推荐得分基于它们的向量表示以及当前会话表示,首先对候选商品表示和当前会话表示进行点积运算,然后应用Softmax函数来获得每个候选商品的推荐得分;

会话推荐模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练;会话推荐模型训练单元包括,交叉熵损失函数构建单元,负责计算预测的候选商品与真实的目标商品之间的误差;

模型训练优化单元,负责训练并调整模型训练中的参数,减小预测误差。

7.一种存储介质,其中存储有多条指令,其特征在于,所述指令由处理器加载,执行权利要求1‑5中任一项所述的基于图神经网络和评论相似度的会话推荐方法的步骤。

8.一种电子设备,其特征在于,所述电子设备包括:

权利要求7所述的存储介质;以及

处理器,用于执行所述存储介质中的指令。