利索能及
我要发布
收藏
专利号: 2024102426182
申请人: 江西财经大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合自注意力机制的多行为图对比学习推荐方法,其特征在于,所述方法包括如下步骤:步骤1、基于多行为交互图,联合节点与行为的嵌入进行图卷积操作,并引入自注意力机制有效建模不同节点与各行为间的联系,以增强节点嵌入表示,经过嵌入传播后,得到各行为、用户与项目的最终表示;

步骤2、根据最终表示,利用同一用户的目标行为和辅助行为构建正例对,不同用户的目标行为和辅助行为构建负例对,利用正例对和负例对建立多行为图对比学习,以建模目标行为与辅助行为的关系;

步骤3、基于多行为交互图,通过互补嵌入的方式获取的负兴趣节点嵌入表示,将最终表示作为正兴趣节点嵌入表示,并将正兴趣节点嵌入表示与负兴趣节点嵌入表示进行互补嵌入图对比学习,进而缓解交互中的隐式偏见,以优化节点嵌入表示;

步骤4、将最终表示进行推荐预测,采用多任务学习的方法进行训练,以推荐任务作为主任务,并采用非采样策略计算损失,将多行为图对比学习与互补嵌入图对比学习作为辅助任务,联合优化总损失函数,训练完成后,输出最终的推荐结果;

在所述步骤1中,基于多行为交互图,联合节点与行为的嵌入进行图卷积操作,并引入自注意力机制有效建模不同节点与各行为间的联系,以增强节点嵌入表示,经过嵌入传播后,得到各行为、用户与项目的最终表示的方法具体包括如下步骤:在用户‑项目二部图中,节点表示用户或项目,边表示用户‑项目的不同交互行为,将节点和边投影至嵌入空间,并初始化;

将同一行为的项目和用户的节点嵌入进行嵌入传播,在节点嵌入传播的同时,将行为嵌入投影至与节点相同的嵌入空间,使行为的嵌入同时随节点嵌入传播,以获取不同层级关于不同行为的项目和用户的节点嵌入以及不同行为的嵌入表示,项目和用户的嵌入的嵌入传播过程存在如下关系式:;

其中, 和 分别表示在特定行为 下用户 和项目 的第 层嵌入, 、 、 分别表示用户 、项目 、行为 的第 层嵌入, 表示第 层的特定参数矩阵, 表示LeakyReLU激活函数, 表示对称归一化项,表示用户 交互的项目集, 表示与项目交互的用户集,表示将行为嵌入集成到消息传递中的组合函数;

行为嵌入的嵌入传播过程存在如下关系式:

;

其中, 表示对应行为 下第 层的参数矩阵;

根据不同行为的项目和用户的节点嵌入,利用自注意力机制来建模不同层级中各节点与各行为之间的依赖关系,得到对应的权重系数;

;

其中, 和 分别表示行为 下的特定参数, , ,表示嵌入向量维度,表示注意力输出的维度, 和 分别表示用户 与项目 在行为 下的权重系数, 表示双曲正切函数, 和 分别表示增强嵌入前所有行为下用户 与项目在第 层嵌入拼接后的表示;

利用权重系数对节点嵌入进行增强,得到增强后的节点嵌入;

;

其中, 和 分别表示通过自注意力机制增强后的行为 下用户 和项目 的第 层嵌入;

将不同行为关于项目和用户增强后的节点嵌入进行组合,以获取不同层级项目和用户嵌入表示;

;

其中, 和 分别表示用户 和项目 在第层的嵌入表示,表示行为集;

将不同层的行为、项目和用户嵌入表示分别进行组合,得到各行为、用户与项目的最终表示;

;

其中,、、分别表示用户 、项目 、行为 的最终嵌入表示,L表示传播的层级数量;

采用组合函数将行为嵌入集成到消息传递中的过程存在如下关系式:;

其中,表示逐元素相乘操作;

在所述步骤2中,根据最终表示,利用同一用户的目标行为和辅助行为构建正例对,不同用户的目标行为和辅助行为构建负例对,利用正例对和负例对建立多行为图对比学习,以建模目标行为与辅助行为的关系的方法具体包括如下步骤:在用户侧,将同一个用户的目标行为与每种类型的辅助行为视为正例对,不同用户的目标行为与辅助行为视为负例对,以构成用户侧的多行为图对比学习损失函数,用户侧的多行为图对比学习损失函数存在如下关系式:;

其中, 表示目标行为,表示辅助行为, 表示余弦相似度,表示温度超参数, 、分别表示用户 在目标行为 和辅助行为 下的嵌入表示, 表示用户 在辅助行为 下的嵌入表示,表示用户集;

在项目侧,将同一个项目的目标行为与每种类型的辅助行为视为正例对,不同项目的目标行为与辅助行为视为负例对,以构成项目侧的多行为图对比学习损失函数,项目侧的多行为图对比学习损失函数存在如下关系式:;

其中, 、 分别表示目标项目 在行为 和辅助行为 下的嵌入表示, 表示项目 在辅助行为 下的嵌入表示,表示项目集;

通过将用户侧的多行为图对比学习损失函数和项目侧的多行为图对比学习损失函数相结合可得到最终的多行为图对比学习损失函数,最终的多行为图对比学习损失函数存在如下关系式:;

其中,表示控制两个损失函数强度的超参数, 表示最终的多行为图对比学习损失函数;

在所述步骤3中,基于多行为交互图,通过互补嵌入的方式获取的负兴趣节点嵌入表示,将最终表示作为正兴趣节点嵌入表示,并将正兴趣节点嵌入表示与负兴趣节点嵌入表示进行互补嵌入图对比学习,进而缓解交互中的隐式偏见,以优化节点嵌入表示的方法具体包括如下步骤:获取归一化前项目和用户的嵌入的最大、最小值,其过程表达式如下:;

其中, 、 分别表示 维初始用户嵌入 中的最大值和最小值, , , 、分别表示 维初始项目嵌入 中的最大值和最小值, , , 、 分别表示嵌入的最大值和最小值函数;

将 、 、 、 拓展到 维空间中,得到用户 和项目 的归一化嵌入,其过程表达式如下:;

其中, 、 表示用户 和项目 的归一化嵌入,且每个维度的范围都嵌入到区间[0,1]中;

通过从 、 中获得互补嵌入来表示用户 和项目的负兴趣,其过程表达式如下:;

其中,、表示用户 和项目的互补嵌入, 表示 维全1嵌入, ;

在用户侧,利用用户的互补嵌入作为负兴趣节点嵌入表示,用户的最终表示作为正兴趣节点嵌入表示,将正兴趣节点嵌入表示与负兴趣节点嵌入表示进行互补嵌入图对比学习以构成用户侧的互补嵌入图对比学习损失函数,其过程表达式如下:;

其中, 表示用户侧互补嵌入图对比学习的损失函数, 表示用户 的嵌入,表示用户的互补嵌入, 表示余弦相似度;

在项目侧,利用项目的互补嵌入作为负兴趣节点嵌入表示,项目的最终表示作为正兴趣节点嵌入表示,将正兴趣节点嵌入表示与负兴趣节点嵌入表示进行互补嵌入图对比学习以构成项目侧的互补嵌入图对比学习损失函数,其过程表达式如下:;

其中, 表示项目侧互补嵌入图对比学习的损失函数,表示项目 的嵌入,表示项目的互补嵌入;

通过将用户侧的互补嵌入图对比学习损失函数和项目侧的互补嵌入图对比学习损失函数结合,可得到最终的互补嵌入图对比学习损失函数,最终的互补嵌入图对比学习损失函数存在如下关系式:;

其中, 表示控制两个损失函数强度的超参数, 表示最终的互补嵌入图对比学习损失函数;

在所述步骤4中,将最终表示进行推荐预测,采用多任务学习的方法进行训练,以推荐任务作为主任务,并采用非采样策略计算损失,将多行为图对比学习与互补嵌入图对比学习作为辅助任务,联合优化总损失函数的方法具体包括如下步骤:将同一行为的用户与项目的最终表示合并到一个单独的预测层进行预测,得到在不同行为下用户与项目的交互概率,其过程表示如下:;

其中, 表示用户 在行为 下与项目 交互的概率, 表示对角矩阵,行为 的最终嵌入表示 作为对角线元素;

利用不同行为下用户与项目的交互概率,采用非采样策略优化构建损失函数,其过程表示如下:;

其中,表示行为 的非采样损失函数,B表示一批次用户,表示整个项目集, 表示用户 在行为 下的交互项目集, 表示正样例的权重, 表示负样例的权重, 分别表示行为 的嵌入向量的第 个元素与第 个元素, 分别表示用户 的嵌入向量的第 个元素与第个元素, 分别表示项目的嵌入向量的第 个元素与第 个元素;

将非采样损失函数与最终的多行为图对比学习损失函数和最终的互补嵌入图对比学习损失函数相结合构建总损失函数以进行多任务的联合优化学习,通过最小化总损失以优化模型性能,其过程表示如下:;

其中, 表示总损失函数,表示用于控制行为 对联合训练影响的超参数,表示多行为图对比学习损失函数权重的超参数, 表示互补嵌入图对比学习损失函数权重的超参数,表示正则化系数,表示模型的可训练参数, 表示 正则化。

2.一种融合自注意力机制的多行为图对比学习推荐系统,其特征在于,所述系统应用如权利要求1所述的融合自注意力机制的多行为图对比学习推荐方法,所述系统包括:多行为感知图卷积网络模块,用于:

基于多行为交互图,联合节点与行为的嵌入进行图卷积操作,并引入自注意力机制有效建模不同节点与各行为间的联系,以增强节点嵌入表示,经过嵌入传播后,得到各行为、用户与项目的最终表示;

多行为图对比学习模块,用于:

根据最终表示,利用同一用户的目标行为和辅助行为构建正例对,不同用户的目标行为和辅助行为构建负例对,利用正例对和负例对建立多行为图对比学习,以建模目标行为与辅助行为的关系;

互补嵌入图对比学习模块,用于:

基于多行为交互图,通过互补嵌入的方式获取的负兴趣节点嵌入表示,将最终表示作为正兴趣节点嵌入表示,并将正兴趣节点嵌入表示与负兴趣节点嵌入表示进行互补嵌入图对比学习,进而缓解交互中的隐式偏见,以优化节点嵌入表示;

模型预测与推荐模块,用于:

将最终表示进行推荐预测,采用多任务学习的方法进行训练,以推荐任务作为主任务,并采用非采样策略计算损失,将多行为图对比学习与互补嵌入图对比学习作为辅助任务,联合优化总损失函数,训练完成后,输出最终的推荐结果。