利索能及
我要发布
收藏
专利号: 2024116634176
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于,包括以下步骤:构建了一个用户‑物品交互图,其中用户和物品作为节点,它们之间的交互作为边;然后,通过图卷积神经网络将用户‑物品交互图编码,得到用户和物品节点嵌入向量,然后对用户和物品节点嵌入向量进行内积,得到推荐概率;最后,将前N个推荐概率最高的物品推荐给用户;

所述图卷积神经网络的模型参数通过以下训练得到:S1,将所述节点嵌入向量分别通过内联扩散模型视图生成器、参数拓扑降噪视图生成器生成对比视图1和对比视图2;所述内联扩散模型视图生成器包括内联扩散模型,所述参数拓扑降噪视图生成器包括参数拓扑降噪网络;

S2,将对比视图1和对比视图2进行对比学习;

采用硬负样本采样的对比监督损失优化损失函数训练模型:‑

首先,计算硬负样本对(s,s)的概率分布,从而获得ei:‑ ‑

其中,q(s,s)表示硬负样本对(s,s)的概率分布;

表示根据类别分布ρ选择类别c的期望值;

‑

Dc(s |H(s,ei,τ))表示类别c中,通过给定的样本s、ei、τ下经硬采样策略计算得到的负样本的概率分布;

‑

s表示负样本;

ei表示对应样本的嵌入表示;

τ表示相似度阈值;

H(s,ei,τ)表示硬负样本的集合;

然后,根据对应样本的嵌入表示ei计算特征空间相似性:+

其中,h(s,s)表示正样本的特征空间相似性;

Τ

e 为e的转置;

e为所有样本的嵌入表示;

+

e为所有正样本的特征嵌入表示;

表示单个负样本的特征空间相似性;

为ei的转置;

表示单个负样本的特征嵌入表示;

‑

Υ表示第一温度系数,当相似性大于阈值即:h(s,si)>τ,而两个样本又不属于同一个概率分布,则该两个样本被定义为硬负样本;

最后,得到基于硬负样本的对比损失函数:其中, 表示硬负样本对比损失函数;

表示按照分布p取正样本对的数学期望和负样本对的数学期望;

k表示负样本的个数;

表示样本与负样本的相似度;

表示样本与正样本的相似度。

2.根据权利要求1所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于,通过图卷积神经网络将用户‑物品交互图编码,得到节点嵌入向量,包括:通过集成多个表征嵌入传播层来改进用户和物品节点的特征表示:将ui和vj在l层的图神经网络遍历得到的表征嵌入向量分别定义为 和 目标节点信息从l‑1层传播到l层,为了得到一个高质量的节点嵌入表征,把每一个传播层上的节点嵌入求和,再将最终得到用户和物品的嵌入表示之间的内积用来预测个性化推荐中用户对物品的偏好程度,节点嵌入向量计算具体过程如式(5):其中, 和 分别为ui和vj在l层的图神经网络遍历得到的表征嵌入向量;

分别表示用户与所采样锚点邻接目标节点的聚合信息经过l层的图神经网络得到的表征嵌入向量和物品与所采样锚点邻接目标节点的聚合信息经过l层的图神经网络得到的表征嵌入向量;

分别表示ui和vj在l‑1层的图神经网络遍历得到的表征嵌入向量;

分别表示ui和vj在l层的图神经网络遍历得到的表征嵌入向量;

和 分别表示每个用户ui和物品vj的信息表征嵌入向量;

L表示图神经网络的层数;

所述对用户和物品节点嵌入向量进行内积,得到推荐概率,表示为:其中, 为 的转置。

3.根据权利要求2所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征(u) (v)在于,ni ,nj 的计算公式如下:(u) (v)

其中,E 、E 分别为用户与物品的矩阵嵌入表示;

(u)

ni , 分别表示用户和物品与所采样锚点邻接目标节点的聚合信息表示;

分别表示归一化邻接矩阵 中的第i行,归一化邻接矩阵 中的第j列;

是通过用户‑物品交互图的邻接矩阵A计算出的归一化邻接矩阵表示, 的计算推导如式(4):其中, 和 分别表示为关于用户和物品的对角矩阵;

表示归一化邻接矩阵 第i行第j列的元素;

Ai,j表示用户物品交互图的邻接矩阵A第i行第j列的元素;

Li和Lj分别为用户和物品的所有邻居节点集合表示;

||为绝对值符号。

4.根据权利要求2所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于,内联扩散模型视图生成器生成用于对比学习的对比视图1包括以下步骤:S2‑1,将用户项目交互的嵌入表示e输入VGAE编码器,过程如式(6):其中,qφ(x|e)表示经过图变分编码得到的概率分布;

N表示高斯分布;

x表示用户项目交互的嵌入表示e通过被参数化的图变分编码器低维映射;

μφ(e)表示经神经网络的参数集推理出来的高斯分布均值;

σφ(e)表示经神经网络的参数集推理出来的高斯分布方差;

e由公式(5)得到,为 或

μ表示高斯分布的均值,所输入数据再嵌入向量空间中最可能存在的位置,σ表示高斯分布的方差,并且各维度之间的方差是独立的,反映出均值数据周围的离散情况,φ是VGAE编码器的参数集合,S2‑2,将VGAE编码器输出低维映射为x,并将其输入内联扩散模型;

S2‑2‑1,正向过程:在正向传播过程中,内联扩散模型迭代应用了K次添加噪声的步骤,其中K是一个超参数,嵌入向量在第k次添加噪声表示为xk,每一次数据计算经迭代过程如式(7):其中,q(xk|xk‑1)表示正向过程概率分布;

N表示高斯分布;

xk为嵌入向量在第k次添加的噪声表示;

βk∈(0,1)表示输入噪声的规模大小;

S2‑2‑2,反向过程:在反向传播过程中,传播目标是将迭代添加过噪声的嵌入表示xk在隐式向量空间中恢复,从噪声中重构出原始数据,其中k=1,2,...,K,传播计算过程如式(8):p(xk‑1|xk)=N(xk‑1;W1(xk,k),W2(xk,k))  (8)其中,p(xk‑1|xk)表示反向过程概率分布;

N表示高斯分布;

xk‑1为嵌入向量在第k‑1次添加的噪声表示;

W1和W2表示用于预测高斯分布的可训练的神经网络的高斯参数;

S2‑3,通过内联扩散模型的正反两个传播过程重构出来的低维嵌入向量,输入另一个作为解码器的MLP中,也将编码过程中解析出来的高斯分布的均值和标准差输入,进行解码生成一个新的视图。

5.根据权利要求1所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于,参数拓扑降噪视图生成器生成用于对比学习的对比视图2表示为:l l

A=A⊙Z  (10)

l l

其中,A表示经l层图神经网络后利用二值矩阵Z变换之后的子图邻接矩阵;

A表示邻接矩阵;

l

Z表示一个二值矩阵,用于生成第l层GNN处理后的子图;

⊙表示元素积。

6.根据权利要求5所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征l在于,Z通过以下方式求得:

l

利用了稀疏神经网络l0正则化方法,对A以减少噪声边缘通过直接惩罚不同GNN层中非零边缘的数量,如式(11):其中, 是一个指示函数, 和l=1表示从第一层开始计算;

(u,v)∈ε表示所输入子图的用户物品交互边的集合;

L表示图神经网络的层数;

||·||0表示l0范式;

接着选择采用图注意力机制作为去噪层来学习可以控制是否删除边的参数 将训练子图中的一个节点u作为中心节点,则该节点的邻居节点表示Nu,在GNN第l层中遍历,节点u与其邻居节点v∈Nu计算 如式(12):其中, 表示节点u和节点v之间的边在经过l层的图神经网络下计算得到的质量评分;

l

是一个被θ 参数化的MLP模型;

分别表示经过l层图神经网络得到的用户节点的特征向量和物品节点的特征向量;

l

θ是一个可训练参数,包含每一层MLP的权重矩阵和偏执向量;

通过一个二元Concrete分布在局部参数化的 得到一个 参数化计算过程如式(13):∈~Uniform(0,1),其中,∈~Uniform(0,1)表示从二元Concrete分布中随机抽样;

∈表示从Concrete分布中随机抽取得到的样本;

Uniform(0,1)表示Concrete分布;

表示节点u和节点v之间的边的保留概率的初步计算结果;概率值趋近于0或1;

表示节点u和节点v之间的边在特定任务下的质量评分;

+

τ1∈R表示第二温度系数;

σ(·)表示sigmoid激活函数;

再使用Hard Sigmoid函数将 转换成为一个二值掩码 转换过程如式(14):其中,max()表示取最大值;

min()表示取最小值。

7.根据权利要求1所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于,对比学习的损失函数表示为:其中, 表示用户的对比损失函数;

表示物品的对比损失函数;

的计算公式相同, 的计算公式为:其中,ui、ui′分别表示用户集合中的一个用户和用户集合中的负样本用户;

U表示用户节点集合;

表示正样本对的余弦相似度;

表示负样本对的余弦相似度;

τ2表示第三温度系数。

8.根据权利要求1所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于,在对比学习时,为了使两个生成的对比视图1和对比视图2在训练过程中能够相互对齐并适应CF任务,引入BPR损失函数来约束两个视图的一致性:对于内联扩散模型视图生成器,将其中的VGAE编码器所编码的用户‑物品交互的嵌入表示来计算BPR如式(22):其中, 表示内联扩散模型视图生成器的总损失函数;

表示KL散度损失值;

表示分布损失值,确保生成的图的节点嵌入分布与原始图的节点嵌入分布相似;

表示内联扩散模型视图生成器部分的BPR损失函数;

对于参数拓扑降噪视图生成器,将其得到的节点嵌入表示来计算BPR,损失函数重构如式(23):其中, 表示参数拓扑降噪视图生成器的总损失函数;

表示L0正则化损失函数;

表示参数拓扑降噪视图生成器部分的BPR损失函数;

模型总的损失函数为:

其中, 表示内联扩散模型视图生成器的总损失函数;

表示参数拓扑降噪视图生成器的总损失函数;

表示硬负采样损失函数;

表示BPR损失函数;

λ1表示控制自监督信号强弱的超参数;

表示自监督损失函数;

表示正则化项;

λ2是一个超参数,用来控制正则化强度。

9.根据权利要求8所述的一种基于图生成扩散模型的硬负采样对比推荐方法,其特征在于, 通过以下公式计算:其中,O表示所有训练数据;

u,i,j分别表示用户、物品i、物品j,i≠j;

表示将计算得到的正负样本预测得分的差值通过Sigmoid函数映射到0和

1之间,再取负对数得到最终的损失值;

σ表示Sigmoid函数;

分别表示用户对正样本物品和负样本物品的预测得分表示。