1.一种基于扩散模型的自监督学习多模态推荐方法,其特征在于,包括下述步骤:将输入的用户原始ID嵌入 、物品原始ID嵌入 以及物品的图像和文本两个模态下的模态特征 利用多模态推荐模型获得物品推荐列表,所述多模态推荐模型在训练时采用的损失函数包括自监督损失 ,且所述自监督损失 的计算包括:将用户物品的归一化交互矩阵 采用扩散模型生成用户物品协作图 ,且将用户物品协作图 进行ID引导和提取模态语义共性以获得ID引导的协作图 和各个模态 引导的协作图 ,分别计算ID引导模态表示的损失和增强语义一致性的损失并求和作为自监督损失 ,其中 取值为 或 ,和 分别表示图像模态和文本模态;
所述将输入的用户原始ID嵌入 、物品原始ID嵌入 以及物品的图像和文本两个模态下的模态特征 利用多模态推荐模型获得物品推荐列表包括:分别对用户原始ID嵌入与物品原始ID嵌入 进行相似图增强以获得更新后的用户ID嵌入 与物品ID嵌入,将更新后的用户ID嵌入 与物品ID嵌入 通过图卷积得到协作视图嵌入 ;将各个模态下的模态特征 投影后分别计算用户偏好以获得用户 的模态特征 、模态增强以获得物品的模态特征 ,将用户 的模态特征 、物品的模态特征 通过图卷积得到各个模态偏好视图嵌入 ;将各个模态偏好视图嵌入 正则化后与协作视图嵌入 融合得到视图融合嵌入 ,将视图融合嵌入 拆分得到最终的用户表示 与物品表示 ,将最终的用户表示 与物品表示 进行内积得到每个用户 对每个物品 的评分 ,并针对每个用户 选择评分 靠前的K个物品作为得到的物品推荐列表输出。
2.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述将用户物品的归一化交互矩阵 采用扩散模型生成用户物品协作图 时,所述归一化交互矩阵 的计算函数表达式为:,
其中,为用户物品的原始交互矩阵, 为归一化度值矩阵;所述扩散模型根据输入的用户物品的归一化交互矩阵 ,采用下式所示的反向生成过程通过多次迭代生成用户物品协作图 :,
其中, 为时间步 的数据分布, 为时间步 的数据分布, 由 反向预测得到,表示正态分布, 为时间步 的噪声, 为时间步 的扩散系数, 为时间步 的累积扩散系数, 为时间步 的累积扩散系数。
3.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述将用户物品协作图 进行ID引导和提取模态语义共性以获得ID引导的协作图 和各个模态 引导的协作图 的函数表达式为:, ,
其中, 为用户物品的交互矩阵, 为拼接操作, 和 分别为用户 的模态特征和物品的模态特征, 和 分别为用户原始ID嵌入与物品原始ID嵌入,使得ID引导的协作图 和各个模态 引导的协作图 均由表示用户和物品的两个嵌入部分组成。
4.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述分别计算ID引导模态表示的损失和增强语义一致性的损失并求和作为自监督损失 的函数表达式为:, ,
,
,
,
其中, 为ID引导模态表示的损失, 为增强语义一致性的损失; 和
为中间变量, 为模态集合, 为本批次的数据集, 为相似度函数,为温度系数, 分别为ID引导的协作图 和各个模态 引导的协作图 中用户的嵌入部分, 分别为ID引导的协作图 和各个模态 引导的协作图 中物品 的嵌入部分,同理, 为模态 引导的协作图 中用户 的嵌入部分, 为模态引导的协作图 中物品 的嵌入部分,用户 和用户 为本批次的数据集 中的用户,物品 和物品 为本批次的数据集 中的物品; 分别为模态 是图像模态和文本模态时引导的协作图 中的用户 的嵌入部分, 为模态 是文本模态时模态 引导的协作图 中用户 的嵌入部分, 分别为模态 是图像模态和文本模态时引导的协作图中物品 的嵌入部分, 为模态 是文本模态时模态 引导的协作图 中物品 的嵌入部分。
5.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述多模态推荐模型在训练时采用的损失函数为:,
其中,为多模态推荐模型在训练时采用的损失函数, 为贝叶斯损失, 为自监督损失系数, 为自监督损失。
6.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述对用户原始ID嵌入 与物品原始ID嵌入 进行相似图增强以获得更新后的用户ID嵌入 与物品ID嵌入 的函数表达式为:,
,
,
,
其中, 和 分别表示用户节点相似图与物品节点相似图, 为用户物品的归一化交互矩阵,上标中的 表示转置操作;所述将各个模态下的模态特征 投影后分别计算用户偏好以获得用户 的模态特征 、模态增强以获得物品的模态特征 的函数表达式为:,
,
,
其中, 为用户 在用户物品的原始交互矩阵上的邻居集, 为邻居集 的大小,为物品 结合相似模态特征的物品后的嵌入表示, 为投影到统一的嵌入空间中的物品的模态特征, 为用于在相似模态特点的物品之间建立关联的模态语义图, 为变换矩阵。
7.一种基于扩散模型的自监督学习多模态推荐系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~6中任意一项所述基于扩散模型的自监督学习多模态推荐方法。
8.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~6中任意一项所述基于扩散模型的自监督学习多模态推荐方法。
9.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~6中任意一项所述基于扩散模型的自监督学习多模态推荐方法。