1.一种基于自监督学习的多模态鲁棒推荐方法,其特征在于,包括利用基于自监督学习的推荐模型从原始数据中获取推荐给用户的推荐列表:S1,从原始数据中提取用户和物品各模态的模态特征作为初始的嵌入向量,并构建各个模态下的用户‑物品异构图,以及物品‑物品同构图;
S2,针对各模态的初始的嵌入向量进行多模态特征编码,包括:基于初始的嵌入向和用户‑物品异构图利用图卷积网络捕获高阶特征得到最终嵌入向量,并基于物品‑物品同构图提取物品之间的语义关系来增强最终嵌入向量;
S3,将各模态增强后的最终嵌入向量进行多模态特征融合;
S4,将各模态的最终嵌入向量、融合的最终嵌入向量进行多模态特征对齐以提取出最终用户嵌入向量 和最终物品嵌入向量 ;
S5,根据最终用户嵌入向量 和最终物品嵌入向量 计算得到用户对物品的最终预测评分并排序,选取指定的前K个物品作为推荐给用户的推荐列表并输出;
步骤S2中基于初始的嵌入向和用户‑物品异构图利用图卷积网络捕获高阶特征得到最终嵌入向量时,所采用的图卷积网络包括 个图卷积网络层,任意第层得到的嵌入向量的函数表达式为:,
上式中, 为第层得到的嵌入向量, 和 为用户u与物品i在用户‑物品异构图中的单跳邻居, 为第 层得到的嵌入向量,m为模态,模态m取值为id、v和t分别表示ID模态、图像模态以及文本模态;且捕获高阶特征得到的最终嵌入向量的函数表达式为:,
上式中, 为模态m下的最终嵌入向量,且有:
,
上式中, 和 分别为模态m下最终嵌入向量 的用户嵌入向量和物品嵌入向量;
步骤S2中基于物品‑物品同构图提取物品之间的语义关系来增强最终嵌入向量包括:S2.1,根据下式计算物品‑物品同构图中各对物品之间的相似分数:,
上式中, 为模态 下物品和物品 之间的相似分数, 和 分别为模态 下物品和物品 原始的模态特征,m为模态,模态m取值为id、v和t分别表示ID模态、图像模态以及文本模态;
S2.2,利用KNN算法对各对物品之间的相似分数进行聚类,并根据下式保留K个得分最高的邻居的相似度分数 的值为1、其余邻居的相似度分数 的值为0;
S2.3,根据下式采用稀疏矩阵乘法聚合计算任意模态 下得到的物品之间的语义关系:,
上式中, 为模态 下物品i的嵌入向量, 为物品i的单跳邻居, 为模态 下物品的嵌入向量,物品 为在物品i的单跳邻居 中的物品;
S2.4,将物品之间的语义关系来增强对应模态的最终嵌入向量;
步骤S2.4中将物品之间的语义关系来增强对应模态的最终嵌入向量的函数表达式为:,
上式中, 为模态 下增强后的最终嵌入向量, 和 分别为模态m下最终嵌入向量 的用户嵌入向量和物品嵌入向量,“ ”为连接操作, 为模态 下物品i的嵌入向量。
2.根据权利要求1所述的基于自监督学习的多模态鲁棒推荐方法,其特征在于,步骤S3中将各模态增强后的最终嵌入向量进行多模态特征融合的函数表达式为:,
上式中, 为融合模态的最终嵌入向量,为权重系数, 和 分别为模态 取值为图像模态v和文本模态t时增强后的最终嵌入向量 ,且有:,
,
,
上式中, 和 分别为图像模态v下增强后的最终嵌入向量 的用户嵌入向量和物品嵌入向量, 和 分别为文本模态t下增强后的最终嵌入向量 的用户嵌入向量和物品嵌入向量, 和 分别为融合模态下增强后的最终嵌入向量 的用户嵌入向量和物品嵌入向量。
3.根据权利要求2所述的基于自监督学习的多模态鲁棒推荐方法,其特征在于,步骤S4中将各模态的最终嵌入向量、融合的最终嵌入向量进行多模态特征对齐以提取出最终用户嵌入向量 和最终物品嵌入向量 的函数表达式为:S4.1,根据各模态的最终嵌入向量、融合的最终嵌入向量构建下式所示的最终嵌入向量 :,
上式中, 和 分别为图像模态v下增强后的最终嵌入向量 的用户嵌入向量和物品嵌入向量, 和 分别为文本模态t下增强后的最终嵌入向量 的用户嵌入向量和物品嵌入向量, 和 分别为融合模态下增强后的最终嵌入向量 的用户嵌入向量和物品嵌入向量;
S4.2,基于最终嵌入向量 根据下式生成最终用户嵌入向量 和最终物品嵌入向量 :, 。
4.根据权利要求1所述的基于自监督学习的多模态鲁棒推荐方法,其特征在于,步骤S5中根据最终用户嵌入向量 和最终物品嵌入向量 计算得到用户对物品的最终预测评分的函数表达式为: ,
上式中, 为用户 对物品的最终预测评分。
5.根据权利要求3所述的基于自监督学习的多模态鲁棒推荐方法,其特征在于,所述利用基于自监督学习的推荐模型从原始数据中获取推荐给用户的推荐列表之前还包括训练推荐模型,且训练推荐模型采用的损失函数为贝叶斯个性化排名优化损失和对齐损失的加权得到的损失函数,且采用镜像梯度优化算法结合损失函数来优化推荐模型的网络参数;
所述对齐损失的计算函数表达式为:
,
上式中, 为对齐损失, 为用于平衡损失的超参数, 为由ID直接指导的对齐损失, 为由ID间接指导的对齐损失, 为模态指导的对齐损失, 为模态间接指导的对齐损失,且有:,
+ ,
,
,
+ ,
,
,
,
上式中, 为由ID直接指导的对齐损失, 和 分别为模态 取值为ID模态id时的增强后的最终嵌入向量 高斯分布参数化后得到的均值和标准差, 和 分别为融合模态的最终嵌入向量 高斯分布参数化后得到的均值和标准差; 和 分别为由ID间接指导的图像和文本模态的对齐损失, 和 分别为模态 取值为图像模态v时增强后的最终嵌入向量 高斯分布参数化后得到的均值和标准差, 和 分别为模态 取值为文本模态t时增强后的最终嵌入向量 高斯分布参数化后得到的均值和标准差;
和 分别为模态指导的图像和文本模态的对齐损失。
6.一种基于自监督学习的多模态鲁棒推荐系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~5中任意一项所述基于自监督学习的多模态鲁棒推荐方法。
7.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~5中任意一项所述基于自监督学习的多模态鲁棒推荐方法。
8.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~5中任意一项所述基于自监督学习的多模态鲁棒推荐方法。