利索能及
我要发布
收藏
专利号: 2021103993020
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.融合注意力机制的个性化搜索方法,其特征在于,包括:步骤1、收集并获取用户u生成内容,所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分;将文本评论进行向量化,项目图像进行特征提取,获取特征向量;

步骤2、将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D;D中的项目构成集合S,S={(u,xi,Ci,Ti,Gi)},其中xi∈D,Ci为项目xi的类别标签向量,Ti为用户对项目xi文本评论的向量化表示,Gi为项目xi的图像特征向量化表示,i=1,2,…,|D|,|D|表示D中的项目数量;

步骤3、构建融合注意力机制的用户偏好感知模型,所述模型基于深度置信网络,由三层受限玻尔兹曼机组成,其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v1、第二组可见单元v2和第三组可见单元v3,隐藏层为h1;h1作为可见层,与隐藏层h2构成第二层受限玻尔兹曼机;h2作为可见层,与隐藏层h3构成第三层受限玻尔兹曼机;所述融合注意力机制的用户偏好感知模型的参数为θ={θ1,θ2,θ3}={w1,a1,b1,w2,a2,b2,w3,a3,b3};

利用优势项目群体D,采用对比散度学习算法对融合注意力机制的用户偏好感知模型中的第一层受限玻尔兹曼机进行训练,获得其模型参数θ1={w1,a1,b1};

第一层RBM模型训练完成后,当给定隐单元状态时,各可见单元的激活状态条件独立,某项目xi的向量表示[Ci,Ti,Gi]输入可见层,其第一组、第二组和第三组可见单元的激活概率分别为:

其中,a1,j、a1,k和a1,l分别表示第一组、第二组和第三组可见单元偏置;

计算各类多源异构数据的信息熵,项目类别标签的信息熵为:文本评论向量的信息熵为:

项目图像特征向量的信息熵为:

其中cij表示项目xi的类别标签向量Ci的第j个元素,p(cij)表示RBM1中对应于项目类别标签向量表示的第j个元素的可见单元激活概率;

tik表示用户u对项目xi文本评论向量化表示Ti的第k个元素,p(tik)表示RBM1中对应于用户文本评论向量表示的第k个元素的可见单元激活概率;

gil表示,p(gil)表示项目xi的图像特征向量化表示Gi的第l个元素,p(gil)表示RBM1中对应于项目图像特征向量表示的第l个元素的可见单元激活概率;

其次,计算各类信息熵占总信息熵的比例作为权重因子:其中H(xi)=H(Ci)+H(Ti)+H(Gi);

将向量Ci、Ti、Gi组合构成项目xi的决策向量Ψi输入v1、v2、v3中各可见单元时,隐藏层h1中各隐单元的激活状态条件独立,第m1个隐单元的激活概率为:其中,m1=1,2,…,M1, 为h1中第m1个隐单元的偏置;v1j为RMB1第一组可见单元v1中第j个可见单元的状态;v2k为RMB1第二组可见单元v2中第k个可见单元的状态;v3lRMB1第三组可见单元v3中第l个可见单元的状态; 为w1中的元素值,表示RBM1中第n个可见单元与第m1个隐单元之间的连接权重,n=1,2,…,Φ; 表示隐层h1中第m1个隐单元的状态;σ(x)=1/(1+exp(‑x))是sigmoid激活函数;

RBM1训练完成后,根据式(9)获取项目xi对应的各隐单元的状态,进而获得用户对于优势项目群体D中各项目的各决策分量的偏好程度,即可见层单元激活概率,作为注意力权重系数atn(xi):

其中 表示Ψi作为RBM1可见层各可见单元状态时,隐藏层h1中第m1个隐单元的状态;atn(xi)表示项目xi各决策分量ψin的注意力权重;

将注意力权重系数atn(xi)作为项目xi各决策分量的权重系数,对优势项目群体D中项目xi进行基于注意力机制的编码,编码后表示为xati:xati=Ψi+atn(xi)×Ψi          (12)将xati输入预训练后的RBM1,得到可见单元激活概率VRBM1(xati):其中xatn′为xati的第n′个元素;

由RBM1可见单元激活概率VRBM1(xati)进行自注意力机制运算,动态学习项目个体的用户偏好注意力权重向量A(xati):A(xati)=softmax(a(VRBM1(xati),w1))     (14)其中,softmax()函数保证所有权重系数之和为1;函数a(VRBM1(xati),w1)衡量了项目xi相对于用户偏好特征的注意力权重系数,计算如下:T

a(VRBM1(xati),w1)=VRBM1(xati)·(w1)    (15)结合用户偏好注意力权重向量A(xati)和项目xi的原始决策向量Ci,Ti,Gi,生成融合注意力机制的项目决策向量:

xi′=A(xati)×Ψi             (16)利用融合注意力机制的项目决策向量xi′构成训练集,对DBN中的RBM1、RBM2、RBM3模型进行逐层训练,训练完成后获得融合注意力机制的基于深度置信网络的用户偏好感知模型及其优化模型参数θ;

步骤4、根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数,建立构建基于用户偏好的分布估计概率模型P(x):P(x)=[P(ψ1),P(ψ2),…,P(ψn),…,P(ψΦ)]            (17)其中(ψ1,ψ2,…,ψn,…,ψΦ)为项目x的原始决策向量,P(ψn)表示用户对于项目的第n个决策分量的偏好概率;

步骤5、设定种群大小N,利用基于用户偏好的分布估计概率模型P(x),采用分布估计算法生成N个新个体,每个个体为一个项目;第v个新个体的类别标签向量的设置步骤如下:

(5.1)令v=1;

(5.2)生成[0,1]之间的随机数z;如果z≤P(ψj=1),则第v个新个体的类别标签向量的第j个元素为1,否则为0;

(5.3)令v加一,重复步骤(5.2),直至v>N;

步骤6、在搜索空间中选择与N个新个体类别标签向量 相似度最高的N个项目,构成u

待推荐项目集合S;

u

步骤7、计算待推荐项目集合S中各项目的适应值u

其中, 和 分别表示待推荐项目集合S 中项目能量函数的最大值和最* * u

小值; 为项目x的能量函数,x∈S ,其计算如下:*

其中 为项目x的第n个决策分量;

u

步骤8、选择S中适应值最高的前TopN个项目作为搜索结果,TopN

随着用户交互式搜索过程的推进和用户行为动态演变,根据当前用户最近的评价数据,更新优势项目群体D,再次训练融合注意力机制的用户偏好感知模型,动态更新提取的用户偏好特征,同时,更新基于用户偏好的分布估计概率模型P(x)。

2.根据权利要求1所述的融合注意力机制的个性化搜索方法,其特征在于,所述优势项目群体D中还包括占比为η的新项目,所述新项目通过在搜索空间随机采样得到。

3.根据权利要求2所述的融合注意力机制的个性化搜索方法,其特征在于,如果当前用户u对新项目没有评价,则采用当前用户u的相似用户u′对该新项目的文本评论作为用户u对该新项目的评价;如果用户u的多个相似用户均对该新项目作出评价,则选择其中与用户u相似度最大的用户的评价;如果当前用户u的相似用户均没有对该新项目作出评价,用户u对该新项目的评价采用随机赋值的方式。

4.根据权利要求3所述的融合注意力机制的个性化搜索方法,其特征在于,用户u的相似用户为与用户u存在共同评分项目,且相似度大于预设的相似度阈值的用户;对于与用户u存在共同评分项目的用户u′,u′≠u,u和u′的相似度Sim(u,u′)为:其中Iu,u′表示用户u和u′均评分的项目集合;Rux'为用户u对Iu,u′中的项目x′的评分,Ru′x'为用户u′对x′的评分; 为用户u对已评价的所有项目的平均评分; 为用户u′对已评价的所有项目的平均评分。

5.根据权利要求1所述的融合注意力机制的个性化搜索方法,其特征在于,所述对DBN中的RBM1、RBM2、RBM3模型进行逐层训练,具体为:首先训练RBM1,得到参数{w1,a1,b1};将b1传递进RBM2中的a2,在此基础上训练RBM2,获得优化参数{w2,a2,b2};将b2传递进RBM3中的a3,在此基础上训练RBM3,获得优化参数{w3,a3,b3}。

6.根据权利要求1所述的融合注意力机制的个性化搜索方法,其特征在于,所述用户偏好的项目第n个决策分量的概率P(ψn)的计算为:首先根据优势项目群体D计算基于用户偏好的概率分布模型p(x):p(x)为Φ维向量,其第n个元素p(ψn)为用户偏好项目第n个决策分量的激活概率;对p(ψn)进行下界约束,约束后的值为用户偏好的项目第n个决策分量的概率P(ψn),即:ε为预设的下界阈值。

7.根据权利要求1所述的融合注意力机制的个性化搜索方法,其特征在于,所述三层受限玻尔兹曼机中,每一层受限玻尔兹曼机中隐藏层隐单元数目为可见层中可见单元数目的

0.8‑1.2倍。

8.根据权利要求2所述的融合注意力机制的个性化搜索方法,其特征在于,新项目在优势项目群体D中的占比η<30%。

9.根据权利要求1所述的融合注意力机制的个性化搜索方法,其特征在于,所述步骤6采用欧氏距离作为相似度计算,即两向量之间的欧氏距离越小,二者相似度越高。

10.融合注意力机制的个性化搜索系统,其特征在于,包括:用户生成内容获取模块,用于收集并获取用户u生成内容,所述用户生成内容包括用户u已评价的所有项目、对每个项目的评分和文本评论、每个项目的图像、其他用户对用户u所做评价的有用性评价得分;将文本评论进行向量化,项目图像进行特征提取,获取特征向量;

优势项目群体构建模块,用于将用户评分大于预设评分阈值且信任度大于预设信任度阈值的项目组成含用户偏好的优势项目群体D;

用户偏好感知模型构建与训练模块,用于构建并训练融合注意力机制的用户偏好感知模型;所述模型基于深度置信网络,由三层受限玻尔兹曼机组成,其中第一层受限玻尔兹曼机的可见层包括第一组可见单元v1、第二组可见单元v2和第三组可见单元v3,隐藏层为h1;h1作为可见层,与隐藏层h2构成第二层受限玻尔兹曼机;h2作为可见层,与隐藏层h3构成第三层受限玻尔兹曼机;所述融合注意力机制的用户偏好感知模型的参数为θ={θ1,θ2,θ3}={w1,a1,b1,w2,a2,b2,w3,a3,b3};

基于用户偏好的分布估计概率模型构建模块,用于根据已训练好的融合注意力机制的基于深度置信网络的用户偏好感知模型及其模型参数,建立构建基于用户偏好的分布估计概率模型P(x):

P(x)=[P(ψ1),P(ψ2),…,P(ψn),…,P(ψΦ)]            (17)其中(ψ1,ψ2,…,ψn,…,ψΦ)为项目x的原始决策向量,P(ψn)表示用户对于项目的第n个决策分量的偏好概率;

种群生成模块,用于利用基于用户偏好的分布估计概率模型P(x),采用分布估计算法生成N个新个体,每个个体为一个项目,并设置每个新个体的类别标签向量,N为预设的种群大小;

待推荐项目集合构建模块,用于在搜索空间中选择与N个新个体类别标签向量 相似u

度最高的N个项目,构成待推荐项目集合S;

u

适应值计算模块,用于计算待推荐项目集合S中各项目的适应值;

u

搜索结果选择模块,用于选择S中适应值最高的前TopN个项目作为搜索结果,TopN