1.一种基于用户意图特征的智能新闻推荐系统,其特征在于,该系统包括:训练数据集构建单元,首先在线上新闻网站获得用户的浏览记录信息,随后对其进行预处理操作,从而得到符合训练要求的用户浏览记录及其新闻文本内容;训练数据集构建单元包括,原始数据获取单元,负责下载网络上已经公开的新闻网站数据集,将其作为构建训练数据集的原始数据;
原始数据预处理单元,负责预处理新闻数据集中的每一条新闻文本,去除新闻数据集中的停用词及特殊字符;分别抽取每一条新闻文本的关键信息,如标题、类别、摘要;从而构建训练数据集;
基于用户意图特征的新闻推荐模型构建单元,用于载入训练数据集、构建新闻编码模块、构建TF‑IDF算法模块、构建意图编码模块、构建图神经网络模块、构建意图解码模块以及构建点击率预测模块,基于用户意图特征的新闻推荐模型构建单元包括,训练数据集载入单元,负责加载训练数据集;
新闻编码模块构建单元,负责在训练数据集中训练基于Glove词向量模型的新闻向量,并定义所有的新闻向量表示;首先使用卷积神经网络和注意力机制分别编码新闻标题和摘要,得到新闻标题和摘要向量;同时使用全连接层分别编码新闻主类别和子类别,得到新闻主类别和子类别向量;再将新闻标题、摘要、主类别和子类别向量进行联接并输入到注意力机制中,得到最终的新闻向量;
TF‑IDF算法模块构建单元,负责利用TF‑IDF算法抽取用户浏览记录中的新闻关键词,然后再利用词嵌入方法将每一个关键词映射到同一个向量空间,从而得到新闻内容的关键词向量;
意图编码模块构建单元,负责利用CNN抽取关键词向量的主要特征并通过聚合操作生成关键词向量矩阵,然后通过一个可学习的映射矩阵M过滤可能的关键词,再通过计算可能的关键词在关键词向量矩阵中的分布概率得到可能的关键词向量矩阵;
图神经网络模块构建单元,负责利用图神经网络传播和聚合关键词向量特征,从而得到信息聚合后的关键词向量;
意图解码模块构建单元,负责利用注意力网络解码关键词向量中的用户意图特征,从而得到意图特征向量;
点击率预测模块构建单元,负责利用基于候选新闻的注意力网络融合意图特征向量和候选新闻特征向量,得到用户向量,然后将用户向量和候选新闻特征向量作为输入,再通过向量内积运算生成每个候选新闻的得分即点击率,然后将所有候选新闻依据点击率大小由高到低进行排序,将Top‑K条新闻推荐给用户;
模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练;
模型训练单元包括,
损失函数构建单元,负责计算预测的候选新闻与真实的目标新闻之间的误差;
模型优化单元,负责训练并调整模型训练中的参数,减小预测误差。
2.一种基于用户意图特征的智能新闻推荐方法,其特征在于,该方法是基于权利要求1所述的基于用户意图特征的智能新闻推荐系统的实现方法,该方法通过构建并训练由新闻编码器、词频‑逆向文件频率TF‑IDF算法模块、意图编码器、图神经网络、意图解码器和点击率预测器模块所构成的新闻推荐模型,将所有候选新闻依据点击率大小由高到低进行排序,将Top‑K条新闻推荐给用户;具体如下:构建新闻编码器,以新闻的标题、摘要、主类别和子类别信息作为输入,分别从上述四类信息中学习新闻特征向量;
构建基于用户意图特征的新闻推荐模型,以新闻编码器生成的新闻特征向量为输入,使用词频‑逆向文件频率TF‑IDF算法、卷积神经网络、注意力网络和图卷积神经网络得到用户的意图特征向量;
构建点击率预测器模块,首先利用基于候选新闻的注意力网络融合意图特征向量和候选新闻特征向量,得到用户向量,然后将用户向量和候选新闻特征向量作为输入,最后通过向量点积运算生成每个候选新闻的得分即点击率,将所有候选新闻依据点击率大小由高到低进行排序,将Top‑K条新闻推荐给用户。
3.根据权利要求2所述的基于用户意图特征的智能新闻推荐方法,其特征在于,所述新闻编码器的构建过程具体如下:构建标题学习模块:针对数据集中每一个单词构建单词映射表,并将表中每一个单词映射成唯一的数字标识,映射规则为:以数字1为起始,随后按照每个单词被录入单词映射表的顺序依次递增排序,从而形成单词映射转换表;使用Glove预训练语言模型,得到每个单词的词向量表示;在词嵌入层将每一个新闻标题T=[w1,w2,...,wN]转换成向量表示,记为E=[e1,e2,…,eN],其中,N表示一个新闻标题的长度,eN表示每个单词的向量表示,w表示新闻标题中的一个单词;
针对E=[e1,e2,…,eN]使用卷积神经网络CNN进行特征提取,得到上下文特征向量[c1,c2,…,cN],公式如下:ci=ReLU(Qw×e(i‑k):(i+k)+bw);
其中,i表示相应字符向量在新闻标题中的相对位置,k表示距离i相对位置的差值,Qw表示CNN过滤器的卷积核,bw表示偏置,ReLU为一种激活函数,运算符×为矩阵乘法;
对上下文特征向量[c1,c2,…,cN],使用注意力机制进一步提取关键特征,得到最终的t新闻标题向量r,公式如下:
其中,q是根据上下文特征向量的维度随机初始化后得到的注意力查询向量,V和v是从训练过程中学到的参数,tanh为一种激活函数,运算符×为矩阵乘法,exp为对数函数运算,ai是第i个单词的注意力分值,αi是第i个单词的注意力权重,N是上下文特征向量[c1,c2,...,cN]的长度;
构建摘要学习模块:以新闻摘要作为输入,具体实施方式同标题学习模块,之后得到摘a要向量表示r;
构建类别学习模块:在词嵌入层通过词向量方法将主类别标签和子类别标签分别映射c sc到低维空间向量得到每个类别标签的词向量表示e和e ,然后使用激活函数ReLU生成类别c sc标签的最终向量r和r ,公式如下:
c c
r=ReLU(Vc×e+vc);
sc sc
r =ReLU(Vsc×e +vsc);
其中,ReLU是一种激活函数,Vc、Vsc、vsc和vc是从训练过程中学到的参数,运算符×为矩阵乘法;
t a c sc
构建注意力模块:针对标题、摘要、主类别标签和子类别标签的向量r 、r、r和r ,使用激活函数tanh分别计算各自的注意力分数,即at、aa、ac、asc,然后进一步通过注意力机制分别得到各自的注意力权重,公式如下:其中,Vt、Va、Vc、Vsc、vt、va、vc、vsc为计算标题注意力分数at、摘要注意力分数aa、主类别标签注意力分数ac和子类别标签注意力分数asc的随机初始化的可学习参数; 是由标题向t a量r生成的注意力查询向量, 是由摘要向量r生成的注意力查询向量, 是由主类别标c sc签向量r生成的注意力查询向量, 是由子类别标签向量r 生成的注意力查询向量;tanh为一种激活函数,运算符×为矩阵乘法,exp为对数函数运算,αt是标题的注意力权重,αa是摘要的注意力权重,αc是主类别标签的注意力权重,αsc是子类别标签的注意力权重;
t a c sc
最终的新闻向量r由标题向量r、摘要向量r 、主类别标签向量r和子类别标签向量r以及各自的注意力权重决定,公式如下:t a c sc
r=[αtr;αar;αcr;αscr ];
其中,符号;表示联接操作。
4.根据权利要求2所述的基于用户意图特征的智能新闻推荐方法,其特征在于,所述基于用户意图特征的新闻推荐模型的构建过程具体如下:构建TF‑IDF算法模块:首先,将一段用户的浏览记录Cu={v1,...,vi,...,vt‑1}输入到该模块,其中vi表示每一条用户浏览记录;然后,使用TF‑IDF算法从用户浏览记录中提取关键词;最后,将这些关键词再通过词嵌入层映射到一个关键词向量矩阵Ki;
构建意图编码器,意图编码器旨在从用户浏览记录中推测用户的意图,具体如下:构建卷积神经网络:
将用户的历史新闻序列的关键词向量{K1,...,Ki,...,Kt‑1}作为卷积神经网络的输入,使用卷积神经网络编码这些向量,公式如下:ci=ReLU(W′*K(i‑f):(i+f)+b′);
其中,K(i‑f):(i+f)表示从位置(i‑f)到(i+f)联接的关键词向量,W′表示CNN过滤器的可学习参数,b′为偏置,*表示卷积操作,ReLU表示ReLU激活函数,ci表示卷积化的关键词向量;
构建信息映射模块:
为了从历史新闻序列的关键词向量中推测用户的意图,首先从新闻推荐数据集中使用TF‑IDF方法抽取所有新闻的关键词,再利用词嵌入层生成全局关键词向量矩阵H,然后通过一个可学习的映射矩阵M过滤可能的关键词,再通过计算可能的关键词在全局关键词向量矩阵H中的分布概率可以得到可能的关键词向量矩阵;具体的过程公式表示如下:C=[c1;c2;...;ct‑1];
Wp=softmax(HMC);
Cp=WpH;
其中,softmax表示softmax归一化函数,C表示卷积化的关键词向量联接后的聚合矩阵,Wp表示可学习的权重矩阵;Cp表示可能的关键词向量矩阵,包含了所有的初始意图特征向量;
构建图神经网络:一旦获得可能的关键词向量矩阵Cp,就将该矩阵输入到图神经网络;
具体的,第l层图神经网络的操作过程表示如下:
l l
其中,σ表示激活函数,H为第l层图神经网络的节点表示,W表示第l层图神经网络的可学习参数,D为度矩阵;A=A+I,其中A为邻接矩阵,I为单位矩阵;具体的,第一层的输入为
0 n
Cp,那么其输出为H=Cp;经过n层的图神经网络,在t时刻的用户意图能被表示为Ct=H,其中Ct包含了更新的意图特征向量;
构建意图解码器:在用户意图Ct由图神经网络生成之后,意图解码器使用注意力机制生成最终的意图特征向量,公式如下:其中, 表示注意力权重, 表示Ct矩阵的第j行向量,R为矩阵的总行数;uo为最终的意图特征向量,exp为对数函数运算,表示激活函数。
5.根据权利要求2所述的基于用户意图特征的智能新闻推荐方法,其特征在于,所述点击率预测器的构建过程具体如下:构建基于候选新闻的注意力网络:其被设计用来将候选新闻的特征整合到最终的意图特征向量中,从而生成最终的用户向量;公式表示如下:α=Att(WQd,WKuo);
其中,WQ、WK为可学习的参数,d为由新闻编码器生成的候选新闻的新闻向量表示,U为一个用户浏览记录的长度,u为最终的用户向量,Att表示注意力机制函数,α表示注意力权重;
构建预测模块:其将候选新闻的向量表示d和最终的用户向量u作为输入,使用点积运算预测候选新闻的点击率,公式如下:其中,表示候选新闻的点击率;
本方法模型尚未进行充分训练时,需要在训练数据集上进行训练,以优化模型参数;当模型训练完毕时,点击率预测器可预测每一条候选新闻的推荐得分,根据得分,推荐合适的新闻给用户。
6.根据权利要求2所述的基于用户意图特征的智能新闻推荐方法,其特征在于,所述训练数据集的构建过程具体如下:构建新闻数据集或者选择已公开的新闻数据集;
预处理新闻数据集:预处理新闻数据集中的每一条新闻文本,去除新闻数据集中的停用词及特殊字符;分别抽取每一条新闻文本的标题、类别、子类别和摘要信息;
构建训练正例:使用用户浏览记录中的历史新闻序列和交互行为序列中标签为1的新闻编号,即被用户点击的新闻的编号,构建训练正例;
构建训练负例:使用用户浏览记录中的历史新闻序列和交互行为序列中标签为0的新闻编号,即未被用户点击的新闻的编号,构建训练负例;
构建训练数据集:将全部的正例数据和负例数据进行组合,并打乱其顺序,构建最终的训练数据集。
7.根据权利要求2所述的基于用户意图特征的新闻推荐方法,其特征在于,基于用户意图特征的新闻推荐模型构建完成后通过训练数据集进行新闻推荐模型的训练与优化,具体如下:构建损失函数:采用负采样技术,将一个用户的已点击的新闻定义为正样例,没有点击过的新闻定义为负样例,计算正样例的点击预测值pi;公式如下:其中, 是在同一点击序列中的第j个负样例相对于第i个正样例的点击率, 是第i个正样例,G是负样例的个数;
新闻推荐的损失函数为所有正样例的负对数似然函数,公式如下:其中, 是正样例的集合;
优化训练模型:选择使用Adam优化函数作为本模型的优化函数,其中,学习率设置为
0.001,平滑常数设置为(0.9,0.999),eps设置为1e‑8,L2惩罚值设置为0。
8.一种存储介质,其中存储有多条指令,其特征在于,所述指令由处理器加载,执行权利要求2‑7任一项中所述的基于用户意图特征的新闻推荐方法的步骤。
9.一种电子设备,其特征在于,所述电子设备包括:
权利要求8所述的存储介质;以及处理器,用于执行所述存储介质中的指令。