利索能及
我要发布
收藏
专利号: 2023104129326
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于显式和隐式兴趣特征的智能新闻推荐方法,其特征在于,该方法通过构建并训练由新闻编码器、显式兴趣编码器、词频‑逆向文件频率TF‑IDF算法模块、隐式兴趣编码器、图神经网络、隐式兴趣解码器和点击率预测器模块所构成的新闻推荐模型,将所有候选新闻依据点击率大小由高到低进行排序,将Top‑K条新闻推荐给用户;具体如下:构建新闻编码器,以新闻的标题信息作为输入,从上述信息中学习新闻特征向量;

构建基于显式和隐式兴趣特征的新闻推荐模型,以新闻编码器生成的新闻特征向量为输入,使用Fastformer得到显式兴趣特征向量;以用户的浏览记录为输入,使用词频‑逆向文件频率TF‑IDF算法、多层感知机和图神经网络得到隐式兴趣特征向量;

构建点击率预测器模块,首先利用门控网络选择重要的特征信息以及聚合显式兴趣特征向量和最终的隐式兴趣特征向量得到用户特征向量,然后基于候选新闻的注意力网络融合用户特征向量和候选新闻的新闻特征向量,得到最终的用户特征向量,最后将最终的用户特征向量和候选新闻的新闻特征向量作为输入,通过点积运算生成每个候选新闻的得分即点击率,将所有候选新闻依据点击率大小由高到低进行排序,将Top‑K条新闻推荐给用户;

基于显式和隐式兴趣特征的智能新闻推荐方法,其特征在于,所述新闻编码器的构建过程具体如下:首先,针对数据集中每一个单词构建单词映射表,并将表中每一个单词映射成唯一的数字标识,映射规则为:以数字1为起始,随后按照每个单词被录入单词映射表的顺序依次递增排序,从而形成单词映射转换表;使用Glove预训练语言模型,得到每个单词的词向量表示;在词嵌入层将每一个新闻标题T=[w1,w2,...,wN]转换成向量表示,记为x=[x1,x2,...,xN],其中,N表示一个新闻标题的长度,xN表示每个单词的向量表示,w表示新闻标题中的一个单词;

然后,以新闻标题向量x作为输入,按照一定概率将输入中的元素随机置零得到有噪声的向量 然后将有噪声的向量 输入全连接层得到隐层表示h,公式如下:其中, 表示有噪声的向量,x表示新闻标题向量,q(x)表示随机置零处理,f(·)表示sigmoid激活函数,U和u是从训练过程学到的参数;

最后,以隐层表示h作为输入,通过全连接层进行重构得到新闻特征向量r,公式如下:r=f(U'h+u');

其中,r为新闻特征向量,f(·)表示sigmoid激活函数,U'和u'是从训练过程学到的参数。

2.根据权利要求1所述的基于显式和隐式兴趣特征的智能新闻推荐方法,其特征在于,所述基于显式和隐式兴趣特征的新闻推荐模型的构建过程具体如下:构建显式兴趣编码器:为了生成用户的显式兴趣特征,显示兴趣编码器利用Fastformer方法对用户浏览记录进行处理,输出显示兴趣特征向量;具体如下:首先,Fastformer将输入的新闻特征向量通过三种参数不共享的线性层转换成query、key和value三种向量表示,公式如下:qi=Wqri;

ki=Wkri;

vi=Wvri;

其中,Wq、Wk和Wv皆为可学习的参数,ri表示第i个新闻特征向量,qi表示第i个新闻的query向量,ki表示第i个新闻的key向量,vi表示第i个新闻的value向量;

然后,使用加性注意力机制将query向量进行聚合并压缩,公式表示如下:q=Att(q1,q2,...,qN);

其中,qi表示第i个新闻的query向量,q表示聚合了上下文信息的query向量,Att表示加性注意力机制;

之后,再使用加性注意力机制和按位相乘运算计算key向量与query向量的交互信息,公式如下:k=Att(q⊙k1,q⊙k2,...,q⊙ki,...,q⊙kN);

其中,ki表示第i个新闻的key向量,k表示聚合了上下文信息的key向量,⊙表示按位相乘,Att表示加性注意力机制;

然后,通过点积运算和线性层处理key向量和value向量,从而得到单个注意力头部的新闻特征向量;公式表示如下:其中,Wo为可学习的参数,⊙表示按位相乘,vi表示第i个新闻的value向量, 为单个注意力头部输出的第i个新闻特征向量;

最后,根据M个注意力头部的输出,结合用户浏览记录,建立显式兴趣特征向量,公式表示如下:up=[d1;d2;...;dk;...;dN];

其中,[;]表示联接操作, 为第n个注意力头部输出的第k个新闻特征向量,M为注意力头部的个数,N为用户浏览记录的长度,dk为经过M个注意力头部汇聚联接而得到的第k个新闻特征向量,up为显式兴趣特征向量;

构建TF‑IDF算法模块:首先,将一段用户的浏览记录Cu={v1,...,vi,...,vt‑1}输入到该模块,其中,v表示每条用户浏览记录;然后,使用TF‑IDF算法从用户浏览记录中提取关键词;最后,将关键词通过词嵌入层映射到一个关键词向量矩阵K,其中该矩阵包含了此段用户浏览记录的关键词向量;

构建隐式兴趣编码器,隐式兴趣编码器旨在从用户浏览记录中推测用户的隐式兴趣,具体如下:构建多层感知机:

将用户浏览记录的关键词向量矩阵K作为输入,使用多层感知机编码这些向量,公式表示如下:C=MLP(W′K+b′);

其中,K为关键词向量矩阵,W′表示多层感知机的可学习参数,b′为偏置,C表示经过多层感知机处理输出的关键词向量,MLP为多层感知机;

构建兴趣推理模块:

为了从历史新闻序列的关键词向量中推测隐式兴趣,首先从新闻推荐数据集中使用TF‑IDF方法抽取所有新闻的关键词,将其通过词嵌入层映射为一个全局关键词向量矩阵H,然后通过一个可学习的映射矩阵M过滤可能的关键词,再通过计算可能的关键词在全局关键词向量矩阵H中的分布概率可以得到可能的关键词向量矩阵,即初始隐式兴趣特征向量;

具体的过程公式表示如下:

Wp=softmax(HMC);

Cp=WpH;

其中,softmax表示softmax归一化函数,Wp表示可学习的权重矩阵;Cp表示可能的关键词向量矩阵,包含了所有的初始隐式兴趣特征向量;

构建图神经网络:以初始隐式兴趣特征向量Cp作为输入,通过图神经网络得到更新的隐式兴趣特征向量;具体的,第l层图神经网络的操作过程表示如下:l l

其中,σ表示激活函数;H为第l层图神经网络的节点表示,W表示第l层图神经网络的可学习参数,D为度矩阵;A=A+I,其中A为邻接矩阵,I为单位矩阵;具体的,第一层的输入为0

Cp,那么其输出为H=Cp;经过n层的图神经网络,在t时刻更新的隐式兴趣特征向量,可表示n为Ct=H;

构建隐式兴趣解码器:以更新的隐式兴趣特征向量Ct作为输入,利用多层感知机作为解码器以生成最终的隐式兴趣特征向量,公式如下:uo=MLP(WCt+b);

其中,Ct为更新的隐式兴趣特征向量,W为多层感知机可学习的参数,b为偏置,uo为最终的隐式兴趣特征向量,MLP为多层感知机。

3.根据权利要求1所述的基于显式和隐式兴趣特征的智能新闻推荐方法,其特征在于,所述点击率预测器的构建过程具体如下:构建门控网络:其被设计用来选择重要的特征信息以及聚合显式兴趣特征向量和最终的隐式兴趣特征向量;以显式兴趣编码器生成的显式兴趣特征向量up和隐式兴趣解码器生成的最终的隐式兴趣特征向量uo作为输入,通过门控网络生成用户特征向量ug;公式表示如下:g=ReLU(Wg[uo;up]+bg);

ug=g⊙tanh(Vuo+v)+(1‑g)⊙up;

其中,Wg、Wb、V和v表示可学习的参数,bg表示偏置,符号;表示联接操作,up为显式兴趣特征向量,uo为最终的隐式兴趣特征向量,ReLU、tanh为激活函数,ug为用户特征向量,g为门控网络;

构建基于候选新闻的注意力网络,其被设计用来将候选新闻的特征整合到用户特征向量中,从而生成最终的用户特征向量;公式表示如下:α=Att(WQn,WKug);

其中,WQ、WK为可学习的参数,n为由新闻编码器生成的候选新闻的新闻特征向量,ug为用户特征向量,L为一个用户浏览记录的长度,u为最终的用户特征向量,Att表示注意力机制函数,α为注意力权重;

构建预测模块,其将由新闻编码器生成的候选新闻的新闻特征向量n和最终的用户特征向量u作为输入,通过点积运算预测候选新闻的点击率,公式如下:其中, 表示候选新闻的点击率;

本方法模型尚未进行充分训练时,需要在训练数据集上进行训练,以优化模型参数;当模型训练完毕时,点击率预测器可预测每一条候选新闻的推荐得分,根据得分,推荐合适的新闻给用户。

4.根据权利要求1所述的基于显式和隐式兴趣特征的智能新闻推荐方法,其特征在于,训练数据集的构建过程具体如下:构建新闻数据集或者选择已公开的新闻数据集;

预处理新闻数据集:预处理新闻数据集中的每一条新闻文本,去除新闻数据集中的停用词及特殊字符;分别抽取每一条新闻文本的标题、类别、子类别和摘要信息;

构建训练正例:使用用户浏览记录中的历史新闻序列和交互行为序列中标签为1的新闻编号,即被用户点击的新闻的编号,构建训练正例;

构建训练负例:使用用户浏览记录中的历史新闻序列和交互行为序列中标签为0的新闻编号,即未被用户点击的新闻的编号,构建训练负例;

构建训练数据集:将全部的正例数据和负例数据进行组合,并打乱其顺序,构建最终的训练数据集。

5.根据权利要求1所述的基于显式和隐式兴趣特征的智能新闻推荐方法,其特征在于,新闻推荐模型构建完成后通过训练数据集进行新闻推荐模型的训练与优化,具体如下:构建损失函数:采用负采样技术,将一个用户的已点击的新闻定义为正样例,没有点击过的新闻定义为负样例,计算正样例的点击预测值pi;公式如下:其中, 是在同一点击序列中的第j个负样例相对于第i个正样例的点击率, 是第i个正样例,G是负样例的个数;

新闻推荐的损失函数为所有正样例的负对数似然函数,公式如下:其中, 是正样例的集合;

优化训练模型:选择使用Adam优化函数作为本模型的优化函数,其中,学习率设置为

0.001,平滑常数设置为(0.9,0.999),eps设置为1e‑8,L2惩罚值设置为0。

6.一种基于显式和隐式兴趣特征的智能新闻推荐系统,该系统包括,训练数据集构建单元,首先在线上新闻网站获得用户的浏览记录信息,随后对其进行预处理操作,从而得到符合训练要求的用户浏览记录及其新闻文本内容;训练数据集构建单元包括,原始数据获取单元,负责下载网络上已经公开的新闻网站数据集,将其作为构建训练数据集的原始数据;

原始数据预处理单元,负责预处理新闻数据集中的每一条新闻文本,去除新闻数据集中的停用词及特殊字符;分别抽取每一条新闻文本的关键信息,如标题;从而构建训练数据集;

基于显式和隐式兴趣特征的新闻推荐模型构建单元,用于载入训练数据集、构建新闻编码模块、构建显式兴趣编码模块、构建TF‑IDF算法模块、构建隐式兴趣编码模块、构建图神经网络模块、构建隐式兴趣解码模块以及构建点击率预测器模块,基于显式和隐式兴趣特征的新闻推荐模型构建单元包括,训练数据集载入单元,负责加载训练数据集;

新闻编码模块构建单元,负责在训练数据集中训练基于Glove词向量模型的新闻特征向量,并定义所有的新闻特征向量;首先使用全连接层编码新闻标题向量,得到隐层表示,最后使用全连接层解码隐层表示,重构得到新闻特征向量;

显式兴趣编码模块构建单元,负责根据用户浏览记录构建显式兴趣特征向量;其中,用户浏览记录的新闻特征向量由新闻编码模块构建单元得到,利用Fastformer方法得到显式兴趣特征向量;

TF‑IDF算法模块构建单元,负责利用TF‑IDF算法抽取用户浏览记录中的新闻关键词,然后再利用词嵌入方法将每一个关键词映射到同一个向量空间,从而得到新闻内容的关键词向量;

隐式兴趣编码模块构建单元,负责利用多层感知机抽取关键词向量的主要特征并通过聚合操作生成关键词向量矩阵,然后通过一个可学习的映射矩阵M过滤可能的关键词,再通过计算可能的关键词在关键词向量矩阵中的分布概率得到可能的关键词向量矩阵,该矩阵包含了初始隐式兴趣特征向量;

图神经网络模块构建单元,负责利用图神经网络传播和聚合初始隐式兴趣特征向量,从而得到更新的隐式兴趣特征向量;

隐式兴趣解码模块构建单元,负责利用多层感知机解码更新的隐式兴趣特征向量,从而得到最终的隐式兴趣特征向量;

点击率预测器模块构建单元,首先利用门控网络选择重要的特征信息以及聚合显式兴趣特征向量和最终的隐式兴趣特征向量得到用户特征向量,然后基于候选新闻的注意力网络融合用户特征向量和候选新闻的新闻特征向量,得到最终的用户特征向量,最后将最终的用户特征向量和候选新闻的新闻特征向量作为输入,通过点积运算生成每个候选新闻的得分即点击率,将所有候选新闻依据点击率大小由高到低进行排序,将Top‑K条新闻推荐给用户;

模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练;

模型训练单元包括,

损失函数构建单元,负责计算预测的候选新闻与真实的目标新闻之间的误差;

模型优化单元,负责训练并调整模型训练中的参数,减小预测误差。

7.一种存储介质,其中存储有多条指令,其特征在于,所述指令由处理器加载,执行权利要求1‑5中所述的基于显式和隐式兴趣特征的新闻推荐方法的步骤。

8.一种电子设备,其特征在于,所述电子设备包括:

权利要求7所述的存储介质;以及处理器,用于执行所述存储介质中的指令。