1.一种基于用户历史行为序列的广告点击率预测方法,其特征在于包括以下步骤:步骤1:采集目标用户特征信息、广告信息以及用户历史行为信息;其中用户历史行为信息包括用户历史点击与未点击过的广告,以及产生行为的时序信息;
步骤2:构建广告相关图,并运用图嵌入方法对用户历史行为信息数据进行增强表示,结合用户特征信息和广告信息编码构建数据集;
2.1用户历史行为信息图嵌入增强表示
2.1.1根据用户历史行为信息中的时序信息构建所有用户对应的广告相关图;广告相关图是以广告作为节点,边由用户点击广告的顺序产生,边的权重为用户点击顺序在数据集中出现的次数;
2.1.2在广告相关图上,以任一个广告节点为起点,沿着边进行随机游走,生成一条随机广告序列,最终得到x条随机广告序列,x为正整数;
2.1.3通过词嵌入方法Word2vec对上一步生成的随机广告序列进行训练,得到用户历史行为序列中每个广告Ai的时序向量
2.2将用户特征信息、广告信息进行独热编码,得到用户特征向量、广告信息向量,作为HDSAN模型嵌入层的输入;
2.3根据广告是否被点击构建数据集的输出项标签;
步骤3:利用数据集训练基于自注意力机制层与多层全连接神经网络的点击率预估模型HDSAN;
所述HDSAN模型包括嵌入层、自注意力机制层、全连接层、输出层;
所述嵌入层,将用户特征向量HU、广告信息向量HT映射到低维嵌入向量,得到用户特征嵌入向量eU、广告信息嵌入向量eT;
所述自注意力机制层,根据用户历史行为序列中每个广告的时序向量计算广告间相关性,并根据相关性权值对广告时序向量做线性变换并求和,最终得到用户历史行为的表示向量eS;
第三层和第四层为全连接层,将用户历史行为表示向量eS与用户特征嵌入向量eU、广告信息嵌入向量eT拼接,通过前馈神经网络学习高阶组合特征,计算全连接神经网络的输出:a(0)=[eS,eU,eT]
a(l+1)=σ(W(l)a(l)+b(l))
其中l为当前层深度,σ为激活函数,W(l)是第l层的权重矩阵,b(l)是第l层的偏置项;最后前馈神经网络的输出为:yMLP=σ(Wh+1ah+bh+1)
第五层为输出层,将前馈神经网络的输出,输入到sigmoid函数中,最终输出0-1之间的点击率预估值
2.如权利要求1所述的一种基于用户历史行为序列的广告点击率预测方法,其特征在于所述目标用户特征信息包括用户性别、年龄、地址、职业、兴趣、爱好。
3.如权利要求1所述的一种基于用户历史行为序列的广告点击率预测方法,其特征在于所述广告信息包括广告类型、广告所属行业、广告位置、广告位尺寸、广告受众。
4.如权利要求1所述的一种基于用户历史行为序列的广告点击率预测方法,其特征在于步骤2.2对于用户特征共有m1个,对m1个用户特征的独热编码进行拼接,得到用户特征向量:HU=[U1,U2,…,Um1]其中Ui为用户特征i的独热编码。
5.如权利要求1所述的一种基于用户历史行为序列的广告点击率预测方法,其特征在于步骤2.2对于广告信息共有m2个,对m2个广告信息的独热编码进行拼接,得到广告信息向量:HT=[T1,T2,…,Tm2]
其中Ti为广告信息i的独热编码。
6.如权利要求1所述的一种基于用户历史行为序列的广告点击率预测方法,其特征在于自注意力机制层具体是:对于用户历史行为序列[A1,A2,…,An],序列中每个广告对应的时序向量为时序向量矩阵为:其中Q、K、V表示用户历史行为的时序向量矩阵,矩阵的每一行是序列中一个广告的时序向量;其中Q=K=V,Q∈Rn×d,K∈Rn×d,V∈Rn×d,n为序列中广告的个数,d为广告向量维数;
将用户历史行为序列中的每一个广告的时序向量与序列中其他广告的时序向量做Attention,做Attention的方式为求向量内积,通过计算内积得到向量间的相似度Wij,即注意力权值,计算公式如下:其中Wij表示广告Ai的时序向量 与广告Aj的时序向量 的相似度;
序列中所有广告时序向量间的注意力权值组成注意力矩阵Watt:其中n为用户历史行为序列中广告的个数;
根据注意力权值矩阵Watt对序列中所有广告的时序向量做加权和,作为单个广告的最终表示向量ei,计算公式如下:最后将用户历史行为序列中的所有广告的表示向量进行求和,作为整个用户历史行为序列的表示向量eS,计算公式如下:
7.如权利要求1所述的一种基于用户历史行为序列的广告点击率预测方法,其特征在于HDSAN模型通过前向传播算法和反向传播算法对数据进行轮询训练,实现权重参数更新,得到最优参数模型;在反向传播中采用logloss作为损失函数,其公式为:上述公式中n为样本数目,i表示第i个样本,它的真实label为y(i),模型预测概率为hθ(xi)。
8.一种设备,其特征在于至少一个处理器,以及与所述至少一个处理器通信的存储器;
其中存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1至7任一所述的一种基于用户历史行为序列的广告点击率预测方法。