1.一种基于细粒度的多方面分析的短视频点击率预测方法,其特征在于:将用户正负反馈信息分块(block),块内采用自注意力机制得到块向量表征;对于一个用户的点击行为序列 可以表示为 其中 是短视频的封面图特征向量,d是特征向量长度;未点击序列可以表示为 本方法用一个长度为w的+ ‑
窗口将序列X以及X分割成m个块;每个块特征表征sj的计算方式如下:attnji=W0σ(W1xji+W2mj+ba)sj=tanh(W4mj+bs)其中,用户的正负反馈序列分块计算方法一致且参数不共享,为了表达简单,以上所有的公式略去表示正负反馈的上标+和‑;xji代表序列中第j个块中的第i个短视频向量表征,sj表示第j个块向量表征,且S={s1,s2,…,sm}表示块序列;attnji代表xji的重要程度;sj=tanh(W4mj+bs)表示在自注意力机制上再加一层MLP,增强模型的非线性;
和 是模型需要训练的参数;σ
为sigmoid函数,tanh代表tanh激活函数;
采用长短期记忆网络从块(block)向量表征抽取用户动态兴趣表征hj;同样,用户的正负反馈序列计算方法一致且参数不共享,为了表达简单,以下所有的公式略去上标+和‑:hj=LSTM(sj)
其中,sj表示第j个块向量表征;LSTM(sj)表示长短时记忆网络(LSTM)对序列S={s1,s2,…,sm}进行建模;
利用门机制从从用户兴趣表征和目标短视频中抽取多方面(multi‑aspect)特征;短视频由更细粒度的方面(比如,视频场景、视频主题、视频情绪)组成;本方法采用门机制抽取方面特征,下面公式是抽取第j个用户兴趣表征的第k个方面;用户的正负反馈序列计算方法一致且参数共享,为了表达简单,以下所有的公式略去上标+和‑:pk,j=hj⊙σ(Wk,1hj+Wk,2qk+bk)其中, 和 是第k个方面的转移矩阵, 是第k个方面的偏置向量;σ是sigmoid激活函数,⊙是元素级别的乘法;hj是从块(block)向量表征抽取的第j个用户兴趣表征,qk是第k个方面表征且qk为所有用户共享;短视频的方面个数M是超参数;得到用户兴趣的每个方面向量表征之后,本方法采用平均池(average pooling)将所有用户兴趣中同一个方面信息聚合:
其中,m是用户兴趣的个数;最后我们可以从正反馈和负反馈序列中得到M个方面特征和 采用相同的办法,可以从目标短视频中得到M个方面特征利用交互注意力机制(interactive attention),得到多方面(multi‑aspect)的重要性,并更新多方面特征:
attnk=softmax(attnk)pk=attnkpk
其中, 和 分别是从正反馈和负反馈序列中抽取的方面特征;cos三角函数是计算向量相似度的基本公式;且‑cos表示正负反馈相同方面的特征越接近,attnk越小,也就是该方面的重要性越低;反之,正负反馈相同方面的特征差异越大,attnk越大,也就是该方面的重要性越高;softmax是一种正则化方式;
利用基于目标短视频的注意力机制,从多方面(multi‑aspect)特征中抽取和目标短视频相关的兴趣向量表征;用户的正负反馈序列计算方法一致且参数不共享,为了表达简单,以下所有的公式略去上标+和‑:
其中,pk为序列第k个方面特征, 为目标短视频第k个方面特征;参数 和参数W5, 控制每个方面特征的权重,参数b是偏置参数;σ是sigmoid激活函数;
根据用户兴趣表征,预测用户对目标短视频的点击率:+ ‑
其中,v 和v 分别为用户在正反馈序列和负反馈序列下的兴趣表征, 为向量拼接操作; 和 是转移矩阵, 是偏置向量,b2是偏置标量;σ是sigmoid激活函数;
根据模型特性,设计损失函数;通过用户对目标短视频的点击率预测值 计算预测值和真实值y之间的误差,进而使用误差来更新模型参数;我们采用交叉熵损失函数来指导模型参数的更新过程:
其中,y∈{0,1}是真实值,代表用户是否点击了目标短视频;σ是sigmoid函数;最后采用Adam优化器更新模型参数。
2.根据权利要求1所述的一种基于细粒度的多方面分析的短视频点击率预测方法,其特征在于:所述长短时记忆网络(LSTM)结构为:ij=σ(Wisj+Uihj‑1+bi)fj=σ(Wfsj+Ufhj‑1+bf)oj=σ(Wosj+Uohj‑1+bo)cj=iktanh(Wcsj+Uchj‑1+bc)+fjcj‑1hj=ojcj
其中,长短期记忆网络每一层的隐藏状态hj的输出就是用户兴趣表征;sj是当前层的节点输入, 和 分别是控制输入
门ij、遗忘门fj和输出门oj的参数;σ为sigmoid函数;所有这些参数和输入:隐层状态hj‑1、当前输入sj共同参与计算,来输出结果hj。