利索能及
我要发布
收藏
专利号: 2020105772988
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种推荐方法,包括如下步骤:

S100:将原始数据转化为数值数据,将大规模稀疏特征转化为低维密集特征;

S200:获得用户的兴趣表示;

S300:分别提取用户和项目的高阶特征交互和低阶特征交互,基于线性的全局注意力机制监视高阶特征交互和低阶特征交互对于点击率预测的不同贡献;

S400:预测用户是否点击候选项,最终完成向用户推荐项目;

步骤S100进一步包括,

S101:采用独热编码对原始数据进行向量化;

S201:通过建立一个映射函数,将高维稀疏向量映射成低维稠密向量;其中,该方法使用了四类特征:用户特征,用户行为,广告和上下文,用户特征的字段有性别、年龄;用户行为字段是用户访问的商品id列表;广告的字段是广告的id,商店id;上下文的字段是类型id、时间;每个字段的特征编码成一个独热向量,从用户特征、用户行为、广告和上下文四个方面的独热向量分别表示为ZF,ZH,ZI,ZC;其中,用户历史记录行为 共有S个独热向量,S为用户可以点击的广告总数;

假如在第N次行为中点击了第i个商品,那么HN表示成:,

其中 表示嵌入向量,然后,建立一个映射函数,将高维稀疏向量降维为低维密集表示,特征向量化层的映射关系表示为:,

其中 是特征向量化层中HN对应的权重矩阵,d是嵌入向量的特征维数, 是用户第N次历史行为中点击第i个商品映射后的值,用户的历史行为 ;

用户特征,广告,上下文也都转换成独热向量ZF、ZI、ZC,ZF、ZI、ZC经过特征向量化层映射成低维稠密向量;

通过以上处理,得到了用户特征 、用户行为 、广告 和上下文 的特征向量;

根据上述定义,将问题形式化为:

目标是找到一个模型,输入特征组合x,x={ZF,ZH,ZI,ZC},在约束条件下,输出点击率 ,根据真实标签y的值使得模型损失最小化,f()为预测函数;

步骤S200进一步包括,

采用局部注意力机制来学习用户的兴趣表示;其中,在给定候选广告I的情况下,自适应地计算出用户的兴趣表示 ,表示为:,

其中g是注意力机制函数, 代表用户U的历史行为的嵌入向量列表,长度为N; 是广告I的词嵌入向量, 为对用户每个历史行为的权重; 是一个含有一层隐含层的MLP,输出权值,表示为:,

其中 和 是激活函数,

表示激活函数 的权重矩阵, 表示激活函数sigmoid, 为激活函数 中隐含层的神经单元数,d为嵌入向量的特征维数;

这样,不同的历史行为是根据候选广告加权,然后得到用户的兴趣表示 ;

步骤S300进一步包括:

S301:利用三层感知器来捕获用户和项目的高阶特征交互;

S302:利用因子分解机组件来捕获用户和项目的低阶特征交互;

S303:利用基于线性的全局注意力机制使所述用户和项目的高阶特征交互和低阶特征交互发挥不同的作用;

该方法不仅捕获特征之间的线性特征交互,而且将特征交互成对地建模为各自特征潜在向量的内积,在模型中,引入因子分解机来学习低阶特征交互,与多层感知器共享相同的输入,因子分解机的输出表示为:,

其中, 表示第i个特征的权重,

表示交叉特征 的权重, ,

表示特征i的嵌入向量,d表示特征嵌入向量的维度,通过多层感知器和因子分解机组件学习了高阶和低阶特征交互,考虑到高阶和低阶特征交互在点击率预测中的作用不同,从全局的角度,提出基于线性的全局注意力机制监测,基于线性的全局注意力机制是一个简单的线性模块,节省计算时间,同时,也取得了良好的效果,基于线性的全局注意力机制的输出表示为:,

其中 是低阶特征交互的权重, 是高阶特征交互的权重。

2.根据权利要求1所述的方法,步骤S301进一步包括:所述三层感知器是三层全连接层网络,包括输入层、隐层和输出层。

3.一种推荐系统,包括特征向量化层、兴趣提取层、特征提取层和预测层;其中,所述特征向量化层将原始数据转化为数值数据,将大规模稀疏特征转化为低维密集特征;

所述兴趣提取层获得用户的兴趣表示;

所述特征提取层分别提取用户和项目的高阶特征交互和低阶特征交互,基于线性的全局注意力机制监视高阶特征交互和低阶特征交互对于点击率预测的不同贡献;

所述预测层预测用户是否点击候选项,最终完成向用户推荐项目;

所述特征向量化层进一步包括,

用于采用独热编码对原始数据进行向量化的装置;

用于通过建立一个映射函数,将高维稀疏向量映射成低维稠密向量的装置;其中,该系统使用了四类特征:用户特征,用户行为,广告和上下文,用户特征的字段有性别、年龄;用户行为字段是用户访问的商品id列表;广告的字段是广告的id,商店id;上下文的字段是类型id、时间;每个字段的特征编码成一个独热向量,从用户特征、用户行为、广告和上下文四个方面的独热向量分别表示为ZF,ZH,ZI,ZC;其中,用户历史记录行为 共有S个独热向量,S为用户可以点击的广告总数;

假如在第N次行为中点击了第i个商品,那么HN表示成:,

其中 表示嵌入向量,然后,建立一个映射函数,将高维稀疏向量降维为低维密集表示,特征向量化层的映射关系表示为:,

其中 是特征向量化层中HN对应的权重矩阵,d是嵌入向量的特征维数, 是用户第N次历史行为中点击第i个商品映射后的值,用户的历史行为 ;

用户特征,广告,上下文也都转换成独热向量ZF、ZI、ZC,ZF、ZI、ZC经过特征向量化层映射成低维稠密向量;

通过以上处理,得到了用户特征 、用户行为 、广告 和上下文 的特征向量;

根据上述定义,将问题形式化为:

目标是找到一个模型,输入特征组合x,x={ZF,ZH,ZI,ZC},在约束条件下,输出点击率 ,根据真实标签y的值使得模型损失最小化,f()为预测函数;

所述兴趣提取层进一步包括,

用于采用局部注意力机制来学习用户的兴趣表示的装置;其中,在给定候选广告I的情况下,自适应地计算出用户的兴趣表示 ,表示为:,

其中g是注意力机制函数, 代表用户U的历史行为的嵌入向量列表,长度为N; 是广告I的词嵌入向量, 为对用户每个历史行为的权重; 是一个含有一层隐含层的MLP,输出权值,表示为:,

其中 和 是激活函数,

表示激活函数 的权重矩阵, 表示激活函数sigmoid, 为激活函数 中隐含层的神经单元数,d为嵌入向量的特征维数;

这样,不同的历史行为是根据候选广告加权,然后得到用户的兴趣表示 ;

所述特征提取层进一步包括:

用于利用三层感知器来捕获用户和项目的高阶特征交互的装置;

用于利用因子分解机组件来捕获用户和项目的低阶特征交互的装置;

用于利用基于线性的全局注意力机制使所述用户和项目的高阶特征交互和低阶特征交互发挥不同的作用的装置;

该系统不仅捕获特征之间的线性特征交互,而且将特征交互成对地建模为各自特征潜在向量的内积,在模型中,引入因子分解机来学习低阶特征交互,与多层感知器共享相同的输入,因子分解机的输出表示为:,

其中, 表示第i个特征的权重,

表示交叉特征 的权重, ,

表示特征i的嵌入向量,d表示特征嵌入向量的维度,通过多层感知器和因子分解机组件学习了高阶和低阶特征交互,考虑到高阶和低阶特征交互在点击率预测中的作用不同,从全局的角度,提出基于线性的全局注意力机制监测,基于线性的全局注意力机制是一个简单的线性模块,节省计算时间,同时,也取得了良好的效果,基于线性的全局注意力机制的输出表示为:,

其中 是低阶特征交互的权重, 是高阶特征交互的权重。

4.根据权利要求3所述的系统,其中,所述三层感知器是三层全连接层网络,包括输入层、隐层和输出层。