1.一种基于数据存取和大数据分类的信息分发方法,其特征在于,包括:采集用户信息数据,包括用户需求、第一用户身份信息、第二用户身份信息以及用户历史信息记录;
存储用户信息数据到数据库中,并实时对各数据进行检索和更新;
对所述用户信息数据识别及分类,读取所述数据库中所述第一用户身份信息和所述第二用户身份信息,对用户进行层级分类,获取层级分类信息;
将所述数据库中的信息输入第一信息相似度分析模型和第二信息相似度分析模型,分别获得用户相似度矩阵和兴趣相似度矩阵;将所述用户相似度矩阵和所述兴趣相似度矩阵分别输入至第一信息分发模型和第二信息分发模型,获得第一匹配信息集合和第二匹配信息集合;
将所述第一匹配信息集合和所述第二匹配信息集合组合成综合匹配信息集合,并利用用户相似度矩阵和兴趣相似度矩阵进行综合权重计算,获得所述综合匹配信息集合中各匹配信息的分发权重值;将所述综合匹配信息集合中各匹配信息按照分发权重值进行排序;
在排序完成的所述综合匹配信息集合中选取若干个匹配信息对用户进行信息的精准分发,同时收集用户获得信息后的反馈,对所述数据库的各数据信息进行更新。
2.根据权利要求1所述的一种基于数据存取和大数据分类的信息分发方法,其特征在于,所述用户信息数据的存储采用分布式存储技术,具体实现过程为:将所述用户信息数据划分成多个数据块;将所述数据块分配到多个存储节点上;在所述多个存储节点上保存所述数据块的副本,以防单个节点发生故障时数据丢失;采用一致性协议确保在所述多个存储节点上保存的所述数据块保持一致,并确保所有副本对应所述数据块的同步;通过负载均衡机制分配数据请求,防止某一节点过载;同步对所述数据块的更新操作到所有相关的存储节点。
3.根据权利要求1所述的一种基于数据存取和大数据分类的信息分发方法,其特征在于,读取所述数据库中所述第一用户身份信息和所述第二用户身份信息,对用户进行层级分类;其中,所述第一用户身份信息是用户的角色,所述第二用户身份信息是用户具有的权限;
所述层级分类的具体过程为:
从数据库中提取每个用户的所述第一用户身份信息和所述第二用户身份信息,得到;假设用户信息特征矩阵为 ,标签矩阵为 ,其中用户信息特征指用户的角色特征和用户具有的权限特征,标签矩阵中包含层级标签;
使用决策树分类算法对用户进行分类,公式为 ,其中,为预测的层级类别, 是给定特征 时,用户属于某一层级类别 的概率;
对每个用户 分类得到层级标签 ,公式为 ,其中, 为决
策树分类器;
最后,将每个用户的所述层级标签 转换为层级类别分数 ,并将所述层级类别分数保存在所述数据库中。
4.根据权利要求1所述的一种基于数据存取和大数据分类的信息分发方法,其特征在于,所述第一信息相似度分析模型描述用户之间的相似度;所述第二信息相似度分析模型描述需求信息之间的相似度;所述第一信息相似度分析模型和所述第二信息相似度分析模型都使用余弦相似度分别计算用户相似度矩阵和兴趣相似度矩阵;
其中,用户相似度矩阵 的计算公式为:
;
其中,和 分别是用户 和 的特征向量;
兴趣相似度矩阵 的计算公式为:
;
其中, 和 分别是用户 和 的特征向量;
将所述用户相似度矩阵 和所述数据库的数据输入至所述第一信息分发模型,获得第一匹配信息集合;将所述兴趣相似度矩阵 和所述数据库的数据输入至所述第二信息分发模型,获得第二匹配信息集合;
其中,在所述第一信息分发模型中,首先,计算用户 对需求 的需求评分 ,所述需求评分 包括实际评分和预测评分;所述实际评分为用户对所述需求 给出的真实打分;
所述预测评分的公式为:
;
其中,预测评分 使用了相似用户的需求评分 来预测; 是与用户 相似的用户集合, 是用户 和用户 之间的用户相似度矩阵;
其次,利用所述需求评分 计算需求预测评分 ;
然后,根据需求预测评分 对所述用户需求进行筛选,作为第一匹配信息集合 ;
在所述第二信息分发模型中,首先,计算用户 对内容 的兴趣度评分 ,所述兴趣度评分 基于内容特征和用户的偏好特征来计算:;
其中,是用户 的特征向量;是内容 的特征向量;
其次,利用兴趣度评分 计算内容相关评分 ;
然后,根据内容相关评分 对所述用户需求进行筛选,作为第二匹配信息集合 。
5.根据权利要求4所述的一种基于数据存取和大数据分类的信息分发方法,其特征在于,将所述第一匹配信息集合和所述第二匹配信息集合组合成综合匹配信息集合,并将所述用户相似度矩阵和所述兴趣相似度矩阵进行综合权重计算,获得所述综合匹配信息集合中各匹配信息的分发权重值 ,其中, 是综合匹配信息集合中第 个信息的分发权重值; 是每个用户对应的层级类别分数; 是基于用户相似度矩阵计算的用户权重矩阵; 是基于兴趣相似度矩阵计算的兴趣权重矩阵;
然后,基于每个用户对应的各匹配信息的分发权重值 将所述综合匹配信息集合中的各匹配信息进行排序。
6.一种基于数据存取和大数据分类的信息分发系统,其特征在于,包括:用户信息数据采集单元,所述用户信息数据包括用户需求、第一用户身份信息、第二用户身份信息以及用户历史信息记录;
用户信息数据存储单元,将所述用户信息数据到数据库中,并实时对各数据进行检索和更新;
用户信息数据识别及分类单元,读取所述数据库中所述第一用户身份信息和所述第二用户身份信息,对用户进行层级分类;
相似度计算单元,将所述数据库中的信息输入第一信息相似度分析模型和第二信息相似度分析模型,分别获得用户相似度矩阵和兴趣相似度矩阵;
匹配信息采集单元,将所述用户相似度矩阵和所述兴趣相似度矩阵分别输入至第一信息分发模型和第二信息分发模型,获得第一匹配信息集合和第二匹配信息集合;
权重计算单元,将所述第一匹配信息集合和所述第二匹配信息集合组合成综合匹配信息集合,利用用户相似度矩阵和兴趣相似度矩阵进行综合权重计算,获得所述综合匹配信息集合中各匹配信息的分发权重值;将所述综合匹配信息集合中各匹配信息按照分发权重值进行排序;
信息分发单元,在排序完成的所述综合匹配信息集合中选取若干个匹配信息对用户进行信息的精准分发,同时收集用户获得信息后的反馈,对所述数据库的各数据信息进行更新。
7.根据权利要求6所述的一种基于数据存取和大数据分类的信息分发系统,其特征在于,所述第一用户身份信息是用户的角色,所述第二用户身份信息是用户具有的权限;所述层级分类的具体过程为:假设用户信息特征矩阵为 ,标签矩阵为 ,其中用户信息特征指用户的角色特征和用户具有的权限特征,标签矩阵中包含层级标签;
使用决策树分类算法对用户进行分类, ,其中, 为预测的层级类别, 是给定特征 时,用户属于某一层级类别 的概率;则对每个用户 分类得到层级标签 ,其中, 为决策树分类器;最后,将每个用户的所述层级标签 转换为层级类别分数 ,并将所述层级类别分数保存在所述数据库中。
8.根据权利要求6所述的一种基于数据存取和大数据分类的信息分发系统,其特征在于,所述用户相似度矩阵 的计算公式为 ,其中,和 分别是用户和 的特征向量;
所述兴趣相似度矩阵 的计算公式为 ,其中, 和 分别是用户 和 的特征向量。
9.根据权利要求6所述的一种基于数据存取和大数据分类的信息分发系统,其特征在于,所述第一匹配信息集合的获取过程为:首先,计算用户 对需求 的需求评分 ,所述需求评分 包括实际评分和预测评分;所述实际评分为用户对所述需求 给出的真实打分;所述预测评分的公式为 ,其中,预测评分 使用了相似用户的需求评分 来预测; 是与用户 相似的用户集合, 是用户 和用户 之间的用户相似度矩阵;其次,利用所述需求评分 计算需求预测评分;然后,根据需求预测评分 对所述用户需求进行筛选,作为第一匹配信息集合 ;
所述第二匹配信息集合的获取过程为:首先,计算用户 对内容 的兴趣度评分 ,所述兴趣度评分 基于内容特征和用户的偏好特征来计算: ,其中,是用户 的特征向量; 是内容 的特征向量;其次,利用兴趣度评分 计算内容相关评分,其中, 是用户 和用户 之间的兴趣相似度矩阵;然后,根据内容相关评分 对所述用户需求进行筛选,作为第二匹配信息集合 。
10.根据权利要求9所述的一种基于数据存取和大数据分类的信息分发系统,其特征在于,将第一匹配信息集合 和所述第二匹配信息 组合成综合匹配信息集合 ,并将用户相似度矩阵和兴趣相似度矩阵进行综合权重计算,获得所述综合匹配信息集合中各匹配信息的分发权重值 ,其中, 是综合匹配信息集合中第 个信息的分发权重值;是每个用户对应的层级类别分数; 是基于用户相似度矩阵计算的用户权重矩阵; 是基于兴趣相似度矩阵计算的兴趣权重矩阵;然后,基于每个用户对应的各匹配信息的分发权重值 将所述综合匹配信息集合中的各匹配信息进行排序。