利索能及
我要发布
收藏
专利号: 2019105264117
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种大数据处理方法,其特征在于,所述大数据处理方法包括以下步骤:通过预置多层感知器神经网络模型集合中预先训练好的多层感知器神经网络模型,分别对数据记录表中的初始待推送数据进行分类,得到干扰数据集与非干扰数据集;

将所述非干扰数据集构造成样本数据矩阵Dn×m;

通过协方差公式,计算所述样本数据矩阵Dn×m的协方差矩阵Cm×m;

计算所述协方差矩阵Cm×m的m个特征值和对应的m个特征向量;

通过冒泡排序法对所述特征值和特征向量进行排序,并将所述排序后的特征值和特征向量映射到低维空间,得到降维数据集;

通过关联算法计算所述降维数据集中数据间的关联关系值,通过以下公式,计算所述关联关系值的权重,得到具有权重的降维数据集;

其中,Wij表示关联关系值的权重,Nij表示在j个数据分组中,数据组i中的数据之间的关联关系值,λ为权重调节系数,所述降维数据集包括多个数据分组。

2.如权利要求1所述的大数据处理方法,其特征在于,在所述通过预置多层感知器神经网络模型集合中预先训练好的各个多层感知器神经网络模型,分别对数据记录表中的初始待推送数据进行分类,得到干扰数据集与非干扰数据集的步骤之前,还包括以下步骤:依次遍历初始待推送数据数据记录表内的初始待推送数据,记录出现频率最高的初始待推送数据,并判断所述遍历到的初始待推送数据是否为异常数据;

若所述遍历到的初始待推送数据为异常数据,则对所述异常数据进行标记,得到标记数据;

采用所述出现频率最高的初始待推送数据替换所述标记数据,得到数据记录表。

3.如权利要求1所述的大数据处理方法,其特征在于,在所述通过关联算法计算所述降维数据集中数据间的关联关系值,通过以下公式,计算所述关联关系值的权重,得到具有权重的降维数据集的步骤之后,还包括以下步骤:基于最小二乘法构建初始最小二乘法数据推送模型;

采用所述具有权重的降维数据集,对初始待推送数据推送模型进行训练,得到最小二乘法数据推送模型。

4.如权利要求3所述的大数据处理方法,其特征在于,在所述采用所述具有权重的降维数据集,对初始待推送数据推送模型进行训练,得到最小二乘法数据推送模型的步骤之后,还包括以下步骤:根据预置配置文件中写入的定时任务类,判断当前是否存在定时推送数据的指令;

若存在定时推送数据的指令,则根据所述指令定时推送数据,并以页面的形式进行展示,若不存在定时推送数据的指令,则通过最小二乘法数据推送模型实时推送所述具有权重的降维数据集,并以页面的形式进行展示。

5.如权利要求4所述的大数据处理方法,其特征在于,在所述若存在定时推送数据的指令,则根据所述指令定时推送数据,并以页面的形式进行展示的步骤之后,还包括以下步骤:判断页面数据的利用率是否小于预设阈值;

若页面数据的利用率小于预设阈值,则通过关联算法计算所述降维数据集中数据间的关联关系值,通过以下公式,计算所述关联关系值的权重,得到具有权重的降维数据集,调节所述公式权重调节系数λ值的大小,直至所述页面数据的利用率大于或等于所述预设阈值。

6.如权利要求1所述的大数据处理方法,其特征在于,在所述通过预置多层感知器神经网络模型集合中预先训练好的各个多层感知器神经网络模型,分别对数据记录表中的初始待推送数据进行分类,得到干扰数据集与非干扰数据集的步骤之前,还包括以下步骤:根据初始待推送数据与数据记录表之间的预置映射关系,判断所述初始待推送数据是否与所述数据记录表相匹配;

若所述初始待推送数据与所述数据记录表相匹配,则将所述初始待推送数据保存至所述数据记录表。

7.如权利要求4所述的大数据处理方法,其特征在于,在所述通过最小二乘法数据推送模型实时推送所述具有权重的降维数据集,并以页面的形式进行展示的步骤之前,还包括以下步骤:判断当前是否存在所述具有权重的降维数据集的获取指令;

若当前存在所述具有权重的降维数据集的获取指令,则获取所述具有权重的降维数据集,并以页面的形式进行展示;

若当前不存在所述具有权重的降维数据集的获取指令,则根据预置配置文件中写入的定时任务类,判断当前是否存在定时推送数据的指令。

8.一种大数据处理装置,其特征在于,所述大数据处理装置包括:

分类模块,用于通过预置多层感知器神经网络模型集合中预先训练好的多层感知器神经网络模型,分别对数据记录表中的初始待推送数据进行分类,得到干扰数据集与非干扰数据集;

构造模块,用于将所述非干扰数据集构造成样本数据矩阵Dn×m;

第一计算模块,用于通过协方差公式,计算所述样本数据矩阵Dn×m的协方差矩阵Cm×m;

第二计算模块,用于计算所述协方差矩阵Cm×m的m个特征值和对应的m个特征向量;

排序模块,用于通过冒泡排序法对所述特征值和特征向量进行排序,并将所述排序后的特征值和特征向量映射到低维空间,得到降维数据集;

第三计算模块,用于通过关联算法计算所述降维数据集中数据间的关联关系值,通过以下公式,计算所述关联关系值的权重,得到具有权重的降维数据集;

其中,Wij表示关联关系值的权重,Nij表示在j个数据分组中,数据组i中的数据之间的关联关系值,λ为权重调节系数,所述降维数据集包括多个数据分组。

9.一种大数据处理设备,其特征在于,所述大数据处理设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的大数据处理程序,所述大数据处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的大数据处理方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有大数据处理程序,所述大数据处理程序被处理器执行时实现如权利要求1-7中任一项所述的大数据处理方法的步骤。