利索能及
我要发布
收藏
专利号: 2021103934605
申请人: 福州外语外贸学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种大数据挖掘方法,其特征在于,所述方法包括:步骤S100:获取与待挖掘数据库对接成功的数据库对接完成指令;步骤S200:根据获取的所述数据库对接完成指令从所述待挖掘数据库中提取待提取数据;步骤S300:基于预设的规则识别确定各待提取数据的数据列类型,其中,所述数据列类型包括数值型数据以及文本型数据;步骤S400:根据预设的第一特征类型提取模型提取对数值型数据或文本型数据的所述待提取数据作列特征向量提取,并基于各数据列类型采用与所述数据列类型对应的预先通过训练生成的矩阵数据识别模型对各列特征向量进行识别,并确定各待提取数据的数据标签;步骤S500:根据确定的各待提取数据的数据标签分别使用预设的大数据挖掘模型对各待提取数据作大数据挖掘;

其中,在步骤S400之前还包括:步骤S041:按照预设的规则抽取至少一个通过矩阵数据识别模型识别确定的数据标签;步骤S042:判断所述识别确定的数据标签是否准确;步骤S043:

当判断识别确定的数据标签不准确时,修改所述数据标签,并根据修改后的数据标签优化所述矩阵数据识别模型;在步骤S200之后还包括:步骤S201:根据待提取数据构造数据特征校验矩阵;步骤S202:针对构造好的所述数据特征校验矩阵中的每个四环,执行第一预设处理或第二预设处理,得到预设处理后的数据特征校验矩阵;步骤S203:判断所述预设处理后的数据特征校验矩阵中是否出现新的四环;其中,若所述预设处理后的数据特征校验矩阵中出现新的四环,则针对每个新的四环,返回执行第一预设处理或第二预设处理的步骤;若所述预设处理后的数据特征校验矩阵中没有出现新的四环,则将所述预设处理后的数据特征校验矩阵作为消四环处理后的数据特征校验矩阵;步骤S202中执行第一预设处理的步骤,具体包括:将该四环上的任意一个1改为0,将所述任意一个1所在的列中,除所述任意一个1的位置之外的任意一个0改为1;步骤S202中执行第二预设处理的步骤,具体包括:步骤S2011:判断该四环对应的两列中是否存在满足预设条件的0;步骤S2012:若存在,则将满足预设条件的任意一个0改为1,并将所述任意一个0所在的列中、位于该四环上的任意一个1改为0;步骤S2013:若不存在,则对该四环执行所述第一预设处理;其中,所述预设条件包括:所述0与左右相邻的两个1的间隔均不小于预设间隔范围的最小值;所述步骤S500之后,还包括:步骤S610:获取使用预设的大数据挖掘模型对各待提取数据作大数据挖掘之后得到的高价值目标数据;步骤S620:对所述高价值目标数据进行数据子集合拆分,得到目标子集合数据;步骤S630:将所述目标子集合数据与预设的元数据存储区中的标准元数据进行匹配,确定所述目标子集合数据对应的标准目标元数据;步骤S640:获取所述目标子集合数据对应的标准目标元数据信息和所目标子集合数据的实际属性信息;步骤S650:基于所述实际属性信息和所述标准目标元数据信息组成所述目标数据的组合数据信息,并存储所述组合数据信息。

2.一种基于权利要求1所述挖掘方法的大数据挖掘系统,其特征在于,所述系统包括:

对接完成指令获取模块,用于获取与待挖掘数据库对接成功的数据库对接完成指令;待提取数据提取模块,用于根据获取的所述数据库对接完成指令从所述待挖掘数据库中提取待提取数据;数据列类型识别模块,用于基于预设的规则识别确定各待提取数据的数据列类型,其中,所述数据列类型包括数值型数据以及文本型数据;数据标签确定模块,用于根据预设的第一特征类型提取模型提取对数值型数据或文本型数据的所述待提取数据作列特征向量提取,并基于各数据列类型采用与所述数据列类型对应的预先通过训练生成的矩阵数据识别模型对各列特征向量进行识别,并确定各待提取数据的数据标签;大数据挖掘模块,用于根据确定的各待提取数据的数据标签分别使用预设的大数据挖掘模型对各待提取数据作大数据挖掘。

3.根据权利要求2所述的大数据挖掘系统,其特征在于,所述系统还包括:抽取数据识别模块,用于按照预设的规则抽取至少一个通过矩阵数据识别模型识别确定的数据标签;

数据判断模块,用于判断所述识别确定的数据标签是否准确;数据标签优化模块,用于当判断识别确定的数据标签不准确时,修改所述数据标签,并根据修改后的数据标签优化所述矩阵数据识别模型。

4.根据权利要求2所述的大数据挖掘系统,其特征在于,所述系统还包括:特征校验矩阵构造模块,用于根据待提取数据构造数据特征校验矩阵;预设处理模块,用于针对构造好的所述数据特征校验矩阵中的每个四环,执行第一预设处理或第二预设处理,得到预设处理后的数据特征校验矩阵;消四环处理模块,用于判断所述预设处理后的数据特征校验矩阵中是否出现新的四环;其中,若所述预设处理后的数据特征校验矩阵中出现新的四环,则针对每个新的四环,返回执行第一预设处理或第二预设处理的步骤;若所述预设处理后的数据特征校验矩阵中没有出现新的四环,则将所述预设处理后的数据特征校验矩阵作为消四环处理后的数据特征校验矩阵。

5.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。

6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。