利索能及
我要发布
收藏
专利号: 2019102085187
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卡方检验和LDOF算法的入侵检测方法,其特征在于,所述入侵检测方法基于Spark平台运行;所述入侵检测方法包括:使用卡方检验算法对原始入侵检测数据集进行特征选择;

使用卡方检验算法对原始入侵检测数据集进行特征选择的过程为:原始入侵检测数据集被加载为RDD并分为多个数据块,每个数据块对应一个分区;

分别计算每个分区的卡方值,筛选出排在前m的卡方值对应的数据块作为原始入侵检测数据集的特征,进而得到特征选择后的入侵检测数据集;其中,m为正整数;

对特征选择后的入侵检测数据集进行归一化处理;采用LDOF算法寻找归一化的入侵检测数据集中n个最大的LDOF因子,这n个LDOF因子对应的n个数据对象被判定为异常数据;其中,n为正整数;采用LDOF算法对归一化的入侵检测数据集并行化处理的过程为:将特征选择后的入侵检测数据集复制成两份,一份为训练集,另一份为测试集;

将训练集加载到RDD中的训练数据块RDDtrain,作为训练数据对象;

将测试集加载到RDD的测试数据块RDDtest,作为测试数据对象;

利用broadcast广播算子将训练数据对象和K值广播到Spark平台集群中各个节点中;

遍历测试数据对象,循环计算测试数据对象到训练数据对象的距离,得到每条数据对象的K近邻并将其统计排序;

根据每条数据对象的K近邻,计算每条数据对象的LDOF因子;

根据top‑n原则,输出最大的n个LDOF因子,这n个LDOF因子对应的n个数据对象被判定为异常数据。

2.如权利要求1所述的一种基于卡方检验和LDOF算法的入侵检测方法,其特征在于,使用min‑max标准化方法对特征选择后的入侵检测数据集进行归一化处理。

3.一种基于卡方检验和LDOF算法的入侵检测系统,其特征在于,所述入侵检测系统基于Spark框架构建;所述入侵检测系统,包括:特征选择模块,其用于使用卡方检验算法对原始入侵检测数据集进行特征选择;

归一化模块,其用于对特征选择后的入侵检测数据集进行归一化处理;

LDOF因子计算模块,其用于采用LDOF算法寻找归一化的入侵检测数据集中n个最大的LDOF因子,这n个LDOF因子对应的n个数据对象被判定为异常数据;其中,n为正整数;采用LDOF算法对归一化的入侵检测数据集并行化处理的过程为:将特征选择后的入侵检测数据集复制成两份,一份为训练集,另一份为测试集;

将训练集加载到RDD中的训练数据块RDDtrain,作为训练数据对象;

将测试集加载到RDD的测试数据块RDDtest,作为测试数据对象;

利用broadcast广播算子将训练数据对象和K值广播到Spark平台集群中各个节点中;

遍历测试数据对象,循环计算测试数据对象到训练数据对象的距离,得到每条数据对象的K近邻并将其统计排序;

根据每条数据对象的K近邻,计算每条数据对象的LDOF因子;

根据top‑n原则,输出最大的n个LDOF因子,这n个LDOF因子对应的n个数据对象被判定为异常数据。

4.如权利要求3所述的一种基于卡方检验和LDOF算法的入侵检测系统,其特征在于,所述特征选择模块,包括:

原始数据集加载模块,其用于原始入侵检测数据集被加载为RDD并分为多个数据块,每个数据块对应一个分区;

卡方值筛选模块,其用于分别计算每个分区的卡方值,筛选出排在前m的卡方值对应的数据块作为原始入侵检测数据集的特征,进而得到特征选择后的入侵检测数据集;其中,m为正整数。

5.如权利要求3所述的一种基于卡方检验和LDOF算法的入侵检测系统,其特征在于,在所述归一化模块中,使用min‑max标准化方法对特征选择后的入侵检测数据集进行归一化处理。

6.如权利要求4所述的一种基于卡方检验和LDOF算法的入侵检测系统,其特征在于,所述LDOF因子计算模块,包括:

数据集复制模块,其用于将特征选择后的入侵检测数据集复制成两份,一份为训练集,另一份为测试集;

训练集及测试集加载模块,其用于将训练集加载到RDD中的训练数据块RDDtrain,作为训练数据对象;将测试集加载到RDD的测试数据块RDDtest,作为测试数据对象;

广播模块,其用于利用broadcast广播算子将训练数据对象和K值广播到Spark平台集群中各个节点中;

K近邻计算模块,其用于遍历测试数据对象,循环计算测试数据对象到训练数据对象的距离,得到每条数据对象的K近邻并将其统计排序;

LDOF因子计算模块,其用于根据每条数据对象的K近邻,计算每条数据对象的LDOF因子;

异常数据判定模块,其用于根据top‑n原则,输出最大的n个LDOF因子,这n个LDOF因子对应的n个数据对象被判定为异常数据。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑2中任一项所述的基于卡方检验和LDOF算法的入侵检测方法中的步骤。

8.一种Spark平台,包括分布式服务器集群,每个分布式服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑2中任一项所述的基于卡方检验和LDOF算法的入侵检测方法中的步骤。