利索能及
我要发布
收藏
专利号: 2014103171609
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于Hadoop平台的深度包检测系统,其特征在于,所述系统包括网络爬虫部分和深度包检测部分,网络爬虫部分包括网络爬虫模块、文件解析模块、数据库,网络爬虫模块从互联网抓取页面,文件解析模块对网页进行分析得到统一资源定位符URL与网页分级内容的映射关系,根据抓取页面不断迭代更新数据库中的映射关系库;深度包检测部分包括数据包解析PA模块、流量分类TC模块、深度包检测DPI模块,数据包解析PA模块将原始数据解析成五元组流,输入流量分类TC模块,流量分类TC模块将输入的五元组流做业务流标记,生成特定业务流输入深度包检测DPI模块,深度包检测DPI模块将特定业务流转化成DPI事件,将DPI事件与映射关系库匹配,完成DPI事件统计,具体包括:数据采集器抓取网络原始数据流,存储到分布式存储系统HDFS;数据包解析PA模块读取HDFS中原始数据流,以数据包偏移量为健Key、数据包内容为值Value的键值对形式作为编程范式单元MapReduce的输入,结果输出以五元组为Key、五元组流和流特征统计为Value的形式,存储到HDFS中,将原始数据解析成五元组流,输入流量分类TC模块;流量分类TC模块读取HDFS中五元组流,以五元组为Key、五元组流为Value的键值对形式作为MapReduce的输入,结果输出以五元组/业务标记为Key、业务标记流为Value的形式,结果存储到HDFS中;深度包检测DPI模块读取HDFS中特定业务标记流,以五元组/业务标记为Key、特定业务流特征字段为Value的键值对形式作为MapReduce输入,结果输出以五元组/业务标记为Key、DPI事件为Value的形式,将特定业务流转化成DPI事件,将DPI事件与映射关系库匹配;将DPI事件与映射关系库匹配获得DPI统计结果,将DPI统计结果存储到数据库,以供查询;基于DPI事件完成对网络流量的深度数据挖掘。

2.一种基于Hadoop平台深度包检测方法,其特征在于,包括步骤:网络爬虫模块不断循环抓取特定网站网页文件,文件解析模块对网页文件进行分析,得到URL与网页分级内容的映射关系,存储到数据库,根据抓取页面不断迭代更新数据库中的映射关系库;数据包解析PA模块将原始数据解析成五元组流输入流量分类TC模块,流量分类TC模块将输入的五元组流做业务流标记,生成特定业务流输入深度包检测DPI模块,深度包检测DPI模块将特定业务流转化成DPI事件,将DPI事件与映射关系库匹配,完成DPI事件统计,具体包括:数据采集器抓取网络原始数据流,存储到分布式存储系统HDFS;数据包解析PA模块读取HDFS中原始数据流,以数据包偏移量为健Key、数据包内容为值Value的键值对形式作为编程范式单元MapReduce的输入,结果输出以五元组为Key、五元组流和流特征统计为Value的形式,存储到HDFS中,将原始数据解析成五元组流,输入流量分类TC模块;流量分类TC模块读取HDFS中五元组流,以五元组为Key、五元组流为Value的键值对形式作为MapReduce的输入,结果输出以五元组/业务标记为Key、业务标记流为Value的形式,结果存储到HDFS中;深度包检测DPI模块读取HDFS中特定业务标记流,以五元组/业务标记为Key、特定业务流特征字段为Value的键值对形式作为MapReduce输入,结果输出以五元组/业务标记为Key、DPI事件为Value的形式,将特定业务流转化成DPI事件,将DPI事件与映射关系库匹配;将DPI事件与映射关系库匹配获得DPI统计结果,将DPI统计结果存储到数据库,以供查询;基于DPI事件完成对网络流量的深度数据挖掘。