利索能及
我要发布
收藏
专利号: 2024103814490
申请人: 海识(烟台)信息科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-11-28
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于分布式架构的大数据管理系统,其特征在于,包括以下部分:

数据采集组件、目标设立组件、数据处理组件和数据库;

所述数据采集组件,用于采集相关数据并存入所述数据库中,所述数据采集组件通过数据传输的方式与所述数据库连接;

所述目标设立组件,用于设立数据处理目标,并发送给所述数据处理组件,所述目标设立组件通过数据传输的方式与所述数据处理组件连接;

所述数据处理组件包括任务生成单元、规则设定单元、任务分配单元、任务执行单元、任务监测单元和线程管理单元;所述任务分配单元为每个数据处理任务构建一个任务表,更新每个周期数据处理任务的优先级,计算不同数据处理任务在不同任务执行节点的延迟和能耗,得到数据处理任务在不同任务执行节点的处理成本,并筛选出符合处理成本阈值的任务执行节点中最先执行的任务执行节点,发送给所述任务执行单元;所述任务执行单元将数据处理任务分配给对应的任务执行节点进行数据处理,得出执行状态和执行结果,实现对数据处理任务的分布式调用支撑;所述任务监测单元将数据处理任务或数据处理触发条件传入数据处理线程,获取根据当前数据处理任务或数据处理触发条件进行数据处理的实时进展;所述线程管理单元用于进行线程性能参数匹配,从第一设定线程进行线程性能参数匹配后确定出符合性能要求的数据处理子线程,捕捉合格的数据处理子线程,及时中断不合格的数据处理子程序,并通知所述任务分配单元,所述线程管理单元将数据处理的实时进展发送给所述任务监测单元;

所述数据处理组件中各单元之间采用数据传输的方式连接,所述数据处理组件将产生的数据通过数据传输的方式存入所述数据库;

所述数据库,用于存储大数据和数据管理过程产生的数据,并将大数据通过数据传输的方式发送给所述数据处理组件。

2.一种基于分布式架构的大数据管理方法,应用于权利要求1所述的一种基于分布式架构的大数据管理系统,其特征在于,包括以下步骤:S1.设立数据处理目标和数据处理触发条件,生成数据处理任务,任务分配单元为每个数据处理任务构建任务表,周期性更新数据处理任务的优先级,所述优先级的具体计算公式为:其中, 表示第i个数据处理任务在第u个周期的优先级;θ表示优先系数;δ表示相关系数;counti表示第i个数据处理任务在历史周期中创建的次数;t表示当前时间;t0表示数据处理任务的创建时间;suci表示第i个数据处理任务在历史周期中成功执行的次数; 表示上一周期第i个数据处理任务的优先级;

S2.任务分配单元计算不同数据处理任务在不同任务执行节点的延迟和能耗,所述延迟和能耗的具体计算公式如下:Eij=pij×Tij

其中,Tij表示第i个数据处理任务在第j个任务执行节点的延迟;vij表示第i个数据处理任务传输到第j个任务执行节点的传输速率量比;di表示任务量的大小;Z表示处理单位数据所需的CPU周期数; 和 分别表示第i个数据处理任务传输到第j个任务执行节点的上行链路速率和下行链路速率;f表示第j个任务执行节点的数据处理能力; 表示第j个任务执行节点返回任务执行结果的数据量;Eij表示第i个数据处理任务在第j个任务执行节点产生的能耗;pij表示第j个任务执行节点处理第i个数据处理任务的功率;

根据数据处理任务在不同任务执行节点的延迟和能耗计算数据处理任务在不同任务执行节点的处理成本:Cij=αTij+(1‑α)Eij

其中,α和1‑α分别表示时间成本和能耗成本的权重, 选取最优任务执行节点执行对应的数据处理任务,监测数据处理子线。

3.如权利要求2所述的一种基于分布式架构的大数据管理方法,其特征在于,所述步骤S2包括:任务分配单元计算不同数据处理任务在不同任务执行节点的延迟和能耗,得到数据处理任务在不同任务执行节点的处理成本,并筛选出符合处理成本阈值的任务执行节点中最先执行的任务执行节点。

4.如权利要求2所述的一种基于分布式架构的大数据管理方法,其特征在于,所述步骤S2包括:线程管理单元进行线程性能参数匹配,从第一设定线程进行线程性能参数匹配后确定出符合性能要求的数据处理子线程,并捕捉出合格的数据处理子线程,及时中断不合格的数据处理子程序。