欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 202410317649X
申请人: 东莞云付网络科技有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种集群文件客户端多核并发负载实现方法,其特征在于,包括以下步骤:

步骤S1:获取集群文件客户端任务数据;对集群文件客户端任务数据进行任务拆分,生成子任务排序数据;对集群文件客户端进行可用资源分析,生成客户端可用资源数据;根据客户端可用资源数据对子任务排序数据进行虚拟化超细粒度任务划分,生成超细粒度虚拟任务列表数据;

步骤S2:对超细粒度虚拟任务列表数据进行类型判断规则引擎构建,生成任务类型判断规则引擎;通过任务类型判断规则引擎对超细粒度虚拟任务列表数据进行优先级排序,生成紧急任务优先级排序数据;对紧急任务优先级排序数据进行智能缓存任务调度,生成多核并发任务调度结果数据;

步骤S3:对多核并发任务调度结果数据进行高阶异步消息通信,生成异步消息通信数据;对异步消息通信数据进行任务解耦,生成异步消息解耦数据;对异步消息解耦数据进行非阻塞通信,生成异步消息通信队列;

步骤S4:对异步消息通信队列进行通信并行管道数据流传递,生成异步并行传递信息数据;对异步并行传递信息数据进行性能瓶颈分析,生成性能瓶颈分析数据;通过性能瓶颈分析数据对异步并行传递信息数据进行负载调控,生成多核并发负载调整数据。

2.根据权利要求1所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S1包括以下步骤:步骤S11:获取集群文件客户端任务数据;

步骤S12:对集群文件客户端任务数据进行任务数据流关系分析,得到集群文件客户端关系数据;基于集群文件客户端关系数据进行任务拓扑结构构建,生成初始任务拓扑结构数据;

步骤S13:对初始任务拓扑结构数据进行任务拆分,生成子任务序列数据;对子任务序列数据进行任务排序,生成子任务排序数据;利用初始任务拓扑结构数据对集群文件客户端进行可用资源分析,生成客户端可用资源数据;

步骤S14:根据客户端可用资源数据对子任务排序数据进行计算资源映射,生成子任务资源映射数据;对子任务资源映射数据进行资源表分配,生成任务‑资源映射表;基于任务资源映射表对子任务资源映射数据进行虚拟化超细粒度任务划分,生成超细粒度虚拟任务列表数据。

3.根据权利要求1所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S2包括以下步骤:步骤S21:对超细粒度虚拟任务列表数据进行并发任务特征提取,生成并发任务特征提取数据,其中并发任务特征提取数据包括任务类型数据、任务优先级数据和任务依赖关系数据;

步骤S22:基于并发任务特征提取数据进行类型判断规则引擎构建,生成任务类型判断规则引擎;通过任务类型判断规则引擎对超细粒度虚拟任务列表数据进行分类和优先级判断,生成集群文件任务判断数据,其中集群文件任务判断数据包括任务密集型判断数据和IO密集型判断数据;

步骤S23:根据任务紧急权重分析公式对任务密集型判断数据和IO密集型判断数据进行任务紧急权重计算,得到任务紧急权重;利用任务紧急权重对任务密集型判断数据和IO密集型判断数据进行优先级排序,生成紧急任务优先级排序数据;

步骤S24:对紧急任务优先级排序数据进行智能缓存策略制定,生成多核任务智能缓存策略;根据多核任务智能缓存策略对紧急任务优先级排序数据进行任务调度,生成多核并发任务调度结果数据。

4.根据权利要求3所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S23中的任务紧急权重分析公式如下所示:式中,U表示为任务紧急权重,P表示为任务的优先级系数,R表示为任务的资源需求系数,E表示为任务的预期效率,T表示为任务的截止时间,C表示为任务的计算量,D表示为任务的数据量,M表示为任务密集型判断数据,I表示为IO密集型判断数据,x表示为输入变量。

5.根据权利要求3所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S24包括以下步骤:步骤S241:对紧急任务优先级排序数据进行任务缓存访问特征分析,生成任务访问特征数据,其中任务访问特征数据包括文件大小数据、访问频率数据和最近访问时间数据;将文件大小数据、访问频率数据和最近访问时间数据导入至预设的深度强化学习模型中进行学习环境建模,生成强化学习环境模型;

步骤S242:将任务访问特征数据进行数据集划分,生成模型训练集和模型测试集;利用模型训练集对强化学习环境模型进行模型训练,生成并发吞吐量训练模型;通过模型测试集对并发吞吐量训练模型进行模型测试,生成并发吞吐量预测模型;

步骤S243:将任务访问特征数据导入中并发吞吐量预测,生成并发吞吐量预测数据;将并发吞吐量预测数据和预设的吞吐量阈值范围进行对比,当并发吞吐量预测数据大于预设的吞吐量阈值范围时,则生成第一任务缓存策略;当并发吞吐量预测数据处于预设的吞吐量阈值范围内时,则生成第二任务缓存策略;当并发吞吐量预测数据小于预设的吞吐量阈值范围时,则生成第三任务缓存策略;

步骤S244:确认为第一任务缓存策略时,则对紧急任务优先级排序数据进行缓存容量增加,生成缓存容量增加数据;利用缓存容量增加数据对紧急任务优先级排序数据进行高频缓存优先,生成第一任务缓存增加数据;

步骤S245:确认为第二任务缓存策略时,则对紧急任务优先级排序数据进行缓存周期分析,生成紧急任务优先级缓存周期数据;利用LRU算法对紧急任务优先级缓存周期数据进行定期缓存清理,生成第二任务缓存清理数据;

步骤S246:确认为第三任务缓存策略时,则对紧急任务优先级排序数据进行优先级任务访问限制,生成紧急任务优先级访问限制数据;根据紧急任务优先级访问限制数据对紧急任务优先级排序数据进行缓存预取,生成第三任务缓存限制数据;

步骤S247:将第一任务缓存增加数据、第二任务缓存清理数据和第三任务缓存限制数据进行缓存策略整合,生成多核任务智能缓存策略;根据多核任务智能缓存策略对紧急任务优先级排序数据进行任务调度,生成多核并发任务调度结果数据。

6.根据权利要求1所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S3包括以下步骤:步骤S31:对多核并发任务调度结果数据进行高阶异步消息传递框架设置,生成高阶异步消息传递框架,其中高阶异步消息传递框架包含消息生产者节点和消息消费者节点;

步骤S32:将多核并发任务调度结果数据传输至消息生产者节点中进行任务消息传递,生成多核并发任务传递数据;通过API调用对多核并发任务传递数据进行异步消息通信,生成异步消息通信数据;

步骤S33:利用消息消费者节点对异步消息通信数据进行异步消息处理,生成异步消息处理数据;

步骤S34:将异步消息处理数据和多核并发任务调度结果数据进行任务解耦,生成异步消息解耦数据;通过消息生产者节点和消息消费者节点对异步消息解耦数据进行非阻塞通信,生成异步消息通信队列。

7.根据权利要求6所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S33包括以下步骤:步骤S331:利用消息消费者节点对异步消息通信数据进行消息接收,得到异步消息通信接收数据;对异步消息通信接收数据进行数据内容解析,生成消息内容解析数据;

步骤S332:对消息内容解析数据进行数据清洗,生成消息内容清洗数据;对消息内容清洗数据进行数据格式转换,生成消息内容格式转换数据;通过最大‑最小标准化方法对消息内容格式转换数据进行数据标准化,生成标准消息内容数据;

步骤S333:基于标准消息内容数据对集群文件系统进行系统状态更新,生成消息内容状态更新数据;根据消息内容状态更新数据对标准消息内容数据进行持久化存储,生成消息内容存储数据;

步骤S334:对消息内容存储数据进行异步事件触发,生成消息内容触发事件;根据消息内容触发事件对集群文件系统进行消息处理通知,从而生成异步消息处理数据。

8.根据权利要求1所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S4包括以下步骤:步骤S41:对异步消息通信队列进行通信并行管道构建,生成通信并行管道;利用通信并行管道对异步消息通信队列进行数据流传递,生成异步并行传递信息数据;

步骤S42:对异步并行传递信息数据进行系统性能监控,得到系统性能监控数据;通过系统性能监控数据对异步并行传递信息数据进行监控时间周期调整,生成监控时间周期数据;根据监控时间周期数据对异步并行传递信息数据进行历史数据收集,得到历史传递信息数据;

步骤S43:对历史传递信息数据进行性能瓶颈分析,生成性能瓶颈分析数据;通过性能瓶颈分析数据对异步并行传递信息数据进行负载调控,生成多核并发负载调整数据。

9.根据权利要求8所述的集群文件客户端多核并发负载实现方法,其特征在于,步骤S41包括以下步骤:步骤S411:对异步消息通信队列进行通信处理过程分析,生成异步消息通信处理过程数据;根据异步消息通信处理过程数据进行管道过程划分,生成通信并行管道;

步骤S412:基于通信并行管道对异步消息通信处理过程数据进行并行处理单元分配,生成异步消息并行任务分配方案;

步骤S413:根据异步消息并行任务分配方案对管道阶段划分图进行并行处理单元实现,生成并行处理单元;通过并行处理单元并基于异步消息并行任务分配方案对异步消息通信队列进行逻辑处理,生成异步消息逻辑数据;

步骤S414:对异步消息逻辑数据进行数据流传递,生成异步消息逻辑处理数据流;将异步消息逻辑处理数据流进行处理结果合并,生成异步并行传递信息数据。

10.一种集群文件系统,其特征在于,用于执行如权利要求1所述的集群文件客户端多核并发负载实现方法,该集群文件系统包括:任务划分模块,用于获取集群文件客户端任务数据;对集群文件客户端任务数据进行任务拆分,生成子任务排序数据;对集群文件客户端进行可用资源分析,生成客户端可用资源数据;根据客户端可用资源数据对子任务排序数据进行虚拟化超细粒度任务划分,生成超细粒度虚拟任务列表数据;

判断引擎模块,用于对超细粒度虚拟任务列表数据进行类型判断规则引擎构建,生成任务类型判断规则引擎;通过任务类型判断规则引擎对超细粒度虚拟任务列表数据进行优先级排序,生成紧急任务优先级排序数据;对紧急任务优先级排序数据进行智能缓存任务调度,生成多核并发任务调度结果数据;

异步通信模块,用于对多核并发任务调度结果数据进行高阶异步消息通信,生成异步消息通信数据;对异步消息通信数据进行任务解耦,生成异步消息解耦数据;对异步消息解耦数据进行非阻塞通信,生成异步消息通信队列;

负载调控模块,用于对异步消息通信队列进行通信并行管道数据流传递,生成异步并行传递信息数据;对异步并行传递信息数据进行性能瓶颈分析,生成性能瓶颈分析数据;通过性能瓶颈分析数据对异步并行传递信息数据进行负载调控,生成多核并发负载调整数据。