利索能及
我要发布
收藏
专利号: 2019113005078
申请人: 杭州连银科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-05-11
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种可热加载的分布式任务调度与服务监控系统,其特征在于,包括运行节点模块、服务器、数据采集模块、分析调度模块、日志汇总模块、数据库、监控预警模块和运维分析模块;

所述运行节点模块由若干个主机构成,用于存储分布式任务文本数据和定时执行分布式任务并将执行分布式任务所生成的日志文件发送至服务器内;所述数据采集模块用于采集运行节点的待执行的分布式任务的数量和运行节点数据;运行节点为主机;所述运行节点数据包括主机的通电时长、主机的剩余内存和主机定时执行分布式任务的执行时间、结束时间和未执行次数;所述数据采集模块将采集的待执行的分布式任务的数量和运行节点数据发送至服务器内;所述分析调度模块用于对运行节点的分布式任务进行优化和调度,具体步骤如下:步骤一:将运行节点标记为Yi,i=1……n;设定运行节点的分布式任务记为WjYi,j=

1……n;设定运行节点Yi的通电时长记为TYi;分布式任务的定时时间记为T1WjYi;分布式任务的执行时间记为T2WjYi;分布式任务的结束时间记为T3WjYi;运行节点的未执行次数记为PYi;运行节点的剩余内存记为NCYi;运行节点的分布式任务数量记为MYi;步骤二:利用求和公式 获取得到运行节点的执行延迟总时长

YCYi;利用求和公式 获取得到运行节点的任务执行总时长YXYi;

步骤三:利用公式 获取得到运行节点Yi的

调度值DYi;其中,e1、e2、e3、e4和e5均为预设比例系数,λ为误差修正值,取值为

0.992782142;

步骤四:设定调度界限阈值记为DA;

步骤五:当DA

步骤六:对优化运行节点进行优化调度,具体优化调度步骤如下:

S101:获取优化运行节点的分布式任务WjYi;统计分布式任务WjYi对应的总运行次数以及每次运行的执行时间和结束时间;设定总运行次数记为k,k=1、……、n;每次运行的执行时间记为T2kWjYi;结束时间记为T3kWjYi;

S102:利用公式 获取

得到优化运行节点对应的分布式任务的运行值YWjYi;其中,h1和h2为预设比例值;

S103:对分布式任务WjYi依照运行值由大到小进行排序;对运行值最大的分布式任务进行优化,获取运行节点Yi的调度值DYi;并由小到大依次进行排序,选取调度值DYi最小的运行节点Yi标记为待移动运行节点;

S104:优化运行节点将运行值最大的分布式任务WjYi移送至待移动运行节点;由待移动运行节点执行运行值最大的分布式任务WjYi;同时,优化运行节点的待执行的分布式任务的数量减一,待移动运行节点的分布式任务的数量增加一;

S105:然后对优化运行节点依照步骤三进行重新计算调度值DYi;当DA

2.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统,其特征在于,所述运行节点定时执行分布式任务并生成日志文件,将日志文件发送至服务器内;所述日志汇总模块用于获取服务器内的日志文件进行汇总,并对日志文件中的关键字进行定时判断,当关键字错误,则生成预警指令,日志汇总模块将汇总的日志文件和预警指令发送至运维分析模块。

3.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统,其特征在于,所述运维分析模块用于将日志文件和预警指令发送给运维人员进行展示查看,具体发送步骤如下:S1:运维分析模块通过服务器获取数据库内存储的运维人员的人员信息和运维值;人员信息包括姓名、入职时间和联系方式;

S2:设定运维人员记为Ri,i=1、……、n;运维值记为PRi;选取运维值最小的运维人员为选中发送人员;运维分析模块将日志文件和预警指令通过联系方式发送至运维人员的手机终端、电脑终端或平板终端上;同时记录发送时间T1Ri;

S3:运维人员通过手机终端、电脑终端或平板终端发送收到指令至运维分析模块;运维分析模块接收到收到指令,记录接收时间T2Ri;

S4:运维人员的接收总次数增加一;

其中,利用公式 获取得到运维值PRi;其中,RT为系统当

前时间;RZRi表示运维人员的入职时间;JSRi表示运维人员的接收总次数;d1、d2和d3均为预设比例系数固定值;运维分析模块将运维值发送至服务器。

4.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统,其特征在于,所述服务器将运维值、日志文件、运行节点的待执行的分布式任务的数量和运行节点数据以及调度值发送至数据库内进行存储;所述监控预警模块用于获取数据的表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间;当表空间大小、缓冲池大小、缓存大小、最大连接数以及剩余存储空间中任意一项小于对应的阈值,则生成预警指令;监控预警模块通过服务器将数据库预警指令发送至运维分析模块;运维分析模块将数据库预警指令发送至运维人员进行预警。

5.根据权利要求1所述的一种可热加载的分布式任务调度与服务监控系统,其特征在于,所述服务器内还包括热加载模块,所述热加载模块用于对运行节点内的分布式任务文本数据和定时执行分布式任务进行加载和替换最新的分布式任务文本数据和定时执行分布式任务。