利索能及
我要发布
收藏
专利号: 2019100424942
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种kafka集群的topic数据的监控方法,其特征在于,包括:访问所有kafka集群,获取所有所述kafka集群中的topic数据;

将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储,并以图表的形式显示所述topic数据;

对最新存储的所述topic数据进行监测,当最新存储的所述topic数据达到告警阈值,发出告警提示。

2.如权利要求1所述的kafka集群的topic数据的监控方法,其特征在于,所述访问所有kafka集群,获取所有所述kafka集群中的topic数据,包括:从预设的配置中心调取所有所述kafka集群的访问地址和取数时间粒度;

每间隔一所述取数时间粒度,通过所述kafka集群的访问地址访问一次所述kafka集群;

通过每一所述kafka集群自带的管理命令获取每一所述kafka集群中的所述topic数据。

3.如权利要求1所述的kafka集群的topic数据的监控方法,其特征在于,所述将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储,并以图表的形式显示所述topic数据,包括:提取每一所述kafka集群的唯一标识;

用所述kafka集群的唯一标识对相应的topic数据进行标注;

建立kafka集群数据表,以所述kafka集群的唯一标识对所述kafka集群数据表命名;

将标注好的topic数据分别存储到对应的所述kafka集群数据表中;

读取所述kafka集群数据表中topic数据,以图表的形式显示topic数据。

4.如权利要求3所述的kafka集群的topic数据的监控方法,其特征在于,所述对最新存储的所述topic数据进行监测,当最新存储的所述topic数据达到告警阈值,发出告警提示,包括:读取最新存储至所述kafka集群数据表中的topic数据;

获取预设的告警阈值;

将所述topic数据与所述告警阈值进行比较;

若所述topic数据达到所述告警阈值,则通过向值班人员发送告警邮件进行告警提示。

5.如权利要求2所述的kafka集群的topic数据的监控方法,其特征在于,所述通过每一所述kafka集群自带的管理命令获取每一所述kafka集群中的所述topic数据,包括:使用所述kafka集群自带的管理命令获取所述topic的最新数据量大小;

查看缓存文件中是否存在所述topic上一次的数据量大小,若存在,则计算数据变化量,计算公式为:logchangesize=logsize-prelogsize,其中logchangesize为数据变化量,logsize为最新数据量大小,prelogsize为上一次的数据量大小;

将所述数据变化量和所述最新数据量大小输出,并将最新数据量大小更新作为topic上一次的数据量大小,留待下次计算使用;

使用开源KafkaOffsetMonitor,收集所述topic的每个消费者consumer的消费位置consumeroffset和消费延时lag,所述数据变化量、所述最新数据量大小、所述消费位置consumeroffset和所述消费延时则为获取的所述topic数据。

6.如权利要求4所述的kafka集群的topic数据的监控方法,其特征在于,所述将所述topic数据与所述告警阈值进行比较,包括:提取所述topic数据中的数据变化量和消费延时lag,提取所述告警阈值中的数据变化量告警阈值和消费延时告警阈值;

将所述数据变化量与所述数据变化量阈值进行比较,当所述数据变化量低于或等于所述数据变化量告警阈值,则所述数据变化量达到所述数据变化量告警阈值,即所述topic数据达到所述告警阈值;

将所述消费延时与是所述消费延时告警阈值进行比较,当所述消费延时超过所述消费延时告警阈值,则所述消费延时达到所述消费延时告警阈值,即所述topic数据达到所述告警阈值。

7.如权利要求6所述的kafka集群的topic数据的监控方法,其特征在于,所述若所述topic数据达到所述告警阈值,则通过向值班人员发送告警邮件进行告警提示,包括:若所述数据变化量达到所述数据变化量告警阈值,或所述消费延时达到所述消费延时告警阈值,则向值班人员发送一级告警邮件;

若所述数据变化量达到所述数据变化量告警阈值,且所述消费延时达到所述消费延时告警阈值,则向值班人员发送二级告警邮件。

8.一种kafka集群的topic数据的监控装置,其特征在于,包括如下模块:数据获取模块,设置为访问所有kafka集群,获取所有所述kafka集群中的topic数据;

数据存储模块,设置为将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储,并以图表的形式显示所述topic数据;

数据监控模块,设置为对最新存储的所述topic数据进行监测,当最新存储的所述topic数据达到告警阈值,发出告警提示。

9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被一个或多个所述处理器执行时,使得一个或多个所述处理器执行如权利要求1至7中任一项所述kafka集群的topic数据的监控方法的步骤。

10.一种存储介质,其特征在于,所述存储介质可被处理器读写,所述存储介质存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个所述处理器执行如权利要求1至7中任一项所述kafka集群的topic数据的监控方法的步骤。