1.一种面向实时流处理的负载均衡方法,其特征在于,包括以下步骤:
使根消费者将原始消息按资源/子资源指标组进行切片以形成多个消息片,一个消息片包含多个资源/子资源指标消息;
将所述消息片汇总到消息池,当消息处理间隙时间达到预设时间段时或者消息池中的消息片总量达到第一预设阈值时,进行第一次消息池负载均衡计算以根据消息池中的消息片总量和根消费者数量进行动态平均分配;
将负载均衡好的消息片均匀返回给本次参与的所有根消费者,以使所述根消费者将所述消息片传递给业务消费者进而所述业务消费者将每个所述消息片按单个资源/子资源指标进行拆分以形成多个消息块;
将所拆分得到的所有消息块汇总到消息池,当消息处理间隙时间达到预设时间段时或者消息池中的消息块总量达到第二预设阈值时,进行第二次消息池负载均衡计算以根据消息块总量和业务消费者数量进行动态分配;
按照预设数量,将负载均衡好的消息按批量传送给对应的业务消费者进行处理;
其中,所述根据消息池中的消息片总量和根消费者数量进行动态平均分配具体为:当消息池中的消息片总量达到第一预设阈值时,每个根消费者对应的消息片数量等于消息片总量除以根消费者数量;当消息池中的消息片总量未超过第一预设阈值而所述消息处理间隙时间已经达到预设时间段时,根据根消费者的工作性能来分配对应数量的消息片以保障每个根消费者的工作性价比。
2.如权利要求1所述的面向实时流处理的负载均衡方法,其特征在于,所述将负载均衡好的消息按批量传送给对应的业务消费者进行处理具体为:将负载均衡好的消息按批量上传至数据库,然后调度对应的业务消费者处理各自的消息。
3.如权利要求1所述的面向实时流处理的负载均衡方法,其特征在于,所述第一预设阈值根据原始消息表的列数、根消费者个数以及业务消费者的最佳消费值设定;第二预设阈值根据业务消费者的个数以及业务消费者的最佳消费值设定。
4.如权利要求3所述的面向实时流处理的负载均衡方法,其特征在于,所述第一预设阈值为2万,所述第二预设阈值为200万。
5.如权利要求1所述的面向实时流处理的负载均衡方法,其特征在于,所述预设时间段为10秒。
6.如权利要求1所述的面向实时流处理的负载均衡方法,其特征在于,所述根据根消费者的工作性能分配对应数量的消息片具体为:确定根消费者的最优工作量,根据所述最优工作量逐一给各个根消费者分配对应数量的消息片直至消息片分配完为止。
7.如权利要求1所述的面向实时流处理的负载均衡方法,其特征在于,所述预设数量根据数据库的最佳存储方式来设定,所述预设数量设为1万个。
8.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有可执行计算机程序,所述处理器可读取所述存储器的计算机程序并运行以实现如权利要求1至7任一项所述的面向实时流处理的负载均衡方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有可执行计算机程序,所述计算机程序运行时可实现如权利要求1至7任一项所述的面向实时流处理的负载均衡方法。