利索能及
我要发布
收藏
专利号: 2018112133002
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种垃圾数据清理方法,其特征在于,应用于分布式计算框架中的Driver端;所述方法包括:监测消息队列所包括待处理任务的数量,并根据监测得到的数量计算所述消息队列的压力值;

判断所述压力值是否大于预设压力阈值;

当判断出所述压力值大于所述预设压力阈值时,向所述分布式计算框架中的Worker端发送高压状态通知,以使得所述Worker端对第一性能指标和第二性能指标进行监测,在监测到所述第一性能指标的指标值达到第一预设阈值时,触发所述Worker端的虚拟机中的垃圾回收GC程序,在监测到所述第二性能指标的指标值满足第一清理条件时,向所述Driver端发送触发指令;其中,所述第一性能指标为:所述Worker端虚拟机的内存的占用率,所述第二性能指标为:能够表征所述Worker端的运行状态的指标;

当接收到所述Worker端发送的触发指令时,触发所述Driver端中的垃圾清理器对所述Worker端中的垃圾数据进行清理。

2.根据权利要求1所述的方法,其特征在于,

所述第二性能指标包括:所述Worker端的全部内存的占用率,所述第一清理条件包括:占用率达到第一预设占用率;或者,

所述第二性能指标包括:所述Worker端的中央处理器的负载,所述第一清理条件包括:负载值达到第一预设负载值;或者,

所述第二性能指标包括:所述Worker端的全部内存的占用率和所述Worker端的中央处理器的负载,所述第一清理条件包括:占用率达到第一预设占用率和负载值达到第一预设负载值。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:当判断出所述压力值大于所述预设压力阈值时,对第三性能指标和第四性能指标进行监测;其中,所述第三性能指标为:所述Driver端虚拟机的内存的占用率,所述第四性能指标为:能够表征所述Driver端的运行状态的指标;

当监测到所述第三性能指标的指标值达到第二预设阈值时,触发所述Driver端虚拟机中的GC程序;

当监测到所述第四性能指标的指标值满足第二清理条件时,触发所述垃圾清理器对所述Driver端中的垃圾数据进行清理。

4.根据权利要求3所述的方法,其特征在于,

所述第四性能指标包括:所述Driver端的全部内存的占用率,所述第二清理条件包括:占用率达到第二预设占用率;或者,

所述第四性能指标包括:所述Driver端的中央处理器的负载,所述第二清理条件包括:负载值达到第二预设负载值;或者,

所述第四性能指标包括:所述Driver端的全部内存的占用率和所述Driver端的中央处理器的负载,所述第二清理条件包括:占用率达到第二预设占用率和负载值达到第二负载值。

5.根据权利要求1‑4任一项所述的方法,其特征在于,所述方法还包括:当判断出所述压力值大于所述预设压力阈值时,降低接收待处理任务的速率。

6.根据权利要求1‑4任一项所述的方法,其特征在于,所述根据监测得到的数量计算所述消息队列的压力值的步骤,包括:根据监测得到的数量,通过预设公式计算所述消息队列的压力值;其中,所述预设公式为:Pt(s)=Pt(n)*Pt(v)

其中,Pt(s)为:t时刻,所述消息队列的压力值;Pt(n)为:所述Driver端在t时刻的事件占满率;Pt(v)为:所述Driver端在t时刻的数量变化率;

Pt(n)=Num(t)/Num(max)

其中,Num(t)为:t时刻,所述消息队列包括的待处理任务的数量;Num(max)为:所述消息队列所能容纳的待处理任务的数量;

Pt(v)=Num(t‑i)/Num(t)

其中,Num(t‑i)为:t‑i时刻,所述消息队列包括的待处理任务的数量,i为预设单位时长。

7.一种垃圾数据清理方法,其特征在于,应用于分布式计算框架中的Worker端;所述方法包括:接收所述分布式计算框架中的Driver端发送的高压状态通知;其中,所述高压状态通知为:所述Driver端判断消息队列的压力值大于预设压力阈值时,向所述Worker端发送的通知,所述压力值为:所述Driver端根据监测得到的所述消息队列所包括待处理任务的数量计算得到的压力值;

对第一性能指标和第二性能指标进行监测;其中,所述第一性能指标为:所述Worker端虚拟机的内存的占用率,所述第二性能指标为:能够表征所述Worker端的运行状态的指标;

在监测到所述第一性能指标的指标值达到第一预设阈值时,触发所述Worker端的虚拟机中的GC程序;

在监测到所述第二性能指标的指标值满足第一清理条件时,向所述Driver端发送触发指令,以使得所述Driver端在接收到所述触发指令后,触发所述Driver端中的垃圾清理器对Worker端中的垃圾数据进行清理。

8.根据权利要求7所述的方法,其特征在于,

所述第二性能指标包括:所述Worker端的全部内存的占用率,所述第一清理条件包括:占用率达到第一预设占用率;或者,

所述第二性能指标包括:所述Worker端的中央处理器的负载,所述第一清理条件包括:负载值达到第一预设负载值;或者,

所述第二性能指标包括:所述Worker端的全部内存的占用率和所述Worker端的中央处理器的负载,所述第一清理条件包括:占用率达到第一预设占用率和负载值达到第一预设负载值。

9.一种垃圾数据清理装置,其特征在于,应用于分布式计算框架中的Driver端;所述装置包括:压力值计算模块,用于监测消息队列所包括待处理任务的数量,并根据监测得到的数量计算所述消息队列的压力值;

压力值判断模块,用于判断所述压力值是否大于预设压力阈值;

高压状态通知模块,用于当判断出所述压力值大于所述预设压力阈值时,向所述分布式计算框架中的Worker端发送高压状态通知,以使得所述Worker端对第一性能指标和第二性能指标进行监测,在监测到所述第一性能指标的指标值达到第一预设阈值时,触发所述Worker端的虚拟机中的GC程序,在监测到所述第二性能指标的指标值满足第一清理条件时,向所述Driver端发送触发指令;其中,所述第一性能指标为:所述Worker端虚拟机的内存的占用率,所述第二性能指标为:能够表征所述Worker端的运行状态的指标;

第一垃圾数据清理模块,用于当接收到所述Worker端发送的触发指令时,触发所述Driver端中的垃圾清理器对所述Worker端中的垃圾数据进行清理。

10.根据权利要求9所述的装置,其特征在于,

所述第二性能指标包括:所述Worker端的全部内存的占用率,所述第一清理条件包括:占用率达到第一预设占用率;或者,

所述第二性能指标包括:所述Worker端的中央处理器的负载,所述第一清理条件包括:负载值达到第一预设负载值;或者,

所述第二性能指标包括:所述Worker端的全部内存的占用率和所述Worker端的中央处理器的负载,所述第一清理条件包括:占用率达到第一预设占用率和负载值达到第一预设负载值。

11.根据权利要求9所述的装置,其特征在于,所述装置还包括:第一指标监测模块,用于当判断出所述压力值大于所述预设压力阈值时,对第三性能指标和第四性能指标进行监测;其中,所述第三性能指标为:所述Driver端虚拟机的内存的占用率,所述第四性能指标为:能够表征所述Driver端的运行状态的指标;

第一程序触发模块,用于当监测到所述第三性能指标的指标值达到第二预设阈值时,触发所述Driver端虚拟机中的GC程序;

第二垃圾数据清理模块,用于当监测到所述第四性能指标的指标值满足第二清理条件时,触发所述垃圾清理器对所述Driver端中的垃圾数据进行清理。

12.根据权利要求11所述的装置,其特征在于,

所述第四性能指标包括:所述Driver端的全部内存的占用率,所述第二清理条件包括:占用率达到第二预设占用率;或者,

所述第四性能指标包括:所述Driver端的中央处理器的负载,所述第二清理条件包括:负载值达到第二预设负载值;或者,

所述第四性能指标包括:所述Driver端的全部内存的占用率和所述Driver端的中央处理器的负载,所述第二清理条件包括:占用率达到第二预设占用率和负载值达到第二负载值。

13.根据权利要求9‑12任一项所述的装置,其特征在于,所述装置还包括:速率降低模块,用于当判断出所述压力值大于所述预设压力阈值时,降低接收待处理任务的速率。

14.根据权利要求9‑12任一项所述的装置,其特征在于,所述压力值计算模块具体用于:根据监测得到的数量,通过预设公式计算所述消息队列的压力值;其中,所述预设公式为:Pt(s)=Pt(n)*Pt(v)

其中,Pt(s)为:t时刻,所述消息队列的压力值;Pt(n)为:所述Driver端在t时刻的事件占满率;Pt(v)为:所述Driver端在t时刻的数量变化率;

Pt(n)=Num(t)/Num(max)

其中,Num(t)为:t时刻,所述消息队列包括的待处理任务的数量;Num(max)为:所述消息队列所能容纳的待处理任务的数量;

Pt(v)=Num(t‑i)/Num(t)

其中,Num(t‑i)为:t‑i时刻,所述消息队列包括的待处理任务的数量,i为预设单位时长。

15.一种垃圾数据清理装置,其特征在于,应用于分布式计算框架中的Worker端;所述装置包括:高压通知接收模块,用于接收所述分布式计算框架中的Driver端发送的高压状态通知;其中,所述高压状态通知为:所述Driver端判断消息队列的压力值大于预设压力阈值时,向所述Worker端发送的通知,所述压力值为:所述Driver端根据监测得到的所述消息队列所包括待处理任务的数量计算得到的压力值;

第二指标监测模块,用于对第一性能指标和第二性能指标进行监测;其中,所述第一性能指标为:所述Worker端虚拟机的内存的占用率,所述第二性能指标为:能够表征所述Worker端的运行状态的指标;

第二程序触发模块,用于在监测到所述第一性能指标的指标值达到第一预设阈值时,触发所述Worker端的虚拟机中的GC程序;

触发指令发送模块,用于在监测到所述第二性能指标的指标值满足第一清理条件时,向所述Driver端发送触发指令,以使得所述Driver端在接收到所述触发指令后,触发所述Driver端中的垃圾清理器对Worker端中的垃圾数据进行清理。

16.根据权利要求15所述的装置,其特征在于,

所述第二性能指标包括:所述Worker端的全部内存的占用率,所述第一清理条件包括:占用率达到第一预设占用率;或者,

所述第二性能指标包括:所述Worker端的中央处理器的负载,所述第一清理条件包括:负载值达到第一预设负载值;或者,

所述第二性能指标包括:所述Worker端的全部内存的占用率和所述Worker端的中央处理器的负载,所述第一清理条件包括:占用率达到第一预设占用率和负载值达到第一预设负载值。

17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1‑6任一所述的方法步骤。

18.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求7‑8任一所述的方法步骤。

19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑6任一所述的方法步骤。

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求7‑8任一所述的方法步骤。