利索能及
我要发布
收藏
专利号: 201810565747X
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种热点数据迁移流控方法,其特征在于,所述方法包括:每隔预设时间段记录用户访问的数据集;

将所述数据集划分为多个数据块;

判断所述多个数据块中是否有数据块为热点数据;

当确定有数据块为热点数据时,判断被确定为热点数据的数据块是否写入缓存中;

当判断被确定为热点数据的数据块没有写入缓存中时,获取迁移周期内的当前统计周期对应的流控阈值;

基于所述当前统计周期对应的流控阈值,将所述被确定为热点数据的数据块写入到缓存中。

2.如权利要求1所述的方法,其特征在于,将所述数据集划分为多个数据块包括:将所述数据集平均划分为预设数量的数据块;或

将所述数据集随机划分为预设数量的数据块;或

将所述数据集按照预设大小划分为多个数据块。

3.如权利要求1所述的方法,其特征在于,所述判断所述多个数据块中是否有数据块为热点数据是通过计算数据块被访问的概率值,基于所述概率值预测数据块是否为热点数据,包括:统计每个数据块在所述预设时间段内被访问的次数;

基于每个数据块在所述预设时间段内被访问的次数,计算每个数据块在所述预设时间段内被访问的概率值;

判断每个数据块被访问的概率值是否大于预设概率值;

当判断数据块被访问的概率值大于所述预设概率值时,确定大于所述预设概率值的被访问的概率值对应的数据块为热点数据;

当判断数据块被访问的概率值小于或者等于所述预设概率值时,确定小于或者等于所述预设概率值的被访问的概率值对应的数据块为非热点数据。

4.如权利要求1所述的方法,其特征在于,所述获取迁移周期内的当前统计周期对应的流控阈值包括:判断当前统计周期是否为第一个统计周期;

当确定所述当前统计周期为第一个统计周期时,将预设流控阈值确定为所述当前统计周期对应的流控阈值;

当确定所述当前统计周期不为第一个统计周期时,获取上一个统计周期内用户应用的IO负载,根据所述上一个统计周期内用户应用的IO负载,确定所述当前统计周期对应的流控阈值。

5.如权利要求4所述的方法,其特征在于,根据所述上一个统计周期内用户应用的IO负载,确定所述当前统计周期对应的流控阈值包括:获取上一个统计周期内用户应用的每一个IO的数据块大小,计算所述上一个统计周期内的IO的平均数据块大小;

获取所述上一个统计周期内的每个数据块的传输时延,计算所述上一个统计周期内的IO的平均数据块时延;

获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值;

根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值,计算所述上一个统计周期内的IO负载强度;

根据所述上一个统计周期内的IO负载强度,利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别;

根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值。

6.如权利要求5所述的方法,其特征在于,所述根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值,计算所述上一个统计周期内的IO负载强度的计算公式为: 其中,X为上述上一个统计周期内的所述IO的平均数据块大小,Y为所述平均数据块时延,M为所述数据块大小的基准值,N为所述对应的数据块时延的基准值。

7.如权利要求5或6所述的方法,其特征在于,所述根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括:当所述上一个统计周期内的IO负载类别为高负载类别时,将所述上一个统计周期对应的流控阈值降低第一预设幅度,得到当前统计周期对应的流控阈值;

当所述上一个统计周期内的IO负载类别为低负载类别时,将所述上一个统计周期对应的流控阈值提高第二预设幅度,得到当前周期对应的流控阈值;

当所述上一个统计周期内的IO负载类别为正常负载类别时,将所述上一个统计周期对应的流控阈值作为当前统计周期对应的流控阈值。

8.一种热点数据迁移流控装置,其特征在于,所述装置包括:记录模块,用于每隔预设时间段记录用户访问的数据集;

划分模块,用于将所述数据集划分为多个数据块;

判断模块,用于判断所述多个数据块中是否有数据块为热点数据;

判断模块,还用于当确定有数据块为热点数据时,判断被确定为热点数据的数据块是否写入缓存中;

获取模块,用于当所述判断模块判断被确定为热点数据的数据块没有写入缓存中时,获取迁移周期内的当前统计周期对应的流控阈值;

迁移模块,用于基于所述当前统计周期对应的流控阈值,将所述被确定为热点数据的数据块写入到缓存中。

9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的热点数据迁移流控方法。

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的热点数据迁移流控方法。