利索能及
我要发布
收藏
专利号: 2024103034501
申请人: 瑞达可信安全技术(广州)有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-09-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于大数据的云存储管理方法,其特征在于,包括步骤:

获取多个云存储用户的目标时间段的云空间更新记录,其中,所述云空间更新记录从用户行为日志中提取,所述目标时间段为当前时间点之前单位时间至当前时间点的时间段;

基于所述云空间更新记录确定云空间中各文件的更新活跃度;并基于所述云空间中各文件的更新活跃度确定所述云空间中各文件的备份频率;基于所述云空间更新记录确定云空间中各文件的更新活跃度,包括:从所述云空间更新记录提取每个文件的更新时间点ti、以及每个更新时间点ti对应的文件大小Di,其中,所述更新时间点ti为新增文件、删除文件或者改变文件对应的时间点;在文件n的更新时间点大于两个时,基于所述每个更新时间点ti对应的文件大小Di计算每个文件在更新时间点ti的大小变化值Ci,其中,Ci=Di‑Di‑1;计算所述多个大小变化值Ci的平均值CA,并基于所述平均值CA和更新时间点ti的数量i构建对应文件的更新活跃度An,An=α×CA+β×i,其中,α为第一权重,β为第二权重;在文件n的更新时间点小于或者等于两个时,将文件n的更新活跃度An设定为0;基于所述云空间中各文件的更新活跃度确定所述云空间中各文件的备份频率,包括:获取所述云空间中各文件的最低频率fmin,其中,最低频率大于或者等于0;基于所述最低频率fmin、所述文件n的更新活跃度An确定所述云空间中各文件的备份频率fn,fn=fmin+An×γ,其中,γ为预设的比例因子;

基于云空间中各文件的更新活跃度确定对应用户的用户活跃度;并基于多个云存储用户的用户活跃度将所述多个云存储用户划分为多个用户族群;

基于各文件的备份频率对多个用户族群的文件进行备份管理,基于各文件的备份频率对多个用户族群的文件进行备份管理,包括:为每个用户族群分配一个存储节点和备份节点;将每个用户族群对应的文件移动至对应的存储节点中,并基于每个文件的备份频率自动将文件备份至对应的备份节点中。

2.根据权利要求1所述的一种基于大数据的云存储管理方法,其特征在于,基于云空间中各文件的更新活跃度确定对应用户的用户活跃度,包括:对每个用户的所有文件的更新活跃度An进行求和,得到用户活跃度AC。

3.根据权利要求2所述的一种基于大数据的云存储管理方法,其特征在于,基于多个云存储用户的用户活跃度将所述多个云存储用户划分为多个用户族群,包括:对所有云存储用户的用户活跃度AC进行排序并分组,得到多个用户组;

基于所述多个用户组,并结合多个存储节点的负载均衡,对云存储用户进行划分,得到多个用户族群,其中,一个用户族群对应的文件存储至一个或者一组备份服务器中。

4.根据权利要求3所述的一种基于大数据的云存储管理方法,其特征在于,对所有云存储用户的用户活跃度AC进行排序并分组,得到多个用户组,包括:对所有云存储用户的用户活跃度AC进行排序,得到用户序列;

对所述用户序列进行划分,得到多个用户组,其中,任意两个用户组的资源总量差值不超过预设阈值。

5.根据权利要求3所述的一种基于大数据的云存储管理方法,其特征在于,基于所述多个用户组,并结合多个存储节点的负载均衡,对云存储用户进行划分,得到多个用户族群,包括:S1,在未被划分的用户组中,将用户活跃度分布范围最高以及用户活跃度分布范围最低的多个用户组作为当前用户组;将多个当前用户组划分至同一个用户族群中,其中,多个当前用户组的活跃度总和在预设范围内;

S2,重复执行步骤S1,直至完成对所有用户组的划分,得到多个用户族群。

6.根据权利要求1所述的一种基于大数据的云存储管理方法,其特征在于,还包括:

将每个用户族群对应的文件移动至对应的存储节点中时,在所述存储节点中进行文件复制,得到文件副本;在移动成功后,删除所述文件副本。

7.一种基于大数据的云存储管理系统,其特征在于,包括:

获取模块,用于获取多个云存储用户的目标时间段的云空间更新记录,其中,所述云空间更新记录从用户行为日志中提取,所述目标时间段为当前时间点之前单位时间至当前时间点的时间段;

频率确定模块,用于基于所述云空间更新记录确定云空间中各文件的更新活跃度;并基于所述云空间中各文件的更新活跃度确定所述云空间中各文件的备份频率;基于所述云空间更新记录确定云空间中各文件的更新活跃度,包括:从所述云空间更新记录提取每个文件的更新时间点ti、以及每个更新时间点ti对应的文件大小Di,其中,所述更新时间点ti为新增文件、删除文件或者改变文件对应的时间点;在文件n的更新时间点大于两个时,基于所述每个更新时间点ti对应的文件大小Di计算每个文件在更新时间点ti的大小变化值Ci,其中,Ci=Di‑Di‑1;计算所述多个大小变化值Ci的平均值CA,并基于所述平均值CA和更新时间点ti的数量i构建对应文件的更新活跃度An,An=α×CA+β×i,其中,α为第一权重,β为第二权重;在文件n的更新时间点小于或者等于两个时,将文件n的更新活跃度An设定为0;

基于所述云空间中各文件的更新活跃度确定所述云空间中各文件的备份频率,包括:获取所述云空间中各文件的最低频率fmin,其中,最低频率大于或者等于0;基于所述最低频率fmin、所述文件n的更新活跃度An确定所述云空间中各文件的备份频率fn,fn=fmin+An×γ,其中,γ为预设的比例因子;

族群划分模块,用于基于云空间中各文件的更新活跃度确定对应用户的用户活跃度;

基于多个云存储用户的用户活跃度将所述多个云存储用户划分为多个用户族群;

管理模块,用于基于各文件的备份频率对多个用户族群的文件进行备份管理,基于各文件的备份频率对多个用户族群的文件进行备份管理,包括:为每个用户族群分配一个存储节点和备份节点;将每个用户族群对应的文件移动至对应的存储节点中,并基于每个文件的备份频率自动将文件备份至对应的备份节点中。