利索能及
我要发布
收藏
专利号: 2016108585440
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种文件切片上传方法,其特征在于,应用于云存储系统中的元数据服务器,所述云存储系统还包括多个切片服务器及多个对象存储设备,所述方法包括:接收由客户端发送的待上传的目标文件的分配请求,其中,所述分配请求中携带:所述目标文件的文件标识符、及申请可用的切片服务器和可用的对象存储设备的标识信号;

根据所述切片服务器当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器;

根据所述可用的切片服务器及所述对象存储设备当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备;

发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器将所述目标文件的第一切片文件存储至所述可用的对象存储设备,其中,所述第一切片文件为所述可用的切片服务器对所述目标文件的切片文件执行原始数据计算法所得到的切片文件;所述可用的对象存储设备用于存储所述第一切片文件。

2.根据权利要求1所述的文件切片上传方法,其特征在于,所述接收由客户端发送的待上传的目标文件的分配请求的步骤之前,所述方法还包括:接收由所述客户端发送的所述目标文件的初始化请求;

生成初始标识符,并发送所述初始标识符至所述客户端,以使所述客户端将所接收到的所述初始标识符作为所述目标文件的文件标识符。

3.根据权利要求1所述的文件切片上传方法,其特征在于,所述确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备的步骤之后,所述方法,还包括:将所述可用的对象存储设备的对象标识符发送至所述可用的切片服务器;

相应地,所述发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器将所述目标文件的第一切片文件存储至所述可用的对象存储设备的步骤,包括:发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器基于所接收到的对象标识符,将所述目标文件的第一切片文件存储至所述可用的对象存储设备。

4.根据权利要求1所述的文件切片上传方法,其特征在于,所述发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器将所述目标文件的第一切片文件存储至所述可用的对象存储设备的步骤,包括:发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器向所述元数据服务器请求所述可用的对象存储设备的对象标识符,并基于请求得到的对象标识符,将所述目标文件的第一切片文件存储至所述可用的对象存储设备。

5.根据权利要求1所述的文件切片上传方法,其特征在于,所述根据所述切片服务器当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器,包括:获取所述多个切片服务器的负载值,其中,所述负载值为中央处理单元的使用率、内存的使用率和输入/输出设备的使用率中的至少一种;

判断所述多个切片服务器中是否存在第一切片服务器,其中,所述第一切片服务器的负载值小于预设第一负载阈值;

如果是,从所述第一切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器;

如果否,从所述多个切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器。

6.根据权利要求5所述的文件切片上传方法,其特征在于,所述从所述第一切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器,包括:采用轮转法,从所述第一切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器;

或者,

采用随机法,从所述第一切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器。

7.根据权利要求5所述的文件切片上传方法,其特征在于,所述从所述多个切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器,包括:采用轮转法,从所述多个切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器;

或者,

采用随机法,从所述多个切片服务器中,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器。

8.根据权利要求1所述的文件切片上传方法,其特征在于,所述根据所述可用的切片服务器及所述对象存储设备当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备,包括:获取所述可用的切片服务器的网络协议IP地址及所述多个对象存储设备的IP地址;

判断所述多个对象存储设备中是否存在第一对象存储设备,其中,所述第一对象存储设备的IP地址与所述可用的切片服务器的IP地址相同;

如果是,确定所述第一对象存储设备为可用的对象存储设备;

如果否,基于所述多个对象存储设备当前的负载信息,从所述多个对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备。

9.根据权利要求8所述的文件切片上传方法,其特征在于,所述基于所述多个对象存储设备当前的负载信息,从所述多个对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备,包括:获取所述多个对象存储设备的负载值;

判断所述多个对象存储设备中是否存在第二对象存储设备,其中,所述第二对象存储设备的负载值小于预设第二负载阈值;

如果是,从所述第二对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备;

如果否,获取所述多个对象存储设备的分配次数;

判断所述多个对象存储设备中是否存在第三对象存储设备,其中,所述第三对象存储设备的分配次数大于预设分配次数阈值;

如果是,从所述第三对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备。

10.根据权利要求9所述的文件切片上传方法,其特征在于,所述从所述第二对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备,包括:采用轮转法,从所述第二对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备;

或者,

采用随机法,从所述第二对象存储设备中,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备。

11.根据权利要求1所述的文件切片上传方法,其特征在于,所述原始数据计算法为纠删码EC算法。

12.根据权利要求1所述的文件切片上传方法,其特征在于,所述发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器将所述目标文件的第一切片文件存储至所述可用的对象存储设备的步骤之后,所述方法还包括:存储由所述可用的切片服务器发送的第一元数据至元数据表,其中,所述第一元数据为所述第一切片文件的元数据,所述元数据包括磁盘序列号,所述磁盘序列号为存储所述第一切片文件的磁盘的序列号,所述磁盘由所述可用的对象存储设备根据所述第一切片文件的内存大小确定。

13.根据权利要求12所述的文件切片上传方法,其特征在于,还包括:

在所述第一元数据存储成功后,发送所述第一元数据所对应的存储成功指令至所述可用的切片服务器,以使所述可用的切片服务器在接收到各个第一切片文件的第一元数据的存储成功指令后,发送所述目标文件的上传结束指令至所述客户端;

接收所述客户端发送的所述目标文件的聚合请求,其中,所述聚合请求中携带:所述目标文件的文件标识符及请求聚合所述第一元数据的标识信号,所述聚合请求为所述客户端在接收到所述目标文件的上传结束指令后所发送的;

基于所述目标文件的文件标识符,聚合所述元数据表中的所述目标文件对应的第一元数据。

14.根据权利要求13所述的文件切片上传方法,其特征在于,还包括:

接收所述客户端发送的终止请求,其中,所述终止请求中携带:所述目标文件的文件标识符及请求终止切片文件上传的标识信号,所述终止请求为所述客户端在接收到所述目标文件的上传结束指令后所发送的;

在判断出聚合完毕所述元数据表中所述目标文件对应的第一元数据后,删除所述文件标识符。

15.一种文件切片上传装置,其特征在于,应用于云存储系统中的元数据服务器,所述云存储系统还包括多个切片服务器及多个对象存储设备,所述装置包括:第一接收模块,用于接收由客户端发送的待上传的目标文件的分配请求,其中,所述分配请求中携带:所述目标文件的文件标识符、及申请可用的切片服务器和可用的对象存储设备的标识信号;

第一确定模块,用于根据所述切片服务器当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器;

第二确定模块,用于根据所述可用的切片服务器及所述对象存储设备当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备;

第一发送模块,用于发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器,从而使得所述可用的切片服务器将所述目标文件的第一切片文件存储至所述可用的对象存储设备,其中,所述第一切片文件为所述可用的切片服务器对所述目标文件的切片文件执行原始数据计算法所得到的切片文件;所述可用的对象存储设备用于存储所述第一切片文件。

16.一种云存储系统,其特征在于,所述系统包括元数据服务器、多个切片服务器及多个对象存储设备;

所述元数据服务器用于:接收由客户端发送的待上传的目标文件的分配请求,其中,所述分配请求中携带:所述目标文件的文件标识符、及申请可用的切片服务器和可用的对象存储设备的标识信号;根据所述切片服务器当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的切片服务器;根据所述可用的切片服务器及所述对象存储设备当前的负载信息,确定具有所述文件标识符的所述目标文件所对应的可用的对象存储设备;发送所述可用的切片服务器的设备标识符至所述客户端,以使所述客户端基于所述设备标识符,发送所述目标文件的切片文件至所述可用的切片服务器;

所述切片服务器用于:采集并发送所述切片服务器当前的负载信息以及与自身对应的对象存储设备当前的负载信息至所述元数据服务器;当接收到所述客户端发送的所述目标文件的切片文件时,存储所述目标文件的第一切片文件至所述可用的对象存储设备,其中,所述第一切片文件为所述可用的切片服务器对所述目标文件的切片文件执行原始数据计算法所得到的切片文件;所述可用的对象存储设备用于存储所述第一切片文件。