利索能及
我要发布
收藏
专利号: 2019109313377
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据同步方法,其特征在于,包括:获取加载指示信息;针对各个计算节点,所述加载指示信息用于指示该计算节点中各个图形处理器GPU分别对应的数据块;所述数据块是将待同步全量数据进行划分得到的;

各个计算节点分别针对该计算节点中各个GPU,下载该GPU对应的数据块,并将该GPU对应的数据块加载至该GPU;

在所述下载该GPU对应的数据块之后,当判断在该GPU对应的数据块的基础上有数据更新时,下载在该GPU对应的数据块的基础上更新的更新数据,并将所述更新数据加载至该GPU以进行数据更新。

2.根据权利要求1所述的方法,其特征在于,在所述获取加载指示信息之前,所述方法还包括:

确定所述待同步全量数据;

将所述待同步全量数据进行划分,得到多个数据块;

在所述将所述待同步全量数据进行划分,得到多个数据块之后,发送数据划分完成提示信息,所述数据划分完成提示信息用于触发对所述多个数据块进行分配。

3.根据权利要求2所述的方法,其特征在于,在所述发送数据划分完成提示信息之后,所述方法还包括:

在接收到所述数据划分完成提示信息后,获取多个数据块的数据块信息、各个计算节点中各个GPU的加载容量以及各个计算节点中GPU的数量;

根据所述数据块信息、所述加载容量和所述数量,对多个数据块进行分配,得到加载指示信息,其中,针对各个计算节点,所述加载指示信息用于指示该计算节点中各个GPU分别对应的数据块;

针对各个计算节点,将所述加载指示信息下发至该计算节点。

4.根据权利要求1所述的方法,其特征在于,所述下载该GPU对应的数据块,包括:确定存储服务地址;

根据所述存储服务地址查询并下载该GPU对应的数据块。

5.根据权利要求1所述的方法,其特征在于,所述下载在该GPU对应的数据块的基础上更新的更新数据,包括:

下载包括所述更新数据的更新数据文件,所述更新数据文件是根据预设时间范围内的所述更新数据生成的。

6.根据权利要求1或3所述的方法,其特征在于,所述下载在该GPU对应的数据块的基础上更新的更新数据,包括:

通过消息系统获取所述更新数据。

7.根据权利要求1所述的方法,其特征在于,在所述下载在该GPU对应的数据块的基础上更新的更新数据之后,所述方法还包括:确定预定存储目录,其中,所述预定存储目录包括根目录、全量数据划分版本子目录、数据类型子目录和数据子目录;

根据所述预定存储目录,保存各个GPU对应的数据块以及分别在各个GPU对应的数据块的基础上更新的所述更新数据。

8.根据权利要求1所述的方法,其特征在于,在所述下载在该GPU对应的数据块的基础上更新的更新数据之后,所述方法还包括:检测计算节点本地磁盘的使用率;

当所述使用率大于等于预设阈值时,发送触发指令,所述触发指令用于指示重新确定所述待同步全量数据;将所述待同步全量数据进行划分,得到多个数据块的步骤。

9.一种数据同步系统,其特征在于,包括:存储模块、调度服务器和计算节点;

所述存储模块,确定待同步全量数据;将所述待同步全量数据进行划分,得到多个数据块,并确定所述多个数据块的数据块信息;在所述将所述待同步全量数据进行划分,得到多个数据块之后,向调度服务器发送数据划分完成提示信息;

所述调度服务器,在接收到所述数据划分完成提示信息后,获取多个数据块的数据块信息、各个计算节点中各个图形处理器GPU的加载容量以及所述各个计算节点中GPU的数量;根据所述数据块信息、所述加载容量和所述数量,对所述多个数据块进行分配,得到加载指示信息,其中,针对各个计算节点,所述加载指示信息用于指示该计算节点中各个GPU分别对应的数据块;针对各个计算节点,将所述加载指示信息下发至该计算节点;

所述计算集群中各个计算节点,获取所述加载指示信息;各个计算节点分别针对该计算节点中各个GPU,从所述存储模块下载该GPU对应的数据块,并将该GPU对应的数据块加载至该GPU;在所述从所述存储模块下载该GPU对应的数据块之后,当判断在该GPU对应的数据块的基础上有数据更新时,从所述存储模块下载在该GPU对应的数据块的基础上更新的更新数据,并将所述更新数据加载至该GPU以进行数据更新。

10.根据权利要求9所述的系统,其特征在于,所述调度服务器向计算节点发送存储服务地址;

针对各个计算节点,该计算节点根据所述存储服务地址从所述存储模块查询并下载各个GPU对应的数据块。

11.一种数据同步装置,其特征在于,包括:第一获取模块,用于获取加载指示信息;针对各个计算节点,所述加载指示信息用于指示该计算节点中各个图形处理器GPU分别对应的数据块;所述数据块是将待同步全量数据进行划分得到的;

第一下载模块,用于各个计算节点分别针对该计算节点中各个GPU,下载该GPU对应的数据块,并将该GPU对应的数据块加载至该GPU;

第二下载模块,用于在所述下载该GPU对应的数据块之后,当判断在该GPU对应的数据块的基础上有数据更新时,下载在该GPU对应的数据块的基础上更新的更新数据,并将所述更新数据加载至该GPU以进行数据更新。

12.根据权利要求11所述的装置,其特征在于,所述装置还包括:第一确定模块,用于在所述获取加载指示信息之前,确定所述待同步全量数据;

划分模块,用于将所述待同步全量数据进行划分,得到多个数据块;

第一发送模块,用于在所述将所述待同步全量数据进行划分,得到多个数据块之后,发送数据划分完成提示信息,所述数据划分完成提示信息用于触发对所述多个数据块进行分配。

13.根据权利要求12所述的装置,其特征在于,所述装置还包括:第二获取模块,用于在接收到所述数据划分完成提示信息后,获取多个数据块的数据块信息、各个计算节点中各个GPU的加载容量以及各个计算节点中GPU的数量;

分配模块,用于根据所述数据块信息、所述加载容量和所述数量,对多个数据块进行分配,得到加载指示信息,其中,针对各个计算节点,所述加载指示信息用于指示该计算节点中各个GPU分别对应的数据块;

下发模块,用于针对各个计算节点,将所述加载指示信息下发至该计算节点。

14.根据权利要求11所述的装置,其特征在于,所述第一下载模块,用于确定存储服务地址;根据所述存储服务地址查询并下载该GPU对应的数据块。

15.根据权利要求11所述的装置,其特征在于,所述第二下载模块,用于下载包括所述更新数据的更新数据文件,所述更新数据文件是根据预设时间范围内的所述更新数据生成的。

16.根据权利要求11或13所述的装置,其特征在于,所述第二下载模块,用于通过消息系统获取所述更新数据。

17.根据权利要求11所述的装置,其特征在于,所述装置还包括:第二确定模块,用于确定预定存储目录,其中,所述预定存储目录包括根目录、全量数据划分版本子目录、数据类型子目录和数据子目录;

保存模块,用于根据所述预定存储目录,保存各个GPU对应的数据块以及分别在各个GPU对应的数据块的基础上更新的所述更新数据。

18.根据权利要求11所述的装置,其特征在于,所述装置还包括:检测模块,用于检测计算节点本地磁盘的使用率;

第二发送模块,用于当所述使用率大于等于预设阈值时,发送触发指令,所述触发指令用于指示重新确定所述待同步全量数据;将所述待同步全量数据进行划分,得到多个数据块的步骤。

19.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。