1.一种数据同步方法,其特征在于,包括:获取加载指示信息;针对各个计算节点,所述加载指示信息用于指示该计算节点中各个图形处理器GPU分别对应的数据块;所述数据块是将待同步全量数据进行划分得到的;
各个计算节点分别针对该计算节点中各个GPU,下载该GPU对应的数据块,并将该GPU对应的数据块加载至该GPU;
在所述下载该GPU对应的数据块之后,当判断在该GPU对应的数据块的基础上有数据更新时,下载在该GPU对应的数据块的基础上更新的更新数据,并将所述更新数据加载至该GPU以进行数据更新。
2.根据权利要求1所述的方法,其特征在于,在所述获取加载指示信息之前,所述方法还包括:
确定所述待同步全量数据;
将所述待同步全量数据进行划分,得到多个数据块;
在所述将所述待同步全量数据进行划分,得到多个数据块之后,发送数据划分完成提示信息,所述数据划分完成提示信息用于触发对所述多个数据块进行分配。
3.根据权利要求2所述的方法,其特征在于,在所述发送数据划分完成提示信息之后,所述方法还包括:
在接收到所述数据划分完成提示信息后,获取多个数据块的数据块信息、各个计算节点中各个GPU的加载容量以及各个计算节点中GPU的数量;
根据所述数据块信息、所述加载容量和所述数量,对多个数据块进行分配,得到加载指示信息,其中,针对各个计算节点,所述加载指示信息用于指示该计算节点中各个GPU分别对应的数据块;
针对各个计算节点,将所述加载指示信息下发至该计算节点。
4.根据权利要求1所述的方法,其特征在于,所述下载该GPU对应的数据块,包括:确定存储服务地址;
根据所述存储服务地址查询并下载该GPU对应的数据块。
5.根据权利要求1所述的方法,其特征在于,所述下载在该GPU对应的数据块的基础上更新的更新数据,包括:
下载包括所述更新数据的更新数据文件,所述更新数据文件是根据预设时间范围内的所述更新数据生成的。
6.根据权利要求1或3所述的方法,其特征在于,所述下载在该GPU对应的数据块的基础上更新的更新数据,包括:
通过消息系统获取所述更新数据。
7.根据权利要求1所述的方法,其特征在于,在所述下载在该GPU对应的数据块的基础上更新的更新数据之后,所述方法还包括:确定预定存储目录,其中,所述预定存储目录包括根目录、全量数据划分版本子目录、数据类型子目录和数据子目录;
根据所述预定存储目录,保存各个GPU对应的数据块以及分别在各个GPU对应的数据块的基础上更新的所述更新数据。
8.根据权利要求1所述的方法,其特征在于,在所述下载在该GPU对应的数据块的基础上更新的更新数据之后,所述方法还包括:检测计算节点本地磁盘的使用率;
当所述使用率大于等于预设阈值时,发送触发指令,所述触发指令用于指示重新确定所述待同步全量数据;将所述待同步全量数据进行划分,得到多个数据块的步骤。
9.一种数据同步系统,其特征在于,包括:存储模块、调度服务器和计算节点;
所述存储模块,确定待同步全量数据;将所述待同步全量数据进行划分,得到多个数据块,并确定所述多个数据块的数据块信息;在所述将所述待同步全量数据进行划分,得到多个数据块之后,向调度服务器发送数据划分完成提示信息;
所述调度服务器,在接收到所述数据划分完成提示信息后,获取多个数据块的数据块信息、各个计算节点中各个图形处理器GPU的加载容量以及所述各个计算节点中GPU的数量;根据所述数据块信息、所述加载容量和所述数量,对所述多个数据块进行分配,得到加载指示信息,其中,针对各个计算节点,所述加载指示信息用于指示该计算节点中各个GPU分别对应的数据块;针对各个计算节点,将所述加载指示信息下发至该计算节点;
所述计算集群中各个计算节点,获取所述加载指示信息;各个计算节点分别针对该计算节点中各个GPU,从所述存储模块下载该GPU对应的数据块,并将该GPU对应的数据块加载至该GPU;在所述从所述存储模块下载该GPU对应的数据块之后,当判断在该GPU对应的数据块的基础上有数据更新时,从所述存储模块下载在该GPU对应的数据块的基础上更新的更新数据,并将所述更新数据加载至该GPU以进行数据更新。
10.根据权利要求9所述的系统,其特征在于,所述调度服务器向计算节点发送存储服务地址;
针对各个计算节点,该计算节点根据所述存储服务地址从所述存储模块查询并下载各个GPU对应的数据块。
11.一种数据同步装置,其特征在于,包括:第一获取模块,用于获取加载指示信息;针对各个计算节点,所述加载指示信息用于指示该计算节点中各个图形处理器GPU分别对应的数据块;所述数据块是将待同步全量数据进行划分得到的;
第一下载模块,用于各个计算节点分别针对该计算节点中各个GPU,下载该GPU对应的数据块,并将该GPU对应的数据块加载至该GPU;
第二下载模块,用于在所述下载该GPU对应的数据块之后,当判断在该GPU对应的数据块的基础上有数据更新时,下载在该GPU对应的数据块的基础上更新的更新数据,并将所述更新数据加载至该GPU以进行数据更新。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:第一确定模块,用于在所述获取加载指示信息之前,确定所述待同步全量数据;
划分模块,用于将所述待同步全量数据进行划分,得到多个数据块;
第一发送模块,用于在所述将所述待同步全量数据进行划分,得到多个数据块之后,发送数据划分完成提示信息,所述数据划分完成提示信息用于触发对所述多个数据块进行分配。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:第二获取模块,用于在接收到所述数据划分完成提示信息后,获取多个数据块的数据块信息、各个计算节点中各个GPU的加载容量以及各个计算节点中GPU的数量;
分配模块,用于根据所述数据块信息、所述加载容量和所述数量,对多个数据块进行分配,得到加载指示信息,其中,针对各个计算节点,所述加载指示信息用于指示该计算节点中各个GPU分别对应的数据块;
下发模块,用于针对各个计算节点,将所述加载指示信息下发至该计算节点。
14.根据权利要求11所述的装置,其特征在于,所述第一下载模块,用于确定存储服务地址;根据所述存储服务地址查询并下载该GPU对应的数据块。
15.根据权利要求11所述的装置,其特征在于,所述第二下载模块,用于下载包括所述更新数据的更新数据文件,所述更新数据文件是根据预设时间范围内的所述更新数据生成的。
16.根据权利要求11或13所述的装置,其特征在于,所述第二下载模块,用于通过消息系统获取所述更新数据。
17.根据权利要求11所述的装置,其特征在于,所述装置还包括:第二确定模块,用于确定预定存储目录,其中,所述预定存储目录包括根目录、全量数据划分版本子目录、数据类型子目录和数据子目录;
保存模块,用于根据所述预定存储目录,保存各个GPU对应的数据块以及分别在各个GPU对应的数据块的基础上更新的所述更新数据。
18.根据权利要求11所述的装置,其特征在于,所述装置还包括:检测模块,用于检测计算节点本地磁盘的使用率;
第二发送模块,用于当所述使用率大于等于预设阈值时,发送触发指令,所述触发指令用于指示重新确定所述待同步全量数据;将所述待同步全量数据进行划分,得到多个数据块的步骤。
19.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。