利索能及
我要发布
收藏
专利号: 2019107855111
申请人: 杭州海康威视系统技术有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据同步方法,其特征在于,包括 :

从数据生成方设备中获取第一数据索引文件,所述第一数据索引文件包括第一增量文件更新信息、第一数据版本信息、是否支持增量式读取信息以及是否支持压缩信息;

当所述第一数据版本信息与本地的第二数据索引文件中包括的第二数据版本信息不一致,且所述第一增量文件更新信息与所述第二数据索引文件中包括的第二增量文件更新信息不一致时,确定需要进行增量更新;其中,所述第二增量文件更新信息以及第二数据版本信息为本地的第二数据索引文件中包括的增量文件更新信息以及数据版本信息;

当确定需要进行增量更新时,根据所述第一数据索引文件包括的是否支持增量式读取信息确定所述数据生成方设备是否支持增量式读取,若支持,则根据所述第一增量文件更新信息以及所述第二增量文件更新信息确定增量文件的新增部分,从所述数据生成方设备下载所述增量文件的新增部分,并根据所述增量文件的新增部分进行增量数据同步;

否则,则从所述数据生成方设备下载增量文件,并根据所下载的增量文件进行增量数据同步;

其中,所述从所述数据生成方设备下载所述增量文件的新增部分,包括:根据所述第一数据索引文件包括的是否支持压缩信息确定所述数据生成方设备是否支持压缩文件传输;

若支持,则当所述增量文件的新增部分包括完整的目标增量文件时,从所述数据生成方设备下载压缩后的所述目标增量文件;则当所述增量文件的新增部分包括非完整的增量文件时,则从所述数据生成方设备下载所述非完整的增量文件的原始文件;

否则,从所述数据生成方设备下载目标增量文件的原始文件。

2.一种数据同步方法,其特征在于,包括:

读取从数据生成方设备下载的第一数据索引文件,所述第一数据索引文件包括第一增量文件更新信息、第一数据版本信息、是否支持增量式读取信息、以及是否支持压缩信息;

当所述第一数据版本信息与本地的第二数据索引文件中包括的第二数据版本信息不一致,且所述第一增量文件更新信息与所述第二数据索引文件中包括的第二增量文件更新信息不一致时,确定需要进行增量更新;

当确定需要进行增量更新时,根据所述第一数据索引文件包括的是否支持增量式读取信息确定所述数据生成方设备是否支持增量式读取,若支持,则根据所述第一增量文件更新信息以及所述第二增量文件更新信息确定增量文件的新增部分,从所述数据生成方设备下载所述增量文件的新增部分,并根据所述增量文件的新增部分进行增量数据同步;

否则,则从所述数据生成方设备下载增量文件,并根据所下载的增量文件进行增量数据同步;

其中,所述从所述数据生成方设备下载所述增量文件的新增部分,包括:根据所述第一数据索引文件包括的是否支持压缩信息确定所述数据生成方设备是否支持压缩文件传输;

若支持,则当所述增量文件的新增部分包括完整的目标增量文件时,从所述数据生成方设备下载压缩后的所述目标增量文件;则当所述增量文件的新增部分包括非完整的增量文件时,则从所述数据生成方设备下载所述非完整的增量文件的原始文件;

否则,从所述数据生成方设备下载目标增量文件的原始文件。

3.根据权利要求1或2所述的方法,其特征在于,所述第一数据索引文件还包括第一全量文件更新信息以及是否支持压缩信息;

所述根据所述第一增量文件更新信息以及所述第二增量文件更新信息确定增量文件的新增部分之前,还包括:当所述第一全量文件更新信息与所述第二数据索引文件中包括的第二全量文件更新信息不一致时,根据所述第一数据索引文件包括的是否支持压缩信息确定所述数据生成方设备是否支持压缩文件传输;

若支持,则从所述数据生成方设备下载压缩后的全量文件,并根据所述压缩后的全量文件进行全量数据同步;

否则,从所述数据生成方设备下载全量文件的原始文件,并根据所述全量文件的原始文件进行全量数据同步。

4.根据权利要求1或2所述的方法,其特征在于,增量文件更新信息包括增量文件编号和行号;

所述根据所述第一增量文件更新信息以及所述第二增量文件更新信息确定增量文件的新增部分,包括:根据第一增量文件编号和行号以及第二增量文件编号和行号,将所述第一增量文件编号和行号到所述第二增量文件编号和行号之间的增量数据确定为增量文件的新增部分。

5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:当确定满足全量文件生成条件时,对于任一数据类型,当本地数据库中存在该数据类型的数据,将该数据类型的数据写入全量文件;

当数据写入完成时,判断本设备是否支持压缩文件传输;

若支持,则对全量文件进行压缩。

6.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:当接收到数据更新通知时,根据更新数据的数据类型将更新数据写入增量文件;

当数据写入完成时,判断本设备是否支持压缩文件传输;

若支持,则对增量文件进行压缩。

7.根据权利要求6所述的方法,其特征在于,所述对增量文件进行压缩,包括:当增量文件支持分片时,对达到预设大小的增量文件分片进行压缩,并拒绝对未达到预设大小的增量文件分片进行压缩。

8.一种数据同步装置,其特征在于,包括:

获取单元,用于从数据生成方设备中获取第一数据索引文件,所述第一数据索引文件包括第一增量文件更新信息、第一数据版本信息、是否支持增量式读取信息以及是否支持压缩信息;

比较单元,用于比较所述第一数据版本信息与本地的第二数据索引文件中包括的第二数据版本信息,以及比较所述第一增量文件更新信息与所述第二数据索引文件中包括的第二增量文件更新信息;其中,所述第二增量文件更新信息以及第二数据版本信息为本地的第二数据索引文件中包括的增量文件更新信息以及数据版本信息;

确定单元,用于当所述第一数据版本信息与本地的第二数据索引文件中包括的第二数据版本信息不一致,且所述第一增量文件更新信息与所述第二数据索引文件中包括的第二增量文件更新信息不一致时,确定需要进行增量更新;

下载单元,用于当确定需要进行增量更新时,根据所述第一数据索引文件包括的是否支持增量式读取信息确定所述数据生成方设备是否支持增量式读取,若支持,则根据所述第一增量文件更新信息以及所述第二增量文件更新信息确定增量文件的新增部分,从所述数据生成方设备下载所述增量文件的新增部分;否则,则从所述数据生成方设备下载增量文件;

同步单元,用于根据所述增量文件的新增部分进行增量数据同步,或根据所下载的增量文件进行增量数据同步;

其中,所述从所述数据生成方设备下载所述增量文件的新增部分,包括:根据所述第一数据索引文件包括的是否支持压缩信息确定所述数据生成方设备是否支持压缩文件传输;

若支持,则当所述增量文件的新增部分包括完整的目标增量文件时,从所述数据生成方设备下载压缩后的所述目标增量文件;则当所述增量文件的新增部分包括非完整的增量文件时,则从所述数据生成方设备下载所述非完整的增量文件的原始文件;

否则,从所述数据生成方设备下载目标增量文件的原始文件。

9.一种数据同步装置,其特征在于,包括:

读取单元,用于读取从数据生成方设备下载的第一数据索引文件,所述第一数据索引文件包括第一增量文件更新信息、第一数据版本信息、是否支持增量式读取信息、以及是否支持压缩信息;

比较单元,用于比较所述第一数据版本信息与本地的第二数据索引文件中包括的第二数据版本信息,以及比较所述第一增量文件更新信息与所述第二数据索引文件中包括的第二增量文件更新信息;

确定单元,用于当所述第一数据版本信息与本地的第二数据索引文件中包括的第二数据版本信息不一致,且所述第一增量文件更新信息与所述第二数据索引文件中包括的第二增量文件更新信息不一致时,确定需要进行增量更新;

下载单元,用于当确定需要进行增量更新时,根据所述第一数据索引文件包括的是否支持增量式读取信息确定所述数据生成方设备是否支持增量式读取,若支持,则根据所述第一增量文件更新信息以及所述第二增量文件更新信息确定增量文件的新增部分,从所述数据生成方设备下载所述增量文件的新增部分;否则,则从所述数据生成方设备下载增量文件;

同步单元,用于根据所述增量文件的新增部分进行增量数据同步,或根据所下载的增量文件进行增量数据同步;

其中,所述从所述数据生成方设备下载所述增量文件的新增部分,包括:根据所述第一数据索引文件包括的是否支持压缩信息确定所述数据生成方设备是否支持压缩文件传输;

若支持,则当所述增量文件的新增部分包括完整的目标增量文件时,从所述数据生成方设备下载压缩后的所述目标增量文件;则当所述增量文件的新增部分包括非完整的增量文件时,则从所述数据生成方设备下载所述非完整的增量文件的原始文件;

否则,从所述数据生成方设备下载目标增量文件的原始文件。

10.根据权利要求8或9所述的装置,其特征在于,所述第一数据索引文件还包括第一全量文件更新信息以及是否支持压缩信息;

所述比较单元,还用于比较所述第一全量文件更新信息与所述第二数据索引文件中包括的第二全量文件更新信息;

所述确定单元,还用于当所述第一全量文件更新信息与所述第二数据索引文件中包括的第二全量文件更新信息不一致时,根据所述第一数据索引文件包括的是否支持压缩信息确定所述数据生成方设备是否支持压缩文件传输;

所述下载单元,还用于若所述数据生成方设备支持压缩文件传输,则从所述数据生成方设备下载压缩后的全量文件;

所述同步单元,还用于根据所述全量文件的原始文件进行全量数据同步。

11.根据权利要求8或9所述的装置,其特征在于,增量文件更新信息包括增量文件编号和行号;

所述确定单元,具体用于根据第一增量文件编号和行号以及第二增量文件编号和行号,将所述第一增量文件编号和行号到所述第二增量文件编号和行号之间的增量数据确定为增量文件的新增部分。

12.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:第一写入单元,用于当确定满足全量文件生成条件时,对于任一数据类型,当本地数据库中存在该数据类型的数据,将该数据类型的数据写入全量文件;

第一判断单元,用于当数据写入完成时,判断本设备是否支持压缩文件传输;

第一压缩单元,用于若本设备支持压缩文件传输,则对全量文件进行压缩。

13.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:接收单元,用于接收数据更新通知;

第二写入单元,用于当所述接收单元接收到数据更新通知时,根据更新数据的数据类型将更新数据写入增量文件;

第二判断单元,用于当数据写入完成时,判断本设备是否支持压缩文件传输;

第二压缩单元,用于若本设备支持压缩文件传输,则对增量文件进行压缩。

14.根据权利要求13所述的装置,其特征在于,

所述第二压缩单元,具体用于当增量文件支持分片时,对达到预设大小的增量文件分片进行压缩,并拒绝对未达到预设大小的增量文件分片进行压缩。

15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1‑7任一所述方法的步骤。

16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑7任一所述方法的步骤。