利索能及
我要发布
收藏
专利号: 2017114821515
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种索引数据的存储方法,其特征在于,用于存储系统中的管理组件,所述存储系统还包括x个存储节点,且每个所述存储节点包括至少一个存储单元,所述x个存储节点共包括n个所述存储单元,且任意两个所述存储单元的存储路径不同,x≥1,n≥2,所述方法包括:根据所述存储单元的总数n确定主分片个数m,1<m≤n;

获取索引数据;

根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,其中,所述索引数据由m个主分片数据组成,所述m个主分片数据分别存储在所述m个存储单元上。

2.根据权利要求1所述的方法,其特征在于,所述根据所述存储单元的总数n确定主分片个数m,包括:判断所述存储单元的总数n是否小于或等于预设数量阈值;

在所述存储单元的总数n小于或等于所述预设数量阈值时,确定m=n;

在所述存储单元的总数n大于所述预设数量阈值时,根据预设公式确定m,m

其中,所述预设数量阈值为 所述p为所述存储系统中存储节点的最小系统物理核数。

3.根据权利要求2所述的方法,其特征在于,在所述获取索引数据之后,所述方法还包括:在所述存储节点的总数x大于1时,生成所述m个主分片数据中每个主分片数据的y个副本数据,1≤y<x,且在所述存储单元的总数n大于所述预设数量阈值时,n≥m+y·m;

在所述存储系统中存储生成的y·m个副本数据,使得每个所述主分片数据与其副本数据位于不同的所述存储节点上,且每个所述存储节点上存储的任意两个副本数据不同。

4.根据权利要求3所述的方法,其特征在于,所述在所述存储系统中存储生成的y·m个副本数据,包括:在所述存储单元的总数n小于或等于所述预设数量阈值时,将所述y·m个副本数据分为m组副本数据,并在所述m个存储单元上分别存储所述m组副本数据;

在所述存储单元的总数n大于所述预设数量阈值时,在所述存储系统中除所述m个存储单元之外的y·m个存储单元上分别存储生成的y·m个副本数据。

5.根据权利要求4所述的方法,其特征在于,所述m个存储单元和所述y·m个存储单元位于多个存储节点上,所述多个存储节点中的每个存储节点上均存储有主分片数据。

6.根据权利要求3所述的方法,其特征在于,

所述预设公式为: 表示对 向下取整。

7.根据权利要求1至6任一所述的方法,其特征在于,所述获取索引数据,包括:根据所述主分片个数m以及待生成的索引数据,生成所述m个主分片数据;

所述根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,包括:在所述m个存储单元上分别存储生成的所述m个主分片数据。

8.根据权利要求1至6任一所述的方法,其特征在于,所述根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,包括:在所述存储系统中存储所述索引数据;

根据所述主分片个数m将所述存储系统中存储的索引数据切分为m个主分片数据;

对所述m个主分片数据中的至少一个主分片数据进行迁移,以使得所述m个主分片数据分别存储在所述m个存储单元上。

9.根据权利要求1所述的方法,其特征在于,

每个所述存储节点上均设置有弹性搜索ES组件,所述管理组件为任一所述存储节点上的ES组件,所述存储单元为磁盘。

10.一种索引数据的存储装置,其特征在于,用于存储系统中的管理组件,所述存储系统还包括x个存储节点,且每个所述存储节点包括至少一个存储单元,所述x个存储节点共包括n个所述存储单元,且任意两个所述存储单元的存储路径不同,x≥1,n≥2,所述索引数据的存储装置包括:确定模块,用于根据所述存储单元的总数n确定主分片个数m,1<m≤n;

获取模块,用于获取索引数据;

第一存储模块,用于根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,其中,所述索引数据由m个主分片数据组成,所述m个主分片数据分别存储在所述m个存储单元上。

11.根据权利要求10所述的索引数据的存储装置,其特征在于,所述确定模块用于:判断所述存储单元的总数n是否小于或等于预设数量阈值;

在所述存储单元的总数n小于或等于所述预设数量阈值时,确定m=n;

在所述存储单元的总数n大于所述预设数量阈值时,根据预设公式确定m,m

其中,所述预设数量阈值为 所述p为所述存储系统中存储节点的最小系统物理核数。

12.根据权利要求11所述的索引数据的存储装置,其特征在于,所述索引数据的存储装置还包括:生成模块,用于在所述存储系统中存储节点的总数大于1时,生成所述m个主分片数据中每个主分片数据的y个副本数据,1≤y<x,且在所述存储单元的总数n大于所述预设数量阈值时,n≥m+y·m;

第二存储模块,用于在所述存储系统中存储生成的y·m个副本数据,使得每个所述主分片数据与其副本数据位于不同的所述存储节点上,且每个所述存储节点上存储的任意两个副本数据不同。

13.根据权利要求12所述的索引数据的存储装置,其特征在于,所述第二存储模块用于:在所述存储单元的总数n小于或等于所述预设数量阈值时,将所述y·m个副本数据分为m组副本数据,并在所述m个存储单元上分别存储所述m组副本数据;

在所述存储单元的总数n大于所述预设数量阈值时,在所述存储系统中除所述m个存储单元之外的y·m个存储单元上分别存储生成的y·m个副本数据。

14.根据权利要求13所述的索引数据的存储装置,其特征在于,所述m个存储单元和所述y·m个存储单元位于多个存储节点上,所述多个存储节点中的每个存储节点上均存储有主分片数据。

15.根据权利要求12所述的索引数据的存储装置,其特征在于,所述预设公式为: 表示对 向下取整。

16.根据权利要求10至15任一所述的索引数据的存储装置,其特征在于,所述获取模块用于:根据所述主分片个数m以及待生成的索引数据,生成所述m个主分片数据;

所述根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,包括:在所述m个存储单元上分别存储生成的所述m个主分片数据。

17.根据权利要求10至15任一所述的索引数据的存储装置,其特征在于,所述第一存储模块用于:在所述存储系统中存储所述索引数据;

根据所述主分片个数m将所述存储系统中存储的索引数据切分为m个主分片数据;

对所述m个主分片数据中的至少一个主分片数据进行迁移,以使得所述m个主分片数据分别存储在所述m个存储单元上。

18.根据权利要求10所述的索引数据的存储装置,其特征在于,每个所述存储节点上均设置有弹性搜索ES组件,所述管理组件为任一所述存储节点上的ES组件,所述存储单元为磁盘。

19.一种计算机设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现权利要求1至9任一所述的索引数据的存储方法。

20.一种数据传输系统,其特征在于,所述数据传输系统包括:管理组件和x个存储节点,每个所述存储节点均包括具有不同存储路径的多个存储单元,所述管理组件包括权利要求10至18任一所述的索引数据的存储装置;

或者,所述管理组件包括权利要求19所述的计算机设备。