1.一种索引数据的存储方法,其特征在于,用于存储系统中的管理组件,所述存储系统还包括x个存储节点,且每个所述存储节点包括至少一个存储单元,所述x个存储节点共包括n个所述存储单元,且任意两个所述存储单元的存储路径不同,x≥1,n≥2,所述方法包括:根据所述存储单元的总数n确定主分片个数m,1<m≤n;
获取索引数据;
根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,其中,所述索引数据由m个主分片数据组成,所述m个主分片数据分别存储在所述m个存储单元上。
2.根据权利要求1所述的方法,其特征在于,所述根据所述存储单元的总数n确定主分片个数m,包括:判断所述存储单元的总数n是否小于或等于预设数量阈值;
在所述存储单元的总数n小于或等于所述预设数量阈值时,确定m=n;
在所述存储单元的总数n大于所述预设数量阈值时,根据预设公式确定m,m
其中,所述预设数量阈值为 所述p为所述存储系统中存储节点的最小系统物理核数。
3.根据权利要求2所述的方法,其特征在于,在所述获取索引数据之后,所述方法还包括:在所述存储节点的总数x大于1时,生成所述m个主分片数据中每个主分片数据的y个副本数据,1≤y<x,且在所述存储单元的总数n大于所述预设数量阈值时,n≥m+y·m;
在所述存储系统中存储生成的y·m个副本数据,使得每个所述主分片数据与其副本数据位于不同的所述存储节点上,且每个所述存储节点上存储的任意两个副本数据不同。
4.根据权利要求3所述的方法,其特征在于,所述在所述存储系统中存储生成的y·m个副本数据,包括:在所述存储单元的总数n小于或等于所述预设数量阈值时,将所述y·m个副本数据分为m组副本数据,并在所述m个存储单元上分别存储所述m组副本数据;
在所述存储单元的总数n大于所述预设数量阈值时,在所述存储系统中除所述m个存储单元之外的y·m个存储单元上分别存储生成的y·m个副本数据。
5.根据权利要求4所述的方法,其特征在于,所述m个存储单元和所述y·m个存储单元位于多个存储节点上,所述多个存储节点中的每个存储节点上均存储有主分片数据。
6.根据权利要求3所述的方法,其特征在于,
所述预设公式为: 表示对 向下取整。
7.根据权利要求1至6任一所述的方法,其特征在于,所述获取索引数据,包括:根据所述主分片个数m以及待生成的索引数据,生成所述m个主分片数据;
所述根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,包括:在所述m个存储单元上分别存储生成的所述m个主分片数据。
8.根据权利要求1至6任一所述的方法,其特征在于,所述根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,包括:在所述存储系统中存储所述索引数据;
根据所述主分片个数m将所述存储系统中存储的索引数据切分为m个主分片数据;
对所述m个主分片数据中的至少一个主分片数据进行迁移,以使得所述m个主分片数据分别存储在所述m个存储单元上。
9.根据权利要求1所述的方法,其特征在于,
每个所述存储节点上均设置有弹性搜索ES组件,所述管理组件为任一所述存储节点上的ES组件,所述存储单元为磁盘。
10.一种索引数据的存储装置,其特征在于,用于存储系统中的管理组件,所述存储系统还包括x个存储节点,且每个所述存储节点包括至少一个存储单元,所述x个存储节点共包括n个所述存储单元,且任意两个所述存储单元的存储路径不同,x≥1,n≥2,所述索引数据的存储装置包括:确定模块,用于根据所述存储单元的总数n确定主分片个数m,1<m≤n;
获取模块,用于获取索引数据;
第一存储模块,用于根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,其中,所述索引数据由m个主分片数据组成,所述m个主分片数据分别存储在所述m个存储单元上。
11.根据权利要求10所述的索引数据的存储装置,其特征在于,所述确定模块用于:判断所述存储单元的总数n是否小于或等于预设数量阈值;
在所述存储单元的总数n小于或等于所述预设数量阈值时,确定m=n;
在所述存储单元的总数n大于所述预设数量阈值时,根据预设公式确定m,m
其中,所述预设数量阈值为 所述p为所述存储系统中存储节点的最小系统物理核数。
12.根据权利要求11所述的索引数据的存储装置,其特征在于,所述索引数据的存储装置还包括:生成模块,用于在所述存储系统中存储节点的总数大于1时,生成所述m个主分片数据中每个主分片数据的y个副本数据,1≤y<x,且在所述存储单元的总数n大于所述预设数量阈值时,n≥m+y·m;
第二存储模块,用于在所述存储系统中存储生成的y·m个副本数据,使得每个所述主分片数据与其副本数据位于不同的所述存储节点上,且每个所述存储节点上存储的任意两个副本数据不同。
13.根据权利要求12所述的索引数据的存储装置,其特征在于,所述第二存储模块用于:在所述存储单元的总数n小于或等于所述预设数量阈值时,将所述y·m个副本数据分为m组副本数据,并在所述m个存储单元上分别存储所述m组副本数据;
在所述存储单元的总数n大于所述预设数量阈值时,在所述存储系统中除所述m个存储单元之外的y·m个存储单元上分别存储生成的y·m个副本数据。
14.根据权利要求13所述的索引数据的存储装置,其特征在于,所述m个存储单元和所述y·m个存储单元位于多个存储节点上,所述多个存储节点中的每个存储节点上均存储有主分片数据。
15.根据权利要求12所述的索引数据的存储装置,其特征在于,所述预设公式为: 表示对 向下取整。
16.根据权利要求10至15任一所述的索引数据的存储装置,其特征在于,所述获取模块用于:根据所述主分片个数m以及待生成的索引数据,生成所述m个主分片数据;
所述根据所述主分片个数m,在所述存储系统中的m个存储单元上存储所述索引数据,包括:在所述m个存储单元上分别存储生成的所述m个主分片数据。
17.根据权利要求10至15任一所述的索引数据的存储装置,其特征在于,所述第一存储模块用于:在所述存储系统中存储所述索引数据;
根据所述主分片个数m将所述存储系统中存储的索引数据切分为m个主分片数据;
对所述m个主分片数据中的至少一个主分片数据进行迁移,以使得所述m个主分片数据分别存储在所述m个存储单元上。
18.根据权利要求10所述的索引数据的存储装置,其特征在于,每个所述存储节点上均设置有弹性搜索ES组件,所述管理组件为任一所述存储节点上的ES组件,所述存储单元为磁盘。
19.一种计算机设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现权利要求1至9任一所述的索引数据的存储方法。
20.一种数据传输系统,其特征在于,所述数据传输系统包括:管理组件和x个存储节点,每个所述存储节点均包括具有不同存储路径的多个存储单元,所述管理组件包括权利要求10至18任一所述的索引数据的存储装置;
或者,所述管理组件包括权利要求19所述的计算机设备。