1.一种面向交通工程建造的多源异构数据集成存储方法,其特征在于,所述方法包括:采集交通工程建造过程中的多源异构数据,并对所述多源异构数据进行标准化处理,得到标准化数据;
对所述标准化数据进行特征提取,得到每条所述标准化数据的特征向量;
根据所述特征向量,对所述标准化数据进行聚类分析,并基于聚类结果,对所述标准化数据进行隶属度分析,得到每条所述标准化数据的特征聚类簇和主特征聚类簇;
对于历史多源异构数据,根据所述主特征聚类簇,进行数据类型的划分;
对于实时获取的新多源异构数据,分析所述特征聚类簇中所述标准化数据的分布特征,结合所述隶属度,得到所述新多源异构数据与每个所述特征聚类簇中心之间的修正隶属度;
将实时获取的新多源异构数据中某条新标准化数据对应的特征聚类簇中仅包含主特征聚类簇时,判定为单类别数据;
根据所述修正隶属度,对除单类别数据之外的所述新多源异构数据进行数据类型的划分得到修正主特征聚类簇;将新标准化数据划分到对应主特征聚类簇对应的存储节点中进行存储;
对于实时获取的新多源异构数据,分析所述特征聚类簇中所述标准化数据的分布特征,结合所述隶属度,得到所述新多源异构数据与每个所述特征聚类簇中心之间的修正隶属度,包括:对于实时获取的新多源异构数据,首先进行标准化处理和特征提取,然后进行隶属度分析,得到新多源异构数据中每条新标准化数据对应的原始隶属度和原始特征聚类簇;
结合所述原始隶属度,分析所述特征聚类簇中历史标准化数据的数量,和新标准化数据对应的所有原始特征聚类簇中历史标准化数据的总数量之间的比例关系,得到所述特征聚类簇中所述标准化数据的分布特征;
将所述分布特征作为权重,对所述原始隶属度进行加权处理,得到所述新多源异构数据中新标准化数据与每个所述特征聚类簇中心之间的修正隶属度;
结合所述原始隶属度,分析所述特征聚类簇中历史标准化数据的数量,和新标准化数据对应的所有原始特征聚类簇中历史标准化数据的总数量之间的比例关系,得到所述特征聚类簇中所述标准化数据的分布特征,包括:获取所述特征聚类簇中历史标准化数据的数量;
获取新标准化数据对应的所有原始特征聚类簇中历史标准化数据的总数量;
将所述原始隶属度作为权重,对所述总数量进行处理,得到加权总数量;
计算所述数量与所述加权总数量之间的比例关系,得到所述特征聚类簇中所述标准化数据的分布特征;
构建新多源异构数据中新标准化数据与每个特征聚类簇中心之间的修正隶属度计算公式为:式中, 表示第 条新标准化数据与第 个聚类簇之间的修正隶属度; 为表示第条新标准化数据与第 个聚类簇之间的原始隶属度; 表示第 个聚类簇中历史标准化数据的数量; 表示第 条新标准化数据所包含的聚类簇的数量,即第 条新标准化数据的原始特征聚类簇的数量; 表示第 条新标准化数据与第 个原始特征聚类簇之间的原始隶属度; 为第 条新标准化数据的第 个原始特征聚类簇的中历史标准化数据的数量。
2.根据权利要求1所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,对所述多源异构数据进行标准化处理,之前还包括:对所述多源异构数据进行数据清洗。
3.根据权利要求2所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,对所述多源异构数据进行标准化处理,包括:将所述多源异构数据全部转化为十进制的数据,得到标准化数据。
4.根据权利要求1所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,对所述标准化数据进行特征提取,得到每条所述标准化数据的特征向量,包括:提取每条所述标准化数据的数据特征,所述数据特征包括峰值个数、最大峰值和相邻两峰值间的时间差;
将所述数据特征整合为一个特征向量,作为每条所述标准化数据的特征向量。
5.根据权利要求1所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,根据所述特征向量,对所述标准化数据进行聚类分析,包括:根据所述特征向量,采用手肘法,确定每条所述标准化数据进行K‑means聚类的K值;
根据所述K值,通过模糊C均值聚类算法,对所述标准化数据进行聚类,得到每条所述标准化数据的K个聚类簇。
6.根据权利要求5所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,基于聚类结果,对所述标准化数据进行隶属度分析,得到每条所述标准化数据的特征聚类簇和主特征聚类簇,包括:获取所述标准化数据到每个所述聚类簇中心的欧式距离;
分析所述标准化数据到所述聚类簇中心的欧氏距离与到所有所述聚类簇中心的欧氏距离加和之间的距离比率关系,得到所述标准化数据与所述聚类簇中心之间的隶属度;
设置隶属度阈值,将所述标准化数据对应的所述隶属度大于所述隶属度阈值对应的所述聚类簇,记为所述标准化数据的特征聚类簇;
将所述标准化数据对应的最大隶属度对应的所述聚类簇,记为所述标准化数据的主特征聚类簇。
7.根据权利要求1所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,对于历史多源异构数据,根据所述主特征聚类簇,进行数据类型的划分,包括:对于历史多源异构数据,将所述标准化数据对应的所述主特征聚类簇相同的数据,划分为一个数据类型。
8.根据权利要求1所述的面向交通工程建造的多源异构数据集成存储方法,其特征在于,根据所述修正隶属度,对所述新多源异构数据进行数据类型的划分,包括:设置隶属度阈值,将所述新标准化数据对应的所述修正隶属度大于所述隶属度阈值对应的所述原始特征聚类簇,记为所述新标准化数据的修正特征聚类簇;
将所述新标准化数据对应的最大修正隶属度对应的所述原始特征聚类簇,记为所述新标准化数据的修正主特征聚类簇;
将所述新标准化数据划分到其对应的修正主特征聚类簇所属的数据类型中。