1.一种基于数据质量的多模态异构数据存储方法,其特征在于,包括以下步骤:
1)将来源于互联网数据的原始数据以key‑value格式在原始数据库中进行分布式存储;所述的原始数据包括原始文本类数据和原始多媒体类数据;
2)将原始多媒体类数据进行数据建模,以文件的形式在文件数据库中进行分布式存储;
3)将原始文本数据通过事件抽取、实体链接、不完备数据填补数据集成方法进行数据转换,转换为关系型数据,并针对关系数据进行建模,构建关系数据库;
4)将关系数据库中的相互之间具有关联关系的实体以及实体之间的关系进行建模,构建图数据库;
5)关系数据库中各个实体的活动数据具有典型的时序特征,将活动数据以链式的结构进行数据建模,构建链式数据库;
6)将多媒体数据中的视频数据、音频数据通过数据转换方法转换为文本数据,并以文件形式存储于多媒体数据库,以及以key‑value格式存储于原始数据库;
7)根据数据质量,对不同的分布式数据库进行数据库优化,通过构建多级索引结构将各个子数据库的实体数据进行链接,保证数据的一致性;
8)针对数据集成方法以及各个子数据库构建多模态数据库的日志文件维护体系。
2.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤1)中,将原始本文数据以key‑value格式在原始数据库中进行分布式存储具体方法如下:
2.1)使用MongoDB数据库系统作为key‑value数据存储的数据库系统;
2.2)使用MongoDB中的MongoDB Replica Set作为原始数据库的分布式存储解决方案。
3.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤2)中,将多媒体数据根据数据源类型,即视频、音频或图片数据根据数据源对应的存储节点存储至分布式文件系统中。
4.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤3)中,构建关系数据库具体方法如下:
3.1)通过关系抽取、实体链接、不完备数据填补这三种数据集成方法将原始文本数据转化为关系型数据;
3.2)使用MySQL数据库系统作为关系数据存储的数据库系统;
3.3)使用MySQL Cluster作为关系数据库的分布式存储解决方案。
5.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤4)中,构建图数据库具体方法如下:
4.1)使用HBase作为底层图数据存储方案;
4.2)使用Neo4j作为图数据库可视化查询方案;
4.3)将关系数据库中的实体通过实体之间的关系进行建模。
6.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤5)中,构建链式数据库具体方法如下:链式数据库使用MySQL以及HDFS作为数据存储方案,存储至链式数据库中;其中,联盟链采用MySQL存储结构化数据,私有链采用HDFS存储半结构化、非结构化数据。
7.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤6)中多媒体数据存储具体方法如下:
6.1)根据多媒体数据源从互联网中爬取相关的多媒体数据,包括视频、音频、图像、文本;根据数据属性设计多媒体数据索引表,根据数据源、数据类型、存储节点、存储路径、文件名属性,可以通过索引表定位到多媒体数据的具体位置,将索引表以结构化数据形式存储至关系数据库中;
6.2)设计数据转换存储模型,将视频数据通过“视频‑>音频‑>文本”过程转换为文本数据;将音频数据通过“音频‑>文本”过程转换为文本数据;将图像数据通过“图像‑>文本”过程转换为文本数据;并存储到原始数据库和多媒体数据库中。
8.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤7)中,多级索引结构由全局索引和局部索引构成;其动态维护过程如下:全局索引原始数据库、关系数据库、图数据库、链式数据库以及多媒体数据库之间构建主外键索引,将各子数据库进行有效链接,实现相关数据的查询操作;局部索引将上述各数据库中构建各自独立的索引结构,实现各子数据库内容的局部索引;
各子数据库索引模块如下:原始数据库局部索引模块,将数据的每一个key建立索引,并将索引字段设置分片键,通过索引提高查询效率;
关系数据库局部索引模块,将数据中常用字段建立索引,图数据库局部索引模块,通过Apache Phoenix进行二级索引构建,在Phoenix建立与HBase中表的映射,实现在Phoenix操作HBase的表,通过索引提高查询效率;
链式数据库局部索引模块,主要分为名称索引、排序建立、动态增量更新部分;按照特定字段建立名称索引,同时按照时间顺序构建联盟链,并且数据动态增量更新;
多媒体数据库局部索引模块,将多媒体数据的基本信息,包括数据的存储结点信息、路径、文件名、扩展名信息,构建出局部索引结构并存储在关系数据库中,根据数据源、数据类型、存储节点、存储路径、文件名属性,可以通过索引表定位到多媒体数据的具体位置。
9.根据权利要求1所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,所述步骤8)中,日志文件维护的具体方法如下:日志文件维护分为多模态数据库的日志文件维护与数据集成的日志文件维护;其中,多模态数据库的日志文件维护包括关系数据库的日志文件维护、图数据库的日志文件维护、链式数据库的日志文件维护以及原始数据库的日志文件维护;数据集成的日志文件维护包括事件抽取的日志文件维护、实体链接的日志文件维护、不完备数据填补的日志文件维护以及数据一致性的日志文件维护。
10.一种基于数据质量的多模态异构数据存储系统,用于实现如权利要求1‑9中任一项所述的一种基于数据质量的多模态异构数据存储方法,其特征在于,包括:原始数据库:用于存储来源于互联网数据的原始数据,存储格式为:key‑value格式;
关系数据库:用于将原始数据库中的key‑value数据转换为关系型数据,再建模存储;
图数据库:用于将关系数据库中相关联的实体以及实体之间的关系图形化并存储;
多媒体数据库:用于存储转换为文本格式的视频数据、音频数据;
链式数据库:用于存储关系数据库中各个实体活动数据的链式结构。