利索能及
我要发布
收藏
专利号: 2022106425847
申请人: 宇龙计算机通信科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-09-11
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据仓库,其特征在于,包括:

数据来源、数据存储模块和数据服务模块,其中,所述数据存储模块包括第一数据存储装置和流数据处理引擎中的至少一项;所述数据服务模块包括第一数据查询模块、数据分析模块和第二数据查询模块中的至少一项;

当所述数据存储模块包括所述第一数据存储装置时,所述第一数据存储装置,通过流处理平台与所述数据来源通信连接,以用于从所述数据来源获取实时数据,并对所述实时数据进行持久化存储;

当所述数据服务模块包括所述第一数据查询模块时,所述第一数据查询模块与所述第一数据存储装置通信连接,所述第一数据查询模块用于在接收到用户的第一查询请求时,根据所述第一查询请求查询所述第一数据存储装置,并对查询到的历史离线数据进行显示,其中,所述第一查询请求用于查询所述历史离线数据;

当所述数据服务模块包括所述数据分析模块时,所述数据分析模块与所述第一数据存储装置通信连接,所述数据分析模块用于在接收到用户的历史离线数据分析请求时,根据所述历史离线数据分析请求从所述第一数据存储装置获取历史离线数据并对获取到的历史离线数据进行分析显示;

当所述数据存储装置包括所述流数据处理引擎,所述数据服务模块包括所述第二数据查询模块时,所述流数据处理引擎用于从所述流处理平台获取实时数据,从所述第一数据存储装置获取历史离线数据,以对所述实时数据和所述历史离线数据执行数据处理,并将处理后的历史离线数据通过所述流处理平台写入所述第一数据存储装置,将处理后的实时数据写入所述第二数据查询模块;

所述第二数据查询模块用于接收用户的第二查询请求,并根据所述第二查询请求对查询到的实时数据进行显示,其中,所述第二查询请求用于查询所述实时数据。

2.根据权利要求1所述的数据仓库,其特征在于,所述数据存储模块还包括第二数据存储装置,所述第二数据存储装置通过所述流处理平台与所述数据来源通信连接,所述第二数据存储装置用于通过所述流处理平台从所述数据来源获取实时数据,并将获取到的实时数据执行持久化存储,以作为所述第一数据存储装置中数据的备份数据。

3.根据权利要求1所述的数据仓库,其特征在于,所述数据来源包括业务系统的关系型数据库、终端埋点日志和线上服务日志中的至少一种;所述流处理平台包括Kafka流处理平台;所述第一数据存储装置包括Clickhouse;

所述Clickhouse,通过所述Kafka流处理平台分别与所述业务系统的关系型数据库、所述终端埋点日志和所述线上服务日志中的至少一个通信连接,以获取所述关系型数据库、所述终端埋点日志和所述线上服务日志中至少一项的实时数据。

4.根据权利要求3所述的数据仓库,其特征在于,所述Clickhouse包括贴源层ODS、明细数据表DWD和数据仓库服务DWS;

其中,所述贴源层ODS用于通过Clickhouse connector从所述Kafka流处理平台获取实时数据,并对所述实时数据执行抽取、清洗转换和/或加载操作后,永久写入所述明细数据表DWD;

若所述明细数据表DWD接收到对永久写入数据的数据聚合和/或数据去重处理请求,则根据所述数据聚合和/或数据去重请求,将所述永久写入数据写入数据仓库服务DWS的聚合表,以用于对所述永久写入数据执行聚合和/或去重处理。

5.根据权利要求4所述的数据仓库,其特征在于,所述贴源层ODS、明细数据表DWD和数据仓库服务DWS中的表格采用相同的命名规则,所述命名规则包括:数据的来源层、数据的物化视图名、主题域名和数据的去向层中的至少一项。

6.根据权利要求4所述的数据仓库,其特征在于,所述贴源层ODS、所述明细数据表DWD和所述数据仓库服务DWS,都分别设置了online服务和replica服务,其中,所述online服务用于接收用户的数据写入请求,并根据所述数据写入请求对待写入数据执行实时写入,所述replica服务用于接收用户的数据读取请求,并根据所述数据读取请求实时读取数据;

所述online服务和所述replica服务还用于对双方的存储数据执行实时同步。

7.根据权利要求4所述的数据仓库,其特征在于,所述Clickhouse为服务集群,所述处理集群包括多个处理终端,所述多个处理终端用于对从所述数据来源获取到的实时数据执行分块并行处理。

8.根据权利要求1所述的数据仓库,其特征在于,所述流数据处理引擎包括Flink,所述Flink用于从所述明细数据表DWD中获取历史离线数据,并将处理后的历史离线数据通过所述Kafka流处理平台存储至所述Clickhouse;

所述Flink还用于从所述Kafka流处理平台中获取实时数据,并将处理后的实时数据存储至所述第二数据存储查询模块,其中,所述第二数据存储查询模块包括Hbase数据库。

9.根据权利要求1所述的数据仓库,其特征在于,所述第一数据查询模块包括superset,所述数据分析模块包括Druid数据处理系统和Pivot可视化工具。

10.一种数据处理系统,其特征在于,包括如权利要求1至9中任一项所述的数据仓库。

11.一种计算机装置,包括处理器和存储器,其特征在于,所述存储器中存储了如权利要求1至9中任一项所述的数据仓库。