1.一种数据处理系统,其特征在于,所述数据处理系统包括多个执行端和驱动端,所述多个执行端中每个执行端包括缓存区,所述缓存区中管理有多个块,所述多个块中每个块用于缓存一个弹性分布式数据集RDD中的部分数据;
所述驱动端用于响应于数据处理请求确定目标执行端,向所述目标执行端下发弹性分布式数据集RDD算子,所述RDD算子指示所述目标执行端的数据处理流程和所述数据处理请求的运算逻辑;
所述目标执行端用于基于所述RDD算子向所述目标执行端管理的多个块中每个块下发数据过滤算子,所述数据过滤算子指示所述数据处理请求的运算逻辑,以将计算任务下发给每个块,由每个块基于所述数据过滤算子执行所述计算任务,以对自身存储的数据进行过滤并返回数据过滤结果;
所述目标执行端还用于接收所管理的多个块中每个块返回的数据过滤结果,基于每个块返回的数据过滤结果确定数据处理结果,向所述驱动端返回所述数据处理结果。
2.如权利要求1所述的系统,其特征在于,所述驱动端包括RDD控制模块和分区RDD控制模块;
所述RDD控制模块用于响应于所述数据处理请求,确定目标RDD,所述目标RDD包括所述数据处理请求所需的数据;
所述RDD控制模块还用于基于所述目标RDD,确定目标分区RDD,所述目标分区RDD为所述目标RDD包括的多个分区RDD中的一个分区RDD;
所述RDD控制模块还用于向所述目标分区RDD对应的分区RDD控制模块下发操作算子,所述操作算子指示所述分区RDD控制模块控制所述目标分区RDD对应的目标执行端;
所述分区RDD控制模块用于基于所述目标分区RDD确定所述目标执行端,向所述目标执行端下发所述RDD算子。
3.如权利要求1所述的系统,其特征在于,所述目标执行端还包括迭代器;
所述驱动端用于:
基于所述迭代器逐步迭代处理每个块返回的数据过滤结果中每条数据,在确定所有数据过滤结果中的数据迭代完成后,得到所述数据处理结果。
4.如权利要求1至3任一所述的系统,其特征在于,
所述驱动端还用于响应于所述数据处理请求确定目标RDD的标识,所述目标RDD包括所述数据处理请求所需的数据;
所述驱动端还用于基于所述目标RDD的标识控制目标执行端将所述目标RDD中包括的数据加载至所述缓存区中块中。
5.如权利要求1所述的系统,其特征在于,所述驱动端还用于:响应于缓存区配置指令,确定目标存储介质类型;
基于所述目标存储介质类型配置所述缓存区。
6.如权利要求1所述的系统,其特征在于,所述驱动端还用于:响应于缓存区配置指令,确定目标数据存储方式,所述目标数据存储方式为所述缓存区中的数据存储方式。
7.一种数据处理方法,其特征在于,所述方法由数据处理系统中的驱动端来执行,所述数据处理系统还包括多个执行端,所述多个执行端中每个执行端包括缓存区,所述缓存区中管理有多个块,所述多个块中每个块用于缓存一个弹性分布式数据集RDD中的部分数据;
所述方法包括:
所述驱动端响应于数据处理请求确定目标执行端,向所述目标执行端下发弹性分布式数据集RDD算子;
其中,所述RDD算子指示所述目标执行端的数据处理流程和所述数据处理请求的运算逻辑,以使所述目标执行端用于基于所述RDD算子向所述目标执行端管理的多个块中每个块下发数据过滤算子,所述数据过滤算子指示所述数据处理请求的运算逻辑,以将计算任务下发给每个块,由每个块基于所述数据过滤算子执行所述计算任务,以对自身存储的数据进行过滤并返回给所述目标执行端数据过滤结果;
所述驱动端接收所述目标执行端返回的数据处理结果,所述数据处理结果是所述目标执行端基于所管理的各个块返回的数据过滤结果确定的。
8.如权利要求7所述的方法,其特征在于,所述驱动端包括RDD控制模块和分区RDD控制模块;
所述驱动端响应于数据处理请求确定目标执行端,向所述目标执行端下发弹性分布式数据集RDD算子,包括:所述RDD控制模块响应于所述数据处理请求,确定目标RDD,所述目标RDD包括所述数据处理请求所需的数据;
所述RDD控制模块基于所述目标RDD,确定目标分区RDD,所述目标分区RDD为所述目标RDD包括的多个分区RDD中的一个分区RDD;
所述RDD控制模块向所述目标分区RDD对应的分区RDD控制模块下发操作算子,所述操作算子指示所述分区RDD控制模块控制所述目标分区RDD对应的目标执行端;
所述分区RDD控制模块基于所述目标分区RDD确定所述目标执行端,向所述目标执行端下发所述RDD算子。
9.如权利要求7所述的方法,其特征在于,所述目标执行端还包括迭代器;
所述数据处理结果是所述目标执行端基于所述迭代器逐步迭代处理所管理的各个块返回的数据过滤结果中每条数据,在确定所有数据过滤结果中的数据迭代完成后,得到所述数据处理结果。
10.如权利要求7至9任一所述的方法,其特征在于,所述驱动端响应于数据处理请求确定目标执行端,向所述目标执行端下发弹性分布式数据集RDD算子之前,所述方法还包括:响应于所述数据处理请求确定目标RDD的标识,所述目标RDD包括所述数据处理请求所需的数据;
基于所述目标RDD的标识控制目标执行端将所述目标RDD中包括的数据加载至所述缓存区中块中。
11.如权利要求7所述的方法,其特征在于,所述方法还包括:响应于缓存区配置指令,确定目标存储介质类型;
基于所述目标存储介质类型配置所述缓存区。
12.如权利要求7所述的方法,其特征在于,所述方法还包括:响应于缓存区配置指令,确定目标数据存储方式,所述目标数据存储方式为所述缓存区中的数据存储方式。
13.一种数据处理装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述权利要求7至权利要求12中的任一项权利要求所述的方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述权利要求7至权利要求12中的任一项权利要求所述的方法的步骤。