1.一种多源异构数据处理方法,所述数据处理方法由计算机执行,其特征在于,包括以下步骤:获取若干种类型的数据样本集,所述数据样本集包括缺失数据和完整数据;
根据所述数据样本集的类型获取相应的初始生成对抗网络;
对所述初始生成对抗网络进行训练,得到若干个训练后的生成对抗网络,所述若干个训练后的生成对抗网络形成多源数据处理模型;
基于所述多源数据处理模型对待处理数据进行数据插补处理和/或数据增强处理。
2.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据样本集的类型获取相应的初始生成对抗网络,包括:对所述数据样本集进行分类处理,确定所述数据样本集的类型信息和大小信息;
根据预设的初始生成对抗网络库,对所述类型信息和所述大小信息进行匹配,得到每个数据样本集对应的初始生成对抗网络。
3.根据权利要求1所述的数据处理方法,其特征在于,所述对所述初始生成对抗网络进行训练,得到若干个训练后的生成对抗网络,包括:以所述缺失数据为输入,以所述完整数据为期望输出,基于预设的数据插补损失函数对所述初始生成对抗网络进行数据插补训练;
基于预设的数据增强损失函数对插补训练后的初始生成对抗网络进行数据增强训练,得到训练后的生成对抗网络。
4.根据权利要求3所述的数据处理方法,其特征在于,所述初始生成对抗网络包括按序相连的辅助编码器、生成器和鉴别器;
所述预设的数据插补损失函数包括:
LE,G=αLE+LG
其中,
LE,G为辅助编码器和生成器联合的第一总损失函数;
LE为辅助编码器的总损失函数,LG为生成器的总损失函数,α为辅助编码器的权重参数;
gen rem
X =G(E(Z,X ,M))
gen rem
LE=||X ⊙M‑X ⊙M||2imp rem gen
X =X ⊙M+X ⊙(1‑M)
其中,
gen rem
Z表示随机向量,M表示矩阵掩码;X 表示生成器生成的生成数据;X 表示缺失数据中imp的剩余数据,X 表示插补数据;
gen rem
E[*]表示分布函数的期望值,||X ⊙M‑X ⊙M||2表示生成数据与剩余数据的重建损imp失,pz(z)表示z的分布,D(X )表示插补数据为真的概率值;
其中,LD表示鉴别器的第二总损失函数;
rem com rem
p(x )表示剩余数据的分布,p(x )表示传感器样本数据的分布; 表示p(x )与pcom com(x )直线之间均匀抽样的分布,D(X )表示完整数据为真的概率值; 表示对鉴别器的梯度惩罚值,λ表示梯度惩罚参数。
5.根据权利要求4所述的数据处理方法,其特征在于,所述基于预设的数据插补损失函数对所述初始生成对抗网络进行数据插补训练,包括:根据所述缺失数据和所述完整数据获取矩阵掩码和随机向量;
将所述缺失数据、所述矩阵掩码和所述随机向量输入到所述初始生成对抗网络中,得到插补数据;
将所述插补数据和所述完整数据输入到鉴别器中,基于所述第二总损失函数进行反向传播;
基于所述第一总损失函数进行反向传播;
迭代训练,直至所述第二总损失函数和所述第一总损失函数收敛。
6.根据权利要求5所述的数据处理方法,其特征在于,所述初始生成对抗网络包括按序相连的辅助编码器、生成器和鉴别器;所述基于预设的数据增强损失函数对插补训练后的初始生成对抗网络进行数据增强训练,包括:将所述完整数据输入到生成器中,得到增强数据;
将所述增强数据和所述完整数据输入到鉴别器中,基于预设的第一增强损失函数进行反向传播;
基于预设的第二增强损失函数进行反向传播;
迭代训练,直至所述第一增强损失函数和所述第二增强损失函数收敛。
7.根据权利要求6所述的数据处理方法,其特征在于,所述预设的数据增强损失函数包括:其中,
L2表示第二增强损失函数;
z表示输入到生成器的随机向量,pz(z)表示z满足的分布;
其中,
L1表示第一增强损失函数;
com com
x 表示输入到鉴别器的完整数据,pdata(x)表示x 满足的分布; 表示对鉴别器的梯度惩罚值,λ表示梯度惩罚参数。
8.一种多源异构数据处理系统,其特征在于,所述系统包括:获取模块,被配置为获取若干种类型的数据样本集,所述数据样本集包括缺失数据和完整数据;
初始生成对抗网络模块,被配置为根据所述数据样本集的类型获取相应的初始生成对抗网络;
训练模块,被配置为对所述初始生成对抗网络进行训练,得到若干个训练后的生成对抗网络,所述若干个训练后的生成对抗网络形成多源数据处理模型;
数据处理模块,被配置为基于所述多源数据处理模型对待处理数据进行数据插补处理和/或数据增强处理。
9.一种计算机可读存储介质,其特征在于,其存储用于基于信息增强的多轮对话生成的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~7任一项所述的多源异构数据处理方法。
10.一种电子设备,其特征在于,包括:一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~7任一项所述的多源异构数据处理方法。