1.一种IoT观测数据的在线学习方法,其特征在于,包括:根据获取的初始时序观测数据,初始化在线深度学习模型;
实时获取传感器生成的时序观测数据,根据时序观测数据形成输入数据流;
所述在线深度学习模型处理输入数据流,以生成并输出最终预测结果;
在处理输入数据流的过程中,对输入数据流进行即时学习,实时动态更新在线深度学习模型;
所述即时学习,是基于数据流的均值和方差,学习数据分布,构造准正态分布,重构新的样本,实现变分注意力网络,基于分布差异、重构差异和推理差异,进行模型的动态调整;
所述在线深度学习模型,包括编码器、解码器和结果融合模块,以数据流为输入,输出对下一时刻数据值的预测;
所述编码器,执行两部分操作:
(1)提取隐藏层间的隐藏信息,输入到结果融合模块,进行最终预测值的计算;
(2)以标准正态分布作为目标,编码隐藏信息,通过重参数化设置,输出满足准正态分布的均值 与标准差 ;
所述构造准正态分布,具体为:
编码器尝试将样本携带的所有特征信息的分布转码为准正态分布,尽管准正态分布是以标准正态分布作为目标来编码的,但它通常不能被编码成标准正态分布,这里称该标准正态分布为潜在分布;在该过程中,编码器直接输出满足准正态分布的均值 与标准差作为编码结果,也即,在编码处理中生成的均值 与标准差 ,不是通过均值或标准差定义来计算的,而是直接从编码器输出的;
为保证编码器输出的均值 与标准差 满足标准正态分布,在损失函数中设置惩罚项,一旦基于均值和标准差所反馈的准正态分布和标准正态分布有差异,模型将会受到惩罚机制的影响而做出进一步调整;
因此,在实际的算法操作流程中,编码器负责输出均值和标准差,损失函数确保平均值和标准差符合某种准正态分布,这就等价于将原始数据向准正态分布的方向编码,再输出该准正态分布的均值与标准差,并随机采样生成数据 进行后续的解码器操作;
与此同时,为保证采样数据 的概率分布符合输入样本,首先需要假设存在一个 关于X的后验概率P(Z|X),并进一步假设这个概率分布是正态分布: ,那么采样数据 的概率分布P(Z)为:
因此,P(Z)先验分布和 后验分布都符合标准正态分布;
此外,从标准正态分布 中随机选择样本 ,并将该样本输入解码器;由于这个过程中存在随机采样,使得架构中的梯度信息流是断裂的,反向传播无法通过传统的链式法则进行,因此,设计使用独特的重参数化技巧来完成模型的反向传播,以满足典型神经网络的特性;在重参数化中,采用随机抽样的方法生成一组满足正态分布的变量,从 中取样z,等同于从 中采样ε,然后令 ,因此,应用梯度下降法;最后,解码器对z进行解码,并输出样本x的重构数据;
在编码器的编码阶段,计算每个输入样本 的均值 与方差 ,用来构造准正态分布;
所述在线深度学习模型的损失函数,通过三个损失的加权融合,衡量最终预测值与真实值之间的差异:(1)重构损失 ,衡量真实值和重构值之间的差异,具体公式为:其中, n表示样本个数, x表示原始值, 表示重构值;
(2)KL损失,衡量准正态分布与标准正态分布之间的差异,具体公式为:其中, 代表每个维度生成的均值和方差,k是均值 与方差 的维度数;
(3)预测损失 ,衡量真实值与当前预测值之间的差异,具体公式为:其中,y是真实值,是预测值, 代表t时刻的预测瞬时损失函数。
2.如权利要求1所述的一种IoT观测数据的在线学习方法,其特征在于,所述解码器,从编码器生成的准正态分布中,随机选择样本,输出与数据流的原始特征结构一致的数据。
3.如权利要求1所述的一种IoT观测数据的在线学习方法,其特征在于,所述结果融合模块,将编码器提取的多个特征进行加权融合,得到当前预测值;
其中,权重用于动态调整每个隐藏层的贡献度,通过变分注意力网络,在每次输入样本处理后,实时计算每个隐藏层的权重。
4.如权利要求3所述的一种IoT观测数据的在线学习方法,其特征在于,所述变分注意力网络,根据编码器中每个隐藏层之间的关系以及每个子结构的必要程度,计算每个隐藏层的权重。
5.一种IoT观测数据的在线学习系统,其特征在于,包括初始化模块、获取模块、预测模块和学习模块:初始化模块,被配置为:根据获取的初始时序观测数据,初始化在线深度学习模型;
获取模块,被配置为:实时获取传感器生成的时序观测数据,根据时序观测数据形成输入数据流;
预测模块,被配置为:所述在线深度学习模型处理输入数据流,以生成并输出最终预测结果;
学习模块,被配置为:在处理输入数据流的过程中,对输入数据流进行即时学习,实时动态更新在线深度学习模型;
所述即时学习,是基于数据流的均值和方差,学习数据分布,构造准正态分布,重构新的样本,实现变分注意力网络,基于分布差异、重构差异和推理差异,进行模型的动态调整;
所述在线深度学习模型,包括编码器、解码器和结果融合模块,以数据流为输入,输出对下一时刻数据值的预测;
所述编码器,执行两部分操作:
(1)提取隐藏层间的隐藏信息,输入到结果融合模块,进行最终预测值的计算;
(2)以标准正态分布作为目标,编码隐藏信息,通过重参数化设置,输出满足准正态分布的均值 与标准差 ;
所述构造准正态分布,具体为:
编码器尝试将样本携带的所有特征信息的分布转码为准正态分布,尽管准正态分布是以标准正态分布作为目标来编码的,但它通常不能被编码成标准正态分布,这里称该标准正态分布为潜在分布;在该过程中,编码器直接输出满足准正态分布的均值 与标准差作为编码结果,也即,在编码处理中生成的均值 与标准差 ,不是通过均值或标准差定义来计算的,而是直接从编码器输出的;
为保证编码器输出的均值 与标准差 满足标准正态分布,在损失函数中设置惩罚项,一旦基于均值和标准差所反馈的准正态分布和标准正态分布有差异,模型将会受到惩罚机制的影响而做出进一步调整;
因此,在实际的算法操作流程中,编码器负责输出均值和标准差,损失函数确保平均值和标准差符合某种准正态分布,这就等价于将原始数据向准正态分布的方向编码,再输出该准正态分布的均值与标准差,并随机采样生成数据 进行后续的解码器操作;
与此同时,为保证采样数据 的概率分布符合输入样本,首先需要假设存在一个 关于X的后验概率P(Z|X),并进一步假设这个概率分布是正态分布: ,那么采样数据 的概率分布P(Z)为:
因此,P(Z)先验分布和 后验分布都符合标准正态分布;
此外,从标准正态分布 中随机选择样本 ,并将该样本输入解码器;由于这个过程中存在随机采样,使得架构中的梯度信息流是断裂的,反向传播无法通过传统的链式法则进行,因此,设计使用独特的重参数化技巧来完成模型的反向传播,以满足典型神经网络的特性;在重参数化中,采用随机抽样的方法生成一组满足正态分布的变量,从 中取样z,等同于从 中采样ε,然后令 ,因此,应用梯度下降法;最后,解码器对z进行解码,并输出样本x的重构数据;
在编码器的编码阶段,计算每个输入样本 的均值 与方差 ,用来构造准正态分布;
所述在线深度学习模型的损失函数,通过三个损失的加权融合,衡量最终预测值与真实值之间的差异:(1)重构损失 ,衡量真实值和重构值之间的差异,具体公式为:其中, n表示样本个数, x表示原始值, 表示重构值;
(2)KL损失,衡量准正态分布与标准正态分布之间的差异,具体公式为:其中, 代表每个维度生成的均值和方差,k是均值 与方差 的维度数;
(3)预测损失 ,衡量真实值与当前预测值之间的差异,具体公式为:其中,y是真实值,是预测值, 代表t时刻的预测瞬时损失函数。
6.一种电子设备,其特征是,包括:
存储器,用于非暂时性存储计算机可读指令;以及
处理器,用于运行所述计算机可读指令,
其中,所述计算机可读指令被所述处理器运行时,执行上述权利要求1‑4任一项所述的方法。
7.一种存储介质,其特征是,非暂时性地存储计算机可读指令,其中,当所述非暂时性计算机可读指令由计算机执行时,执行权利要求1‑4任一项所述方法的指令。