1.一种基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,包括:S1:构建工业物联网联邦学习模型,所述模型包括一个中心服务器和若干个智能设备,并生成每个智能设备对应的数字孪生体,保存在中心服务器中;
S2:根据工业物联网联邦学习模型,计算所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度;
S3:以所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度之和最小化为目标,建立联合带宽分配、数据收集频率和数据计算频率的优化问题;
S4:将所述优化问题转化为马尔科夫决策过程,定义工业物联网联邦学习模型的状态空间、动作空间和回报函数;
S5:基于近端策略优化算法建立深度强化学习网络,利用状态空间、动作空间和回报函数对深度强化学习网络进行训练,获得训练好的深度强化学习网络;
S6:利用训练好的深度强化学习网络进行资源调度,获得最优调度策略,即每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率;
S7:将每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率应用到对应的智能设备。
2.根据权利要求1所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S1中,构建的工业物联网联邦学习模型具体为:工业物联网联邦学习模型包括一个中心服务器和K个智能设备,每个智能设备对应生成数字孪生体,共生成K个数字孪生体保存在中心服务器中;中心服务器向数字孪生体发送联邦学习请求,数字孪生体接收到联邦学习请求后开始进行联邦学习,收集数据并计算,训练本地模型,将训练好的本地模型更新到中心服务器;中心服务器将接收的各本地模型聚合为全局模型;
设定中心服务器最大带宽为Bm,分配给第k个数字孪生体的带宽为Bk,第k个数字孪生体数据收集频率为 第k个数字孪生体数据计算频率为
3.根据权利要求2所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S2中,根据工业物联网联邦学习模型,计算所有智能设备的数字孪生体进行一轮联邦学习的能耗的具体方法为:第k个数字孪生体的每个CPU周期的浮点运算次数为Ck,收集一组数据所需的浮点运算次数为 则每收集一组数据的耗时为:式中, 表示第k个数字孪生体每收集一组数据的耗时;
第k个数字孪生体完成一次联邦学习到接收下一次联邦学习请求的时间间隔为 则数据收集过程的能耗为:式中, 表示第k个数字孪生体数据收集过程的能耗,Pk表示第k个数字孪生体单位时间能耗;
第k个数字孪生体完成一组收集数据的计算并更新所需的浮点运算次数为 则进行一轮数据计算的本地时延为:式中, 表示第k个数字孪生体进行一轮数据计算的本地时延;
第k个数字孪生体将训练好的本地模型上传至中心服务器的上传时间为:式中,D表示训练好的本地模型的数据量,τk表示第k个数字孪生体到中心服务器的信噪比;
则所有智能设备的数字孪生体进行一轮联邦学习的能耗为:
式中,E表示所有智能设备的数字孪生体进行一轮联邦学习的能耗。
4.根据权利要求3所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S2中,根据工业物联网联邦学习模型,计算本地数据新鲜度的具体方法为:设定智能设备的数字孪生体训练本地模需要收集N组数据,数字孪生体接收到联邦学习请求后开始训练本地模型的时刻记为TrainTime;
当数字孪生体接收到联邦学习请求时正处于空闲状态,数据新鲜度为:式中, 表示处于空闲状态的第k个数字孪生体第n组数据的数据新鲜度, 表示第k个数字孪生体第n组数据的保存时刻;
当数字孪生体接收到联邦学习请求时正在收集第i组数据,则数据由第i组数据和上一轮N‑i组数据组成,数据新鲜度为:式中,i<N。
5.根据权利要求3所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S2中,根据工业物联网联邦学习模型,计算模型参数新鲜度的具体方法为:设定中心服务器等待时间阈值Tastrict,当且仅当 时,第k个数字孪生体上传的训练好的本地模型被中心服务器接收,否则视为该数字孪生体掉队;K个数字孪生体均在Tastrict内完成训练好的本地模型参数的上传,完成上传时刻的模型参数新鲜度为:式中, 表示第m个训练好的本地模型完成上传时刻的模型参数新鲜度, 表示第m个训练好的本地模型上传至中心服务器的上传时间;
中心服务器保存第m个训练好的本地模型的模型参数的时刻记为tsc(t),中心服务器开始全局模型聚合的时刻记为AggregateTime,则聚合时刻的模型参数新鲜度为:式中, 表示第m个训练好的本地模型聚合时刻的模型参数新鲜度。
6.根据权利要求4或5所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S3中,以所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度之和最小化为目标,建立联合带宽分配、数据收集频率和数据计算频率的优化问题,具体为:根据本地数据新鲜度和模型参数新鲜度计算总新鲜度A:
则联合带宽分配、数据收集频率和数据计算频率的优化问题表示为:C5:λ+μ=1
式中,Magg表示参与联邦学习的数字孪生体数量,Mupd表示在Tastrict内成功上传其本地模型的数字孪生体数量, 表示第k个数字孪生体的最大可用计算频率,λ表示新鲜度权重,μ表示能耗权重。
7.根据权利要求2所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S4中,定义的工业物联网联邦学习模型的状态空间、动作空间和回报函数具体为:在工业物联网联邦学习模型中,中心服务器从环境中观测获得数字孪生体当前状态st组成状态空间,当前状态st对应当前动作at,智能设备的数字孪生体执行动作空间中的当前动作at,与中心服务器进行交互,返还当前回报rt和新状态st+1;
在状态空间中,当前状态表达式为st={每个智能设备的数字孪生体接收到联邦学习请求时正在执行的仍需收集的数据量,每个智能设备的数字孪生体在最新两轮次联邦学习请求间隙收集的数据量,两轮次联邦学习请求的时间间隔,每轮次联邦学习中智能设备的数字孪生体的掉队数量};
在动作空间中,当前动作表达式
当前回报rt等于执行当前动作at后到下一轮联邦学习请求下发之间,所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度之和,即rt=λA+μE。
8.根据权利要求7所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S5中,建立的深度强化学习网络包括经验缓冲区、Actor网络、Critic网络和oldActor网络;
在每个时刻,Actor网络的输入为当前状态st,输出相应的当前动作at=μθ(st);Critic网络根据当前状态st评估当前动作at的价值 数字孪生体执行当前动作at后,生成新状态st+1和当前回报rt,将[st,at,rt,st+1]储存在经验缓冲区中;oldActor网络的网络参数间隔更新,每间隔若干轮次联邦学习,将Actor网络的网络参数θ复制后作为*oldActor网络的网络参数θ,oldActor网络输出为 用于比较当前动作at的变化幅度;
Actor网络更新网络参数θ的损失函数为:
式中, 表示oldActor网络输出的当前动作,Advt(st,at)表示优势函数,表示将 的上下界限制为[1‑∈,1+∈],∈表示上下界限限制值,∈∈(0,1);
c
Critic网络更新网络参数θ的损失函数为:
c
L(θ)=MSE(vt,rt)
式中,MSE(vt,rt)表示均方差函数;
利用策略梯度方法对Actor网络和Critic网络进行迭代训练,损失函数值收敛时,得到c *最优网络参数θ、θ和θ,获得训练好的深度强化学习网络。
9.根据权利要求8所述的基于数字孪生辅助的联邦学习新鲜度优化方法,其特征在于,所述步骤S6的具体方法为:中心服务器观测当前所有智能设备的数字孪生体的当前状态,输入训练好的深度强化学习网络中,生成当前动作;将当前动作中的作为最优调度策略,当前动作中包括的Bk作为每个智能设备的数字孪生体的最优数据收集频率、最优数据计算频率和分配的最优带宽。
10.一种基于数字孪生辅助的联邦学习新鲜度优化系统,其特征在于,基于权利要求1‑
9任意一项所述的基于数字孪生辅助的联邦学习新鲜度优化方法,所述系统包括:模型构建模块,用于构建工业物联网联邦学习模型,所述模型包括一个中心服务器和若干个智能设备,并生成每个智能设备对应的数字孪生体,保存在中心服务器中;
计算模块,用于根据工业物联网联邦学习模型,计算所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度;
优化问题建立模块,用于以所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度之和最小化为目标,建立联合带宽分配、数据收集频率和数据计算频率的优化问题;
优化问题转化模块,用于将所述优化问题转化为马尔科夫决策过程,定义工业物联网联邦学习模型的状态空间、动作空间和回报函数;
网络构建训练模块,用于基于近端策略优化算法建立深度强化学习网络,利用状态空间、动作空间和回报函数对深度强化学习网络进行训练,获得训练好的深度强化学习网络;
资源调度模块,利用训练好的深度强化学习网络进行资源调度,获得最优调度策略,即每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率;
调度应用模块,用于将每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率应用到对应的智能设备。