1.一种基于数字孪生的车联网计算任务卸载方法,其特征在于,应用于数据中心,所述数据中心与多个无人机通信连接,各无人机与多个车辆通信连接,所述方法包括:构建多个无人机和多个车辆的数字孪生模型;
利用所述数字孪生模型对各无人机和各车辆的运行状态进行模拟仿真,得到多个时隙的孪生数据;
基于所述多个时隙的孪生数据构建目标函数和约束条件,所述目标函数是以系统总时延最小为目标构建的,所述约束条件包括各车辆与不同无人机之间的关联关系的第一约束信息、各车辆关联无人机数量的第二约束信息以及各车辆的任务卸载比例的第三约束信息,所述目标函数用于表征所述各车辆与不同无人机之间的关联关系、所述各车辆的任务卸载比例与所述系统总时延之间的相关关系,所述约束条件如下式所示:其中, 表示车辆k和无人机m之间是否关联, 表示车辆k自身的计算任务的计算比例, 表示车辆k卸载计算任务到关联无人机的比例,C1表示第一约束信息,C2表示第二约束信息,C3表示第三约束信息;
利用所述多个时隙的孪生数据、所述第一约束信息、第二约束信息、第三约束信息以及预设强化学习模型对所述目标函数求解,得到各车辆与不同无人机之间的目标关联关系以及各车辆的目标计算任务卸载比例;
基于所述各车辆与不同无人机之间的目标关联信息以及目标计算任务卸载比例控制对应车辆进行计算任务卸载;
所述孪生数据包括各车辆与不同无人机之间分别对应的第一数据传输速率、各无人机与数据中心之间的第二数据传输速率、各车辆的产生的计算任务量信息、各车辆的计算能力信息、各无人机的计算能力信息,所述各车辆的计算能力信息包括对应车辆的估计计算能力以及真实计算能力与存贮在数字孪生中 车辆的估计计算能力之间的偏差值,所述各无人机的计算能力信息包括对应无人机的估计计算能力以及真实计算能力与存贮在数字孪生中无人机的估计计算能力之间的偏差值;
所述系统总时延用于表征计算时延与传输时延的和,所述计算时延通过各车辆的产生的计算任务量信息、各车辆的计算能力信息、各无人机的计算能力信息以及各车辆的计算任务卸载比例确定,所述传输时延通过各车辆与不同无人机之间分别对应的第一数据传输速率、各无人机与数据中心之间的第二数据传输速率以及各车辆的计算任务卸载比例确定;
所述目标函数为 ,通过下式确定:
其中,表示系统总时延, 表示时隙n内的计算时延, 表示计算时隙n内的传输时延, 由下式确定:其中, 表示时隙n内车辆k卸载计算任务到无人机n进行计算的第一计算时延,表示时隙n内汽车k自身的第二计算时延,无人机的数量为M,车辆的数量为K, 表示为:其中, 表示时隙n内车辆k卸载计算任务到无人机m对应计算时延的计算值,表示时隙n内车辆k卸载到无人机m对应计算时延的计算值与真实值之间的误差, 由下式确定:其中, 表示车辆k自身的计算任务的计算比例, 表示车辆k在时隙n内产生的计算任务数据量, 表示完成1比特计算任务所需的CPU周期数, 表示在时隙n内无人机m的估计计算能力, 表示车辆k和无人机m之间是否关联,当 时,车辆k和无人机m之间可以通信,无人机m接收车辆k卸载的计算任务,当 时,车辆k和无人机m之间不可以通信;
由下式确定:
其中, 表示在时隙n内无人机m的真实计算能力与存贮在数字孪生中无人机m的估计计算能力之间的偏差值;
由下式确定:
其中, 表示时隙n内汽车k的计算时延的计算值, 表示时隙n内汽车k自身计算时延的真实值与计算值之间的偏差值, 表示为:其中, 表示在时隙n内车辆k的估计计算能力;
表示为:
其中, 表示在时隙n内车辆k的真实计算能力与存贮在数字孪生中车辆k的估计计算能力之间的偏差值;
由下式确定:
其中, 表示车辆k卸载计算任务传输到关联无人机m的第一传输时延, 表示无人机m将计算任务信息上传到数据中心 产生的第二传输时延, 表示时隙n内数据中心下发决策的时间, 由下式确定:其中, 表示车辆k与无人机m之间的第一数据传输速率;
由下式确定:
其中, 表示无人机m与将任务信息上传到数据中心 过程中的数据传输速率,表示关联车辆上传到无人机m的计算任务信息大小,无人机与车辆关联关系为,车辆到无人机的任务卸载比例为 ;
利用所述孪生数据、所述第一约束信息、第二约束信息、第三约束信息以及预设强化学习模型对所述目标函数求解,得到各车辆与不同无人机之间的目标关联关系以及各车辆的目标计算任务卸载比例的步骤,包括:基于各时隙内的不同车辆分别对应产生的计算任务量信息、各车辆与不同无人机之间的信道增益以及各无人机与数据中心之间的信道增益确定对应的时隙内各车辆的状态空间;
基于第一约束信息、第二约束信息以及第三约束信息确定各车辆的动作空间,所述各车辆的动作空间用于表征对应车辆在所述约束条件下的多个计算任务卸载比例以及各计算任务卸载比例对应车辆与无人机之间的关联关系;
利用所述各时隙内不同车辆的状态空间、各车辆的所述动作空间、各车辆与不同无人机之间分别对应的第一数据传输速率、各无人机与数据中心之间的第二数据传输速率、各车辆的产生的计算任务量信息、各车辆的计算能力信息、各无人机的计算能力信息,对目标函数进行迭代求解,得到求解结果;
基于所述求解结果确定各车辆与不同无人机之间的目标关联关系以及各车辆的目标计算任务卸载比例;
所述各时隙内不同车辆的状态空间表示为:
其中, 表示状态空间, 和 表示信道增益, 表示车辆k的计算任务,
表示无人机集合, 表示车辆集合;
所述各车辆的动作空间表示为:
其中, 表示动作空间, 表示车辆k自身计算的比例, 表示车辆k和无人机m之间是否关联;
所述利用所述各时隙内不同车辆的状态空间、各车辆的所述动作空间、各车辆与不同无人机之间分别对应的第一数据传输速率、各无人机与数据中心之间的第二数据传输速率、各车辆的产生的计算任务量信息、各车辆的计算能力信息、各无人机的计算能力信息,对目标函数进行迭代求解,得到求解结果的步骤,包括:所述利用所述各时隙内不同车辆的状态空间、各车辆的所述动作空间、各车辆与不同无人机之间分别对应的第一数据传输速率、各无人机与数据中心之间的第二数据传输速率、各车辆的产生的计算任务量信息、各车辆的计算能力信息、各无人机的计算能力信息、奖励函数以及PPO算法,对目标函数进行迭代求解,得到求解结果,所述奖励函数是以降低整个系统的时延为目标建立的,所述奖励函数为:其中,和 分别表示每个时隙n内整个系统的状态和动作, 表示奖励函数,表示系统总时延;
所述PPO算法由Actor神经网络和Critic神经网络组成,所述PPO算法求解目标函数在策略更新大小的约束下要达到最大化,优化目标表示为:,
其中, 表明在多个采样的样本之间采用经验平均值来估计均值,限制条件目标是将新旧策略的信息散度限制在一定范围内,使得更新不会过于发散,为神经网络参数, 表示优势函数在时间t的估计量,表示样本均值的最大值,KL表示KL散度; 表示未更新前的策略, 表示现有的策略,和 表示时间t的状态和动作;
把优化目标做线性近似,把限制条件做二次逼近,然后用共轭梯度算法高效解决,则优化目标可以如下式所示:PPO算法使用clip方法,定义 为概率比 ,因此 ,PPO算法最大化了一个代理目标,如下式所示:
其中,CPI指保守的策略迭代;
对目标函数的求解流程包括:
初始化Actor网络参数、Critic网络参数、训练次数 、最大时间步1000,汽车的计算能力 ,无人机的计算能力 ;
初始化状态s;
根据状态s获取动作a,计算系统的计算时延 和传输时延 ,计算系统的总时延 ,计算奖励 ,更新状态s,更新Actor网络和Critic网络参数,直至达到最大训练次数。
2.根据权利要求1所述的方法,其特征在于,所述计算时延包括各车辆自身的第一计算时延以及各车辆卸载计算任务到无人机进行计算的第二计算时延,传输时延包括各车辆卸载计算任务传输到关联无人机的第一传输时延、无人机将计算任务信息上传到数据中心产生的第二传输时延以及数据中心下发决策信息的第三传输时延,第一计算时延通过对应车辆的产生的所述计算任务量信息、计算能力信息以及计算任务卸载比例确定,第二计算时延通过对应无人机的计算能力信息、对应车辆产生的所述计算任务量信息以及计算任务卸载比例确定,第一传输时延通过对应车辆与不同无人机之间的第一数据传输速率、对应车辆的计算任务卸载比例确定,第二传输时延通过对应无人机与数据中心之间的第二数据传输速率以及对应无人机的计算任务信息的大小确定。
3.根据权利要求1所述的方法,其特征在于,所述各车辆与不同无人机之间分别对应的第一数据传输速率通过如下步骤确定:获取各无人机的飞行高度信息、各无人机的位置信息、各车辆的位置信息、信道功率增益、各车辆与不同无人机之间分别对应的瑞利衰落系数、各车辆与不同无人机之间分别对应的通信功率、高斯白噪声功率以及信道带宽;
根据所述各无人机的飞行高度信息、各无人机的位置信息、对应车辆的位置信息以及信道功率增益,确定对应车辆与不同无人机之间分别对应的自由空间衰落系数;
根据各车辆与不同无人机之间分别对应的自由空间衰落系数以及瑞利衰落系数,确定对应车辆与不同无人机之间分别对应的信道增益;
根据各车辆与不同无人机之间分别对应的通信功率、信道增益以及所述高斯白噪声功率,确定对应车辆与不同无人机之间分别对应的信噪比;
基于各车辆与不同无人机之间分别对应的信噪比以及信道带宽,确定对应车辆与不同无人机之间分别对应的第一数据传输速率。
4.根据权利要求3所述的方法,其特征在于,所述各无人机与数据中心之间的第二数据传输速率通过如下步骤确定:获取无人机与数据中心之间的通信功率;
根据各无人机的位置信息、飞行高度以及信道功率增益确定对应无人机与数据中心之间的信道增益;
根据各无人机与数据中心之间的信道增益、通信功率、所述高斯白噪声功率以及所述信道带宽确定对应无人机与数据中心之间的第二数据传输速率。