1.一种基于数字孪生的中继边缘网络任务卸载方法,其特征在于,包括:步骤(1):搭建中继边缘网络任务卸载策略模型,包括:物理通信卸载环境、数字孪生体环境、模拟任务卸载系统和模拟人工控制界面;
所述物理通信卸载环境,包括:物理边缘服务器,中继节点以及用户终端集合;
所述数字孪生体环境为边缘服务器将中继节点和用户终端训练得到的数字孪生参数模型聚合所构建的环境,包括:边缘服务器的状态、每个中继节点和用户终端的状态;
所述模拟任务卸载系统,包括:每一种卸载情况对应的人工智能算法模型库、基于DQN算法的卸载策略选择模块以及任务卸载策略模型缓存模块;
所述模拟人工控制界面为边缘服务器通过与真实人工控制界面进行虚实信息传递所构建的虚拟控制环境,决定了真正使用的数字孪生参数训练模型以及任务卸载策略模型;
步骤(2):物理实体通过数字孪生参数模型更新数字孪生体环境中对应的各个部分的状态;
步骤(3):数字孪生体环境将数字孪生体的参数传入模拟任务卸载系统进行迭代训练,得到最优任务卸载策略模型;
步骤(4):将最优任务卸载策略模型传输到模拟人工控制界面进行备份;
步骤(5):模拟人工控制界面将当前的数字孪生参数训练模型以及最优任务卸载策略模型传输到数字孪生体环境缓存,并由现实中的边缘服务器转发给每个中继节点,中继节点再转发给与其通信的用户终端;
步骤(6):用户终端和中继节点根据最优任务卸载策略模型进行相应的任务卸载;
所述步骤(2)包括:
用户终端首先在本地迭代训练数字孪生参数模型,在任务卸载时将训练好的数字孪生参数模型一并传输到中继节点;
中继节点将用户终端和中继节点训练好的数字孪生参数模型打包传输到边缘服务器,边缘服务器在训练边缘服务器模型的同时聚合用户终端和中继节点的模型,在训练完成后更新数字孪生体环境中相应部分的状态;
所述步骤(3),模拟任务卸载系统中的训练过程包括:步骤(3.1):调用人工智能算法模型库得到:任务在用户终端本地计算不进行任务卸载、任务卸载到中继节点计算、任务卸载到边缘服务器计算,这三种情况各自的最优任务成本,将参数传入卸载策略选择模块;
步骤(3.2):卸载策略选择模块先将步骤(3.1)三种情况的最优任务成本合成为最终卸载成本,结合数字孪生体环境的状态参数,卸载策略选择模块建立最小化最终成本的优化模型,使用DQN算法训练,得到最优任务卸载策略模型;
步骤(3.3):使用数字孪生体环境的历史数据对最优任务卸载策略模型进行检测评估,将模型和评分暂存至任务卸载模型缓存模块;
步骤(3.4):重复步骤(3.1)‑步骤(3.3)直到评分符合标准或者训练结束,得到最终的最优任务卸载策略模型;
步骤(3.1)中,任务在用户端本地计算,不进行任务卸载时,对应的最优任务成本计算方法为:对于每一个用户终端i,将其要计算的任务记为Ti=(Ci,Li),其中Ci是任务的计算复杂度,Li是任务的数据量大小;
任务在本地计算所需的时间记为 所需的能耗记为用户终端i计算数字孪生参数训练模型所需的时间为:UT
其中,fi 为用户终端i的CPU频率,Di用户终端i的本地数据集合,完成训练后得到用户终端i的数字孪生参数模型 该过程所需的能耗记为用户终端i完成任务所需的总成本为:
其中,αi∈(0,1)和βi∈(0,1)是基于任务类型和设备类型决定的时延与能耗的权重系数;
调用人工智能算法得到最优任务成本
所述步骤(3.1)中,任务卸载到中继节点计算时,对应的最优任务成本计算方法为:中继节点j和用户终端i之间的传输速率记为 传输时延记为 传输过程中的能耗记为 任务在中继节点j计算所需的时间记为中继节点j计算数字孪生参数训练模型并打包所需的时间为:其中, 为中继节点j的CPU频率,Dj为中继节点j的本地数据集合,H为与中继节点j通信的用户终端的个数,完成训练以及打包后得到中继节点j的数字孪生参数模型 中继节点的能耗忽略不计;
任务卸载到中继节点计算时,对应的最优任务成本为:调用人工智能算法,得到最优成本
所述步骤(3.1)中,任务卸载到边缘服务器计算时,对应的最优任务成本计算方法为:边缘服务器能直接接收的用户终端i的信号为:其中, 是边缘服务器和用户终端i之间的信道, 是边缘服务器和用户终端i之间的噪声信号;边缘服务器通过中继节点j辅助接收到用户终端i的信号为:其中, 是中继节点j的传输功率, 是中继节点j分给用户终端i到边缘服务器的辅助信道, 是对应信道上在边缘服务器处的噪声信号, 是归一化参数;
在边缘服务器处通过最大比值幅度合成得到用户终端i的信噪比为:UT
其中,Pi 是用户终端i的传输功率, 是中继节点j和用户终端i之间的信道;
用户终端i与边缘服务器之间的传输速率为:
其中,Wi是边缘服务器和用户终端i之间的带宽;传输时延记为 传输能耗记为任务在边缘服务器计算所需的时间记为 边缘服务器计算数字孪生参数训练模型并聚合中继节点和用户终端的数字孪生参数模型所需的时间为:ECS
其中,由于 很小,并且f 很高,相比训练边缘服务器的模型所用的时间,聚合中继节点模型所用的时间 可忽略不计;
ECS ECS
f 为边缘服务器的CPU频率,D 为边缘服务器的本地数据集合,N为与边缘服务器通信的中继节点的个数;
完成训练后得到边缘服务器的数字孪生参数模型 边缘服务器的能耗忽略不计,任务卸载到边缘服务器计算时,对应的最优任务成本为:调用人工智能算法,得到最优成本
所述步骤(3.2)中,卸载策略选择模块建立最小化最终成本的优化模型:用户终端i在步骤(3.1)三种情况下的最终卸载成本表示为:其中,ai∈{0,1},i=1,2,3并且对于用户终端i的每一个计算任务,最小化最终成本的优化模型为:其中, 为用户终端的预期能耗阈值;
所述步骤(3.2)中,使用DQN作为DRL算法的框架;
在训练过程中,卸载策略选择模块与数字孪生体环境交互得到每个迭代t任务卸载系统的状态:学习Agent的动作表示为:
At={at|at∈It}
其中at是从可能的决策动作集合It中选择的动作;
奖励函数反映了所选动作在系统状态st中的得分,表示为:其中ψ是保证Rt为正值的固定参数,λ是学习速率,μi(t)是迭代t时的最终成本;
使用神经网络Q(s,a;w)结合时间差分算法近似最优动作价值函数以得到最优任务卸载策略模型。
2.根据权利要求1所述的一种基于数字孪生的中继边缘网络任务卸载方法,其特征在于,所述用户终端包括智能手机、笔记本电脑、移动平板;
用户终端在边缘服务器的覆盖范围之外。
3.根据权利要求1所述的一种基于数字孪生的中继边缘网络任务卸载方法,其特征在于,所述边缘服务器的状态包括边缘服务器的处理器频率、可用的内存容量、可用的信道以及工作状态;
中继节点的状态包括中继节点的处理器频率、传输功率、可用的信道以及工作状态;
用户终端的状态包括用户终端的处理器频率、传输功率、任务的数据量规模和计算复杂度、任务类型、设备类型、剩余能量。