利索能及
我要发布
收藏
专利号: 2024113737378
申请人: 桂林理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种任务卸载和无线能量传输方法,其特征在于,包括如下步骤:

S1、根据现实环境中环境状况多变和复杂的电磁干扰情况建立了UAV和地面物联网用户之间的通讯和计算模型,包括进行通讯的时变信道模型,利用自由空间损失模型建模的WPT信道模型,UAV和地面物联网用户的计算和传输模型;

S2、基于S1所提出的信道和计算模型联合设计出UAV援助的边缘计算场景下利用UAV来对地面物联网用户进行任务卸载和WPT的基本框架,根据此框架进行系统建模,得到整个系统的数学模型;在该框架下,在每个时间槽的起始UAV均会对地面的物联网用户提供合理的任务卸载和WPT决策;

S3、基于S2所提出的UAV援助的边缘计算场景下利用UAV来对地面物联网用户进行任务卸载和WPT的基本框架,计算出UAV和地面物联网设备的能量消耗和系统总吞吐量,联合考虑到UAV和地面物联网用户的CPU计算频率,传输功率,任务量大小以及信道状态,通过利用能量消耗和系统总吞吐量联合制定优化问题,将目标函数定义为系统总吞吐量和UAV能量消耗的加权和,目标函数如下表示:all

其中 表示UAV在时间间隙t的总能量消耗,D (t)表示系统总吞吐量,w1和w2表示两个权重系数为一正一负;

S4、将整个系统框架建模成马尔科夫过程,设计合理的状态和动作空间,利用目标函数设计出合理的奖励函数;

S5、利用深度强化学习TD3算法来对目标函数进行优化,在对系统总吞吐量和UAV能量消耗进行约束的同时来优化任务卸载决策和无线能量传输。

2.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,S1具体包括:

S11、建立由一个搭载边缘计算服务器和WPT射频装置的UAV和多个地面用户的服务场景,其中每个地面用户均搭载与UAV射频装置同频的接收能量装置以及可充电电池储存收集到的能量,UAV和地面用户均搭载单块CPU以及有一定的内存空间存储计算任务;

S12、将连续的时间运行机制转变为等长的时间槽,每个时间槽时间间隙为Τ,时间槽集合为τ={1,2,3,...,i,...,T},考虑到现实场景使随机到达的计算任务服从指数分布,且每个任务之间独立同分布;

S1中考虑到由在空中的搭载了边缘服务器和无线射频充电装置的UAV来为地面的物联网用户提供服务,空中的UAV由A表示其三维坐标为€A=(xA,yA,zA),地面的物联网用户由t表示其三维坐标为€t=(xt,yt,zt),所以空中的UAV与地面上的物联网用户之间的距离用Dt表示,Dt=||XA‑Xt||。

3.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,在步骤S1中考虑到现实情况的多变性和信道的随机性建立了UAV和地面物联网用户的通信信道,旨在利用空中的UAV来对地面用户提供服务,无人机一般停留在几公里的高空,与地面物联网用户之间有遮挡的概率较小,所以会有较为稳定的通信质量和较低的延迟,进而认为UAV和地面物联网用户之间的通信链路主要由视距(LOS)信道为主导,而为了尽可能的减少地面上每个物联网用户与空中的UAV通信干扰,将UAV和单个物联网用户的通信采取正交频分多址(OFDMA)协议,信道状态在一个时隙内是静态的,但是在不同时隙内是动态的,假设平均信道增益遵循路径损失模型:其中 表示UAV与地面上第t个物联网用户之间的平均信道增益,Ad表示每一个物联网用户的天线增益,fc表示信号载波频率,dc表示路径损失指数,而每个物联网用户与UAV之间的信道增益hA,t(t)服从独立同分布的瑞丽分布。

4.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,在步骤S1中对WPT信道进行了建模,认为UAV和地面物联网用户进行WPT的链路由LOS(Line ofsight)链路主导,利用自由空间损失模型来对WPT的传输链路进行建模:其中 表示地面物联网设备在t时刻接收到的能量,vt∈(0,1)表示的是第t个地面物联网设备的无线充电转换效率,gt表示的是第t个地面物联网设备的信道增益, 表示UAV对第t个地面物联网设备的WPT动作,表示要为地面物联网设备传输多少能量。

5.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,在步骤S1中根据香农公式得到UAV与第t个地面物联网设备之间的信道传输速率Rt:其中B表示信道总带宽,φ表示噪声信号的功率谱密度,Pt表示第t个地面物联网设备对UAV的信号传输功率,T表示地面物联网用户数量,由于在由MEC服务器计算过后所得的结果数据量很小,所以忽略由MEC服务器卸载计算后的任务结果的消耗;根据以上求得的信道传输速率,用 表示第t个地面物联网用户在t时刻上传的任务量,这个任务量由本地用户的任务队列大小和强化学习智能体做出的卸载决策以及在t时刻地面物联网用户所产生up的计算任务共同决定,所以任务上传时间Tt (t)和任务上传能量 表示为:

6.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,在步骤S2和S3中针对地面物联网用户,设计了一套基于UAV的任务卸载和WPT框架,具体来说,计算了UAV和地面物联网设备的能量消耗以及系统的整体吞吐量,在此过程中,综合考量了UAV和地面物联网用户的CPU计算频率、传输功率、任务量大小以及信道状态因素,通过联合分析能量消耗和系统总吞吐量,制定了一个优化问题,其目标函数被定义为系统总吞吐量与UAV能量消耗的加权和,目标函数如下表示:其中 表示UAV在时间间隙t的总能量消耗, 其中

表示UAV在t时刻上计算耗能, 表示为:

其中k表示的是计算能量效率因子,与UAV配备的边缘服务器CPU芯片结构有关,fA表示allUAV的CPU计算频率,而D (t)表示系统在t时刻的总吞吐量,

和 分别表示地面物联网用户和UAV在t时刻的本地计算任务量,值得注意的是UAV在每个时隙处理的任务是取自于其本身的用于储存任务的内存空间,而不是在每一个时隙由每一个地面用户上传的任务,且UAV和本地的物联网用户的本地计算任务量需要遵循以下条件:其中αt(t)和αA(t)分别是地面物联网设备和空中UAV的任务队列储存大小, 表示地面物联网用户在t时刻用于计算所消耗的能量, 只有当UAV和地面的物联网设备满足以上条件时 和 才满足以下等式:其中fA表示UAV本地的CPU计算频率,Θt和ΘA分别表示地面物联网设备和UAV运行1bit所需要的CPU数量。

7.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,在步骤S4中根据S2所提出的UAV援助的边缘计算场景下利用UAV来对地面物联网用户进行任务卸载和WPT的基本框架将UAV辅助的任务卸载和WPT框架建模为MDP决策过程(s,a,r,p,γ),其中s代表着环境状态包括时变的信道增益,随机到达的任务大小以及地面物联网用户的任务队列,a代表着agent动作包括任务卸载和WPT决策,r代表着agent执行一步动作所带来的奖励,p是状态转移函数,γ是奖励r的折扣因子,γ∈(0,1),系统的总效用只与当前的状态和动作有关,而与其他时刻的动作和状态无关。

8.如权利要求1所述的任务卸载和无线能量传输方法,其特征在于,在步骤S5中根据S4所构建的MDP过程,为了应对连续动作空间,利用深度强化学习TD3算法来对目标函数进行优化,在对系统总吞吐量和UAV能量消耗进行约束的同时来优化任务卸载决策和无线能量传输,TD3算法是一种基于策略梯度的深度强化学习算法,它主要包括两个Q网络,一个π网络和三个target网络,在步骤S5中,深度强化学习算法TD3的主要步骤如下:(1)初始化各类参数,UAV辅助边缘计算环境,Agent网络,构建经验回放池buffer;

(2)选择动作,策略网络π生成动作并添加探索噪声,在当前状态下执行该动作,获得奖励r和下一个状态s';

(3)更新经验池,将当前状态s、动作a、奖励r、下一状态s'存入经验缓冲区buffer;

(4)从经验缓冲区中采样,从经验缓冲区中随机采样一个小批量(s,a,r,s');

(5)计算目标动作,使用目标策略网络π_target生成下一个状态s'的目标动作a',并添加噪声;

(6)计算目标Q值,使用目标网络Q1_target和Q2_target计算目标Q值,Q'(s'a')=min(Q'1(s',a'),Q'2(s',a')),利用TD‑target来近似Q网络的输出y'(t)=r+γQ'(s',a');

(7)利用TD算法更新Q网络,两个Q网络的损失函数TD‑error表示如下:

其中y(t)=Q1(s,a)or Q2(s,a),在得到TD‑error之后会对TD‑

error进行梯度的反向传播,利用Adam优化算法来对Q网络的神经网络参数进行更新,当Q网络更新完毕时,会在固定的迭代周期里利用策略梯度算法对π网络进行更新,以下是推导出的更新π网络的策略梯度公式:其中,a是π网络在状态为S时预测的动作;

(8)用软更新来稳定目标网络的参数,缓慢的将主网络的参数向目标网络迁移,从而避免估值函数的高估,提高系统的稳定性,神经网络参数软更新如下:θ'=δθ+(1‑δ)θ',

其中θ'表示目标网络的参数,而θ表示主网络的参数;

(9)重复步骤(2)到(8),持续迭代,直到算法收敛。

9.一种实现如权利要求1~8任意一项所述任务卸载和无线能量传输方法的任务卸载和无线能量传输系统,其特征在于,包括:通讯和计算模型建立模块,根据现实环境中环境状况多变和复杂的电磁干扰情况建立了UAV和地面物联网用户之间的通讯和计算模型,包括进行通讯的时变信道模型,利用自由空间损失模型建模的WPT信道模型,UAV和地面物联网用户的计算和传输模型;

任务卸载和WPT的基本框架获得模块,基于信道和计算模型联合设计出UAV援助的边缘计算场景下利用UAV来对地面物联网用户进行任务卸载和WPT的基本框架,根据此框架进行系统建模,得到整个系统的数学模型;在该框架下,在每个时间槽的起始UAV均会对地面的物联网用户提供合理的任务卸载和WPT决策;

目标函数模块,基于UAV援助的边缘计算场景下利用UAV来对地面物联网用户进行任务卸载和WPT的基本框架,计算出UAV和地面物联网设备的能量消耗和系统总吞吐量,联合考虑到UAV和地面物联网用户的CPU计算频率,传输功率,任务量大小以及信道状态,通过利用能量消耗和系统总吞吐量联合制定优化问题,将目标函数定义为系统总吞吐量和UAV能量消耗的加权和,目标函数如下表示:all

其中 表示UAV在时间间隙t的总能量消耗,D (t)表示系统总吞吐量,w1和w2表示两个权重系数为一正一负;

奖励函数模块,将整个系统框架建模成马尔科夫过程,设计合理的状态和动作空间,利用目标函数设计出合理的奖励函数;

目标函数优化模块,利用深度强化学习TD3算法来对目标函数进行优化,在对系统总吞吐量和UAV能量消耗进行约束的同时来优化任务卸载决策和无线能量传输。

10.一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~8任意一项所述的任务卸载和无线能量传输方法的步骤。