利索能及
我要发布
收藏
专利号: 2021105944620
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法,其特征在于,包括如下步骤:步骤S1:基于半马尔可夫决策过程定义车载雾辅助的车队任务卸载系统的状态集和动作集;

步骤S2:根据系统的状态集和动作集得到系统当前的状态s和动作a(s),并根据系统当前的状态s和动作a(s)计算系统状态转移概率;

步骤S2中,所述转移概率的计算方法为:分别计算车队发出任务请求时的转移概率、车辆处理的任务离开系统时的转移概率、车载雾中计算单元共同处理的任务离开系统时的转移概率、车辆到达系统时的转移概率、车辆离开系统时的转移概率,并进行归一化;

步骤S3:根据系统奖励和系统状态转移概率建立贝尔曼最优方程并求解系统中的最优卸载策略;

所述系统奖励为系统在状态s采取动作a(s)的系统奖励,表示为系统的立即增益与系统状态转移期间所消耗成本之间的差值,计算如下:R(s,a)=U(s,a)‑G(s,a)

其中U(s,a)表示系统在状态s下采取动作a(s)后,系统的立即增益;G(s,a)表示从当前状态转移到下一状态期间,系统的消耗;

步骤S3中,所述立即增益的表达式为:

其中,η表示时间的单位价格,El表示由任务请求者自身处理时所需的时间,Tp表示车队内传输任务的传输时间,每个任务所需的计算资源为d,车队车辆Vi(i=1,...,N)的计算资源为fi, 表示由头车将任务传输给车载雾中j个计算单元共同处理的传输时间,惩罚参数为ζ;

所述Tp和 具有相同的计算公式,用Ttr表示:

Ttr=θ·Etr·Tslot

其中θ表示车辆需要传输的任务数,在车队内,其值恒定为1,在头车与车载雾组成的网络中,其值取决于系统的决策,当 头车将任务划分为相同大小的j个子任务并分别传输给车载雾中的j辆车,θ的值为j;Etr表示传输任务所需要的平均时隙数;Tslot表示每个时隙的平均时长;

Bj表示由车载雾中j个计算资源共同处理的任务的个数,NR表示单个任务在车载雾中最多能分配到的计算资源数目, 表示车队产生计算任务,系统将任务分配到车队车辆Vi中处理, 表示系统将任务传输到车载雾中的j个计算单元处理,A表示车队中车辆发出计算任务,F+1和F‑1分别表示车辆到达和离开车载雾, 表示由车载雾中NR个计算资源共同处理的任务离开系统,e表示当前事件,a为当前系统动作,N为车队中车辆数目,DN表示由车队中车辆VN处理的任务被处理完成,a=‑1表示当前事件为由车辆Vi处理的任务离开系统,由车载雾中j个计算资源共同处理的任务离开系统,车辆到达以及车辆离开,此时系统不采取任务动作,M表示车载雾中计算资源的个数,b表示系统丢弃数据包;

步骤S3中,所述系统的消耗为:

其中α表示连续时间折扣因子,C(s,a)是当前状态下采取动作后,系统中正在处理任务的车辆数,其表达式为:β(x,a)表示系统下一时刻所有事件到达率总和,β(x,a)的计算表达式为:

ni表示车辆Vi处理的任务的个数,ni=0表示车辆Vi为空闲车辆,ni=1表示车辆Vi正在处理任务,Bj表示由车载雾中j个计算资源共同处理的任务的个数,λp为任务到达车队中的车辆的概率,事件F+1和F‑1的到达率分别为λv和μv,nk为车辆Vk处理的任务的个数,fk为车辆Vk的计算资源,Bm为由车载雾中m个计算资源共同处理的任务的个数,fi为车辆Vi的计算资源,fv为车载雾中每个车辆的计算资源,Di为车辆Vi处理的任务离开系统,Lj为由车载雾中j个计算资源共同处理的任务离开系统,x表示系统下一个状态。

2.根据权利要求1所述的基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法,其特征在于,每个时隙的平均时长Tslot表达式为:Tslot=qidle·Tidle+qs·Ts+qc·Tc

其中 表示时隙处于空闲的概率, 表示该时隙处于成功

传输数据的概率,qc=1‑qidle‑qs表示该时隙处于数据碰撞的概率,Tidle表示每个空闲时隙的时长,Ts=Header+E[P]/θ+SIFS+δ+ACK+DIFS+δ表示时隙处于成功传输数据状态的时长,Tc=Header+E[P]/θ+SIFS+δ+ACKtimeout表示时隙处于数据碰撞状态的时长;其中Header=PHYh+MACh表示数据包头部长度,其值等于数据包物理层以及媒介接入层头部长度之和;E[P]表示任务的长度;δ表示传播时延;SIFS、ACK以及DIFS分别表示SIFS、ACK以及DIFS的长度,且 表示车辆传输数据产生碰撞的概率;

Ntr为网络中车辆数,对于车队网络,Ntr等于车队数的车辆总数N;对于头车与车载雾组成的网络,Ntr等于M+1,SIFS为短帧间间隔,ACK为确认字符,表示发来的数据已确认接收无误,DIFS为分布式帧间间隙,Wmin为最小竞争窗口值,即为车辆初次传输数据包需要等待的最长时隙数,m为最大重传次数, 表示在一个时隙内车辆传输数据的概率。

3.根据权利要求2所述的基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法,其特征在于,任务传输所需要的平均时隙数Etr的表达式为:其中m为重传次数,q为车辆之间发送的数据包碰撞的概率。

4.根据权利要求1所述的基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法,其特征在于,所述贝尔曼最优方程表示为:其中 表示归一化后的系统奖励, 表示归一化后的折

扣因子, 表示归一化后的转移概率,引入常数

N为车队中车辆数目,下一时刻事件A的到达率为N

λp,事件F+1和F‑1的到达率分别为λv和μv,fi为车队中的车辆Vi的计算资源大小,M表示车载雾中计算单元的个数,NR表示单个任务在车载雾中最多能分配到的计算单元数目,fv为车载雾中每个车辆的计算资源,d为每个计算任务所需的计算资源;x表示系统下一状态,α为连续时间折扣因子,S表示状态集合,As表示系统动作集合。

5.根据权利要求4所述的基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法,其特征在于,所述求解车载雾辅助的车队任务卸载系统中的最优卸载策略,包括:设定正数ε,对系统中的每一个状态都基于贝尔曼最优方程进行迭代,直到相邻两次迭代,每个系统状态价值函数绝对值的差值都小于设定的正数ε时停止迭代。

6.根据权利要求5所述的基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法,其特征在于,所述最优卸载策略计算表达式为:其中,S表示状态集合,As为系统动作集合,x表示系统的下一个状态,a表示当前系统动作。