利索能及
我要发布
收藏
专利号: 2023117004460
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于V2V和V2I通信的车联网联合任务卸载方法,其特征在于,该方法具体包括以下步骤:S1:构建系统的任务卸载模型,包括本地计算模型和边缘卸载模型;

S2:根据系统的任务卸载模型计算任务执行的时延和能耗,并综合考虑任务的总时延、总能耗以及系统服务率构建用户体验质量模型;

S3:基于系统的任务卸载模型和用户体验质量模型,构建包括状态空间、动作空间和奖励函数的强化学习模型;

S4:采用双延迟深度确定性策略梯度算法求解强化学习模型,以获得模型的最优解。

2.根据权利要求1所述的车联网联合任务卸载方法,其特征在于,步骤S1中,构建系统的任务卸载模型,具体包括:考虑一个具有两条双向通行的交叉路段的典型车联网场景,该场景包括一个携带有计算单元的边缘服务器和m个移动车辆,记为N={1,2,…,m,m+1},其中元素m+1表示边缘服务器;为了充分挖掘和利用车辆的空闲计算资源,将道路上的车辆分为产生计算任务的任务车辆集合N1和提供计算服务的服务车辆集合N2;在不同时刻,车辆作为服务车辆或者任务车辆的角色并不是一成不变的;任务车辆到达的计算任务选择在本地执行、卸载到边缘服务器执行或者卸载到服务车辆执行;基于所述车联网场景,系统的任务卸载模型包括本地计算模型和边缘卸载模型;

所述本地计算模型指在本地执行车辆到达的任务,任务处理的时延 和能耗 分别表示为:其中, 表示t时刻任务车辆i产生的任务在本地执行的计算时延; 表示t时刻系max统分配的CPU计算频率;车辆i为本地计算任务分配的计算资源不能超过其计算能力fi ;

表示计算任务的大小; 表示任务的计算复杂度; 表示t时刻任务车辆i产生的任务在本地执行的能量消耗,κ是一个与设备芯片体系结构相关的常数;

所述边缘卸载模型指将任务卸载到有空闲计算资源的边缘服务节点包括服务车辆和边缘服务器上执行,任务处理的时延 和能耗 分别表示为:其中, 表示t时刻任务车辆i产生的任务卸载到服务节点j执行的计算时延,表示t时刻任务车辆i产生的任务卸载到服务节点j执行的传输时延; 表示任务数据传输能耗, 表示任务执行能耗; 表示t时刻服务节点j为任务分配的CPUmax计算频率;服务节点j分配的计算资源总和不能超过服务节点j的计算能力fj ; 表示t时刻从任务车辆i到服务节点j的上行链路数据传输速率,其计算公式为:其中,B表示系统带宽大小; 表示t时刻分配给任务车辆i的带宽百分比;

表示任务车辆i与服务节点j之间链路的信噪比,表示为 和 分

别表示t时刻任务车辆i的发射功率和信道增益,N0表示加性高斯白噪声;

当车辆i的任务卸载到服务车辆j执行时,车辆i与车辆j之间的通信距离di,j不能超过最大V2V通信距离L;任务执行完成后的结果通过V2V或者V2I中继通信返回给车辆i;任务结果从计算节点返回过程的传输时延忽略不计。

3.根据权利要求2所述的车联网联合任务卸载方法,其特征在于,步骤S2中,构建的用户体验质量模型为:t

其中,Ψ表示系统效用函数,λ1,λ2表示用户对时延和能耗的偏好程度,λ1+λ2=1;Υ 为系统的服务率,表示t时刻系统成功服务的任务数与到达的计算任务总数的比值,ξ表示惩L,t罚系数;Ti 和 分别表示任务在本地处理的时间和能耗; 表示t时刻车辆i的任务卸载决策;fi,j表示服务节点j为任务已分配的CPU计算频率;fi,i表示系统已分配的CPU计算频率;

约束C1保证服务节点已分配的计算资源总和不能超过服务节点计算能力;约束C2保证任务在本地计算时已分配的计算资源不能超过车辆的计算能力;约束C3保证系统分配的带宽资源总和不能超过其系统带宽容量;约束C4和C5保证任务只能选择在本地或者边缘服务节点中的一个节点执行;约束C6保证V2V通信距离不能超过其最大通信距离。

4.根据权利要求3所述的车联网联合任务卸载方法,其特征在于,步骤S3中,构建的强化学习模型包括:(1)状态空间

定义t时刻系统对车辆i的局部观测值为 其中, 表

示车辆i的类型,1表示服务车辆,0表示任务车辆; 表示车辆i的位置信息; 表示车辆i的任务信息; 表示车辆i的可用计算资源;系统在t时刻的状态空间表示为其中, 表示边缘节点可用计算资源;

(2)动作空间

在每个时隙最开始,边缘服务器会根据系统状态信息做出相应决策;定义t时刻系统对车辆i的决策为 其中NSN=N‑N1+{0},元素0表示任务在本地执行;t时刻系统的动作空间表示为

(3)奖励函数

系统的目标为通过最大化效用函数Ψ提高用户的体验质量;因此,定义奖励函数为:在强化学习模型中,边缘服务器负责将在每个时隙最开始收集其覆盖范围内的车辆信t t息,获得环境的全局状态观测值s,然后基于当前状态做出任务卸载决策a 并执行,此时获t+1 t t t t+1 t得环境新的状态s 与奖励r,然后将经验数据元组(s ,a ,s ,r)放入经验回放区中。

5.根据权利要求1所述的车联网联合任务卸载方法,其特征在于,步骤S4中,采用双延迟深度确定性策略梯度算法求解强化学习模型,具体是通过将待优化问题转化为马尔科夫决策过程并构建actor网络和critic网络;智能体通过与环境不断交互获取奖励来更新网络参数,从而逼近目标函数的最优解。