1.一种基于策略梯度算法和博弈的分布式多维网络资源切片方法，其特征在于，包括如下步骤：步骤1、在车联网区域内，构建由宏基站、小基站以及两种服务类型的车辆用户组成的异构车联网模型；

步骤2、对车辆用户关联和基站间资源分配问题建模，采用匹配理论和Stackelberg博弈得到稳定的车辆用户关联方案；具体过程为：步骤2.1、考虑使用车辆用户的网络传输速率对车辆用户的效用进行建模；当车辆用户i与基站k相关联时所获得的效用为：Ui(wi,k)＝qlog2(1+ri,k)＝qlog2(1+wi,klog2(1+SINRi,k))    (1)；

其中，Ui为车辆用户i与基站k相关联时获得的效用值；wi,k既表示关联变量同时也表示车辆用户i从基站k获得的通信资源，当wi,k＝0时表示车辆用户i未与基站k关联，wi,k>0时表示车辆用户i从基站k获得的通信资源为 为与基站k相关联车辆用户的数量， 为基站k根据关联车辆用户的数量从虚拟资源池获得的通信资源；q为车辆用户服务体验质量因子；ri,k为车辆用户i与基站k关联的传输速率；SINRi,k为车辆用户i与基站k之间通信链路的信干噪比；

步骤2.2、构建要解决的第一个问题P1，第一个问题是在基站给出通信资源价格策略的前提下如何选择基站k以获得高的效用，即：s.t.C1：ri，k≥Rmin

C3:wi，kpk≤Bi    (2)；

其中， 为车辆用户i的最优关联策略集；Λi为车辆用户i可供选择的关联策略集；

为除车辆用户i之外的用户最优关联策略集；Xk为对基站k的资源分配策略；C1表示车辆用户的最小速率限制；Rmin为用户的最小速率限制；C2表示与基站k相关联车辆用户i分得的通信资源等于基站的总资源；Ik为与基站k关联的用户集合；C3表示每个车辆用户获得通信资源的最大预算不得超过Bi；pk为基站k通信资源的价格；Bi为车辆用户i购买通信资源的预算；

基站k的收益Rek表示为：

total

其中，Cost(·)为基站从虚拟资源池获取通信资源的二次成本函数；p 为虚拟资源池中通信资源的价格；

为基站引入一个负载因子 定义一个负载函数flb来表征基站的拥塞程

度：

其中， 为基站k的负载阈值；

定义基站的效用函数 为：

步骤2.3、构建要解决的第二个问题P2，第二个问题是在车辆用户与基站关联后基站如何根据负载选择资源价格策略来使自己的收益最大，即：其中， 为基站k的最优资源分配策略；X‑k为除基站k之外的基站资源分配策略；Λ为所有用户的关联策略；C4表示所有基站的负载因子之和为1；C5表示所有基站获得的通信资源之和等于资源池总资源；

步骤3、根据不同服务类型的车辆用户的速率和时延阈值形成分布式多维资源分配随机博弈问题，并采用基于图注意力网络的多智能体双延迟深度确定性策略梯度算法进行迭代学习，求解随机博弈问题，得到精确的分布式多维网络资源切片策略。

2.根据权利要求1所述基于策略梯度算法和博弈的分布式多维网络资源切片方法，其特征在于，所述步骤1的异构车联网模型中，考虑了两层上行异构车载网络RAN切片场景，场景包含一个宏基站和多个小基站，宏基站为车辆用户提供大范围覆盖，小基站部署在车流量大的热点地区以便为道路上的车辆用户提供广域通信覆盖并且增强网络容量；设基站数量为K， 为所有基站的集合，其中k为基站索引，当k＝0时代表宏基站，当k＝1,2,...,K时代表小基站；每个基站与一个移动边缘计算服务器集成以执行分布式资源分配决策，为不同服务类型的车辆用户提供边缘计算服务和内容缓存服务；分布式基站和服务器的资源最初由虚拟资源池提供，资源池包含的资源总量定义为其中Btotal为总通信资源，Ctotal为总算力资源，Htotal为总存储资源；在场景内包含多种服务类型的切片以及多种服务类型的车辆用户，每一种类型的车辆用户对时延和速率的需求不同，所有服务类型切片的集合为 s为切片类型索引，S为切片类型总数；所有车辆用户的集合为 i为车辆用户索

引，I为车辆用户总数；其中与基站k相关联的车辆用户数集合Nk，与基站k相关联的切片类型s的车辆用户集合为Nk,s；将时隙系统定义为Γ＝{0,1,2,...,t,...,T}，t为时隙索引，T为时隙总数；在每个时隙内车辆用户会随机产生需要处理的数据任务其中Di,s,y代表数据任务Zi,s,y的大小，Deni,s,y为数据处理密度；每个任务拥有一种内容，定义任务的内容库为 y为内容索引，Y为内容总

数，其中每一个内容拥有固定的流行度，移动边缘计算服务器会选择流行度最高的任务进行缓存；对于分布式切片间资源分配，定义每一次迭代时隙基站k分配给切片类型s的资源比例为Xk,s＝{bk,s,ck,s,hk,s}，bk,s为通信资源分配策略，ck,s为计算资源分配策略，hk,s为缓存资源分配策略。

3.根据权利要求1所述基于策略梯度算法和博弈的分布式多维网络资源切片方法，其特征在于，所述步骤3的具体过程为：步骤3 .1、基站k相关联的切片类型s的车辆用户i分得的通信资源为

为基站k中切片类型为s的活跃用户数量，则车辆用户i

到基站k的上行传输速率 为：

其中，Pi,k为车辆用户i的上行发射功率；Gi,k为信道增益；j为除基站k外的所有基站索2

引；n为除基站k外的所有基站的总数；Pi,j为基站j的发射功率；Gi,j为基站j的信道增益；σ为平均背景噪声功率；

步骤3.2、对于计算资源的分配，设置车辆用户生成的任务全部卸载到基站服务器处理且忽略输出任务返回的时延；当车辆用户i向基站k卸载任务Zi时，时隙t的上行传输时延为Di为车辆用户i的任务大小，Deni为车辆用户i的任务密度；时隙t车辆用户i卸载任务Zi到基站服务器k的传输能耗表示为 pi,k

为车辆用户i的传输功率；时隙t任务Zi上传到服务器后的计算时延表示为

其中 为基站k分给车辆用户i的计算资

源，Ck为基站k的计算资源；时隙t分配给车辆用户的计算资源服务器任务Zi的功耗被定义为ke为基站k功率相关系数；时隙t基站k处理任务Zi的能耗为步骤3.3、令es,y为一个二进制变量，代表切片类型s中内容y是否缓存在服务器中；如果内容y缓存在了服务器中，则es,y＝1，否则es,y＝0；则在缓存资源分配的辅助下车辆用户i完成任务Zi所消耗的总时延 和总能耗 分别表示为：步骤3.4、对不同的服务类型设定不同的时延和速率阈值，切片类型s的速率阈值为时延阈值为 定义基站k的能耗阈值为 定义基站k的效用函数Uk为：其中，μs为任务传输速率的权重； 为车辆用户i实现的传输速率；ξs为完成任务节省时延的权重；θ为衡量每个基站节省能耗的权重；

步骤3.5、将实时切片资源管理建模为随机博弈 过程，其中 为系统

状态空间，Ok为基站k的局部状态空间，Ak为基站k切片策略的集合，P为状态转移概率，R为每次迭代后基站通过计算设置的奖励函数获得的奖励值；随机博弈的优化问题P3被定义为最大化每个基站的效用，即：其中，C6表示每个车辆用户的速率要大于切片类型s的速率阈值；C7表示车辆用户完成卸载任务所需要的时延不得超过切片类型s的时延阈值；C8表示内容缓存的总大小不超过服务器拥有的存储资源的大小；C9表示分配给车辆用户的通信资源总和不超过基站拥有资源的总量；C10表示分配给车辆用户的计算资源总和不超过基站拥有资源的总量；C11表示服务器缓存变量不超过1；C12表示每个基站内资源切片比例之和为1； 为切片类型s的速率阈值；Hk为基站k拥有的缓存资源；wi,k,s为车辆用户i获得的通信资源；Wk为基站k拥有的通信资源；fi,k,s为车辆用户i获得的计算资源；ei,s,y为车辆用户i的任务缓存二进制变量；

步骤3.6、对于仿真解，使用基于图注意力网络的多智能体双延迟深度确定性策略梯度算法求解随机博弈问题，得到精确的分布式多维网络资源切片策略。

4.根据权利要求3所述基于策略梯度算法和博弈的分布式多维网络资源切片方法，其特征在于，所述步骤3.5中，将随机博弈的优化问题P3针对三个优化变量进行解耦；

通信资源在任务传输过程中发挥作用，且对于任何给定的计算资源分配策略ck.s、缓存资源分配策略hk,s以及满足C8、C10、C11和C12的前提下，其通信资源分配问题与P3解耦为第一子问题P3′：s.t.C6,C7,C9,C12(13)；

其中，F'(·)为通信资源分配问题的效用函数；

计算资源在任务处理过程中发挥作用，且对于任何给定的通信资源分配策略bk.s和缓存资源分配策略hk.s，且满足约束C8、C9、C11的前提下，其计算资源分配问题与P3解耦为第二子问题P3″：s.t.C6,C7,C10,C12

(14)；其中，F”(·)为计算资源分配问题的效用函数；

对于任何给定的通信资源分配策略bk.s和计算资源分配策略ck.s，且满足约束C6、”'C9和约束C10的前提下，其缓存资源分配问题与P3解耦为第三子问题P3：s.t.C7,C8,C11,C12(15)；

其中，F”'(·)为缓存资源分配问题的效用函数；

在原优化问题分解为三个子问题后利用交替迭代优化方法得出计算资源、通信资源和缓存资源分配策略的最佳封闭形式。

5.根据权利要求4所述基于策略梯度算法和博弈的分布式多维网络资源切片方法，其特征在于，所述步骤3.6中，采用基于图注意力网络的多智能体双延迟深度确定性策略梯度算法对随机博弈进行求解的过程为：基站得到虚拟资源池的资源后对其按业务进行切片；

车辆用户以及需要处理的任务得到资源后计算速率、时延和能耗以及算法需要的奖励；基站将每次迭代的动作、状态和奖励输入到基于图注意力网络的多智能体双延迟深度确定性策略梯度算法进行参数训练，得到最优切片策略；

为算法定义动作、状态和奖励；

动作：每个基站都拥有多维资源，且作为一个智能体独立进行网络资源切片，其动作为对资源的切片比例，由于资源为三维资源，因此定义基站k的动作为Ak＝{bk,s,ck,s,hk,s}，每一回合的动作集为状态：在环境中，由于每个基站只能获得局部环境数据，因此状态分为系统状态空间和局部状态空间；基站k在时隙t的局部状态空间 包含的状态 为每个基站过去和现在的服务需求，用符号表示为 为时隙t‑1时基站k的服务需求； 为时隙t时基站k的服务需求；系统状态空间 为在时隙t中局部状态空间的集合，用符号表示为奖励：对于车辆用户来说，速率和时延都是需要考虑优化的性能指标，且优化函数里面的加权因子不同，因此奖励函数的设计遵循重要优化指标优先的原则；算法利用智能代理与环境之间的交互所获得的奖励值来指导动作的选择，为了使算法能够更准确的选择最优切片动作，使用分层即时奖励机制设置奖励函数，如下所示：其中，R为每次迭代后基站通过计算设置的奖励函数获得的奖励值；R1为奖励函数第一阶段奖励；R2为奖励函数第二阶段奖励；R3为奖励函数第三阶段奖励。

6.根据权利要求5所述基于策略梯度算法和博弈的分布式多维网络资源切片方法，其特征在于，所述基于图注意力网络的多智能体双延迟深度确定性策略梯度算法的工作过程为：算法开始阶段会初始化网络参数和环境参数，接着判断当前算法的总迭代次数是否小于规定迭代次数，若总迭代次数大于等于规定迭代次数，则结束算法进程；若小于规定的迭代次数则经过策略网络得到切片策略，同时进行策略网络参数软更新以便更好地适应环境和优化策略；然后切片策略与环境交互获得学习经验并将经验存储到经验池；如果经验池中经验的数量小于等于最小批量大小，则继续重复以上过程获得更多学习经验；反之则遍历基站使每个基站能够对经验进行学习和训练，若遍历基站次数小于基站数量，则取最小批量大小的经验经过第一评估网络和第二评估网络训练得到第一评估值和第二评估值，同时将最小批量大小的经验输入到目标策略网络并输出对应的动作，然后将输出的动作输入到第一目标评估网络和第二目标评估网络并输出总目标评估值；接着将第一评估值和第二评估值分别与总目标评估值一起输入到均方误差损失函数MSE1和MSE2得到误差值。