1.基于联合强化学习的联合干扰和AoI感知资源分配方法，其特征在于，包括步骤：S1、构建B5G智慧城市的通信网络架构；

所述B5G智慧城市的通信网络架构包括N个单天线物联网设备简称ID、M条D2D链路和D个可分配的资源块简称RB，D2D表示设备到设备；

S2、建立所述B5G智慧城市的通信网络架构在资源分配时的冲突网络模型；

S3、针对所述冲突网络模型中的干扰关系建立冲突超图模型；

S4、基于所述冲突超图模型建立所述B5G智慧城市的通信网络架构的无冲突资源分配问题；

S5、基于所述无冲突资源分配问题构建为以马尔科夫决策过程为指导的资源分配网络；

S6、采用联邦平均优势方法训练所述资源分配网络；

S7、采用训练完成的所述资源分配网络根据当前B5G智慧城市的通信网络架构的状态进行无干扰资源分配；

在所述步骤S2中，所述冲突网络模型用 表示，其中 是表示D2D链路的顶点集， 是表示D2D链路之间的冲突关系的边的集合，边和顶点之间的关系用M×M邻接矩阵GC＝{0,1} 表示，其中邻接矩阵GC的第m行第m′列元素GC(em,em′)取值为：在所述步骤S3中，所述冲突超图模型用 表示，其中 是顶点集， 是超边集，超边 是 的子集，冲突超图模型由关联矩阵H∈{0,1}表征，H中的任一元素H(v,e)取值为：H(v,e)＝1表示顶点v与超边e重合，即超边e包含顶点v，否则H(v,e)＝0；

定义为：

T t

其中，H表示H的转置，X表示t时刻的超图着色矩阵，即：T t T t T t

(max(HX ,1))表示矩阵HX的每个元素都与1进行最大运算，log(max(HX ,1))1表示矩T t阵max(HX ,1)的每个元素都有一个对数运算；

在所述步骤S4中，所述无冲突资源分配问题构建为：t

其中，O表示时间t时的网络吞吐量， 表示t时刻第m条D2D链路在第d个RB上的传输数据速率， 表示t时刻第d个RB分配给第m个D2D链路的使用指示符，max表示最大化，s.t.表示使满足； 表示t时刻B5G智慧城市的资源分配冲突度，约束C1表示对资源分配没有干扰； 表示M条D2D链路集合， 为第m条D2D链路的最小速率阈值，约束C2表示每条D2D链路的数据传输速率都不小于最小传输速率 表示D个可分配的资源块集合，约束C3表示在时刻t给每个D2D链路的资源不超过可用RB总数；约束C4表示分配给每个D2D链路的资源受到RB使用状态的限制， 表示第d个RB在时间t被分配给第m个D2D链路，否则在所述步骤S5中，以马尔科夫决策过程为指导，具体是指：定义在t时刻的状态st为：

其中， 即表示t时刻冲突超图模型的关联矩阵， 表示t时刻所有D2D链路的干扰情况集合， 表示t时刻所有D2D链路的数据传输速率的集合， 表示t时刻所有D2D链路的AoI要求集合，AoI指信息年龄， 表示t时刻所有D2D链路的RB分配情况集合；

定义在t时刻时的资源分配动作at为：

其中， 是在t时刻为第m个D2D链路分配多个RB的向量，定义执行动作at获得的即时奖励rt为：

其中，λ1和λ2分别是平衡网络吞吐量和AoI约束的正权重，λ3表示平衡无干扰约束的负权重；

强化学习客户端代理的优化目标是最大化t时刻的累积折扣奖励其中，表示第一折扣因子；

所述步骤S6具体包括步骤：

S61、创建多个并行的客户端代理，每个客户端代理具有所述资源分配网络的结构副本；所有客户端代理都共享一个全局的资源分配网络参数，并根据环境状态选择一个动作，从而获得一个奖励和下一个状态；

S62、初始化全局的行动者网络参数和批评者网络参数，初始化每个客户端代理的行动者网络参数和批评者网络参数；

S63、对所有客户端代理的行动者网络参数和批评者网络参数取加权平均同步全局的行动者网络参数和批评者网络参数；

S64、每个客户端代理执行动作，获取奖励，计算损失函数的梯度，基于参数更新公式更新自身的行动者网络参数和批评者网络参数；

S65、返回至步骤S63进入下一次参数更新，直至收敛结束循环。

2.根据权利要求1所述的基于联合强化学习的联合干扰和AoI感知资源分配方法，其特征在于，在所述步骤S5中，所述资源分配网络包括行动者网络和批评者网络；所述行动者网π π络提供状态值函数V(s)和动作值函数Q (s,a)来评估由所述批评者网络生成的资源分配方*案；所述批评者网络以状态作为输入，目标是获得最优分配策略π，通过基于行动者网络提供的值函数更新其参数来最大化累积折扣奖励 的期望π

在所述资源分配网络中，定义超图干扰估计函数中的动作值函数Q (st,at)和状态值函π数V(st)为：

π

其中，Q (st,at)表示在t时刻在当前策略π、状态st下执行动作at行动者网络计算的Q值，π表示期望，γ表示第二折扣因子，Q (st+1,at+1)表示在t+1时刻在当前策略π、状态st+1下π执行动作at+1行动者网络计算的动作值函数，V (st)表示在策略π下状态st的价值函数，π(a′|st)表示在给定状态st下、根据策略π选择行动a′的概率，Q(st,a′)表示在给定状态st和行动a′条件下的动作值函数。

3.根据权利要求2所述的基于联合强化学习的联合干扰和AoI感知资源分配方法，其特征在于，所述行动者网络的参数为w，所述批评者网络的参数为θ；

t时刻的参数w由下式更新：

t‑1

其中，η表示学习速率， 表示在t‑1时刻的参数w 下的损失函数值，表示 的梯度；

定义为：

表示在策略πθ给定状态st和行动at的条件下、使用参数为w的函数对动作函数Q进行估计，πθ(a′|st+1；θ)表示在状态st+1和参数θ的条件下、使用策略πθ选择行动a′的概率， 表示在策略πθ给定状态st和行动a′的条件下、使用参数为w的函数对动作函数Q进行估计。

4.根据权利要求3所述的基于联合强化学习的联合干扰和AoI感知资源分配方法，其特征在于，t时刻的参数θ由下式更新：t‑1

其中，η表示学习速率， 表示在t‑1时刻的参数θ 下的损失函数值，表示 的梯度；

定义为：

其中，πθ(at|st；θ)表示所述批评者网络在当前状态st和动作at的输出， 表示在使用策略πθ和参数为w的值函数逼近的条件下、对于给定的状态st和行动at，计算优势函数A的估计值。

5.基于联合强化学习的联合干扰和AoI感知资源分配系统，其特征在于：设有资源分配模块，所述资源分配模块用于实现权利要求1～4任一项所述的方法。