利索能及
我要发布
收藏
专利号: 2023116585955
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于,包括步骤:S1、构建超密集物联网的通信模型;

所述通信模型包括D2D辅助的UD‑IoE层和BBU池,其中D2D表示端对端,UD‑IoE表示超密集物联网,BBU表示基带单元,所述UD‑IoE层包括N个IoED、M条通信链路和多个RRH,IoED表示物联网设备,RRH表示射频拉远头;每个RRH通过高速前传链路连接到BBU池,负责提供基本覆盖和辅助接入;IoED采用D2D通信模式,并且根据多跳通信链路扩大通信范围,最后通过UD‑IoE层的RRH连接BBU池;由BBU和计算服务器组成的BBU池收集网络中的所有环境信息,并将资源分配给通信链路;

S2、根据所述通信模型建立冲突图;所述步骤S2具体包括步骤:

S21、建立所述通信模型的冲突图,所述冲突图表示为:

GC=(VC,EC)

其中VC={e1,e2,...,eM}是表示通信链路的顶点的集合,EC是表示通信链路之间的资源冲突关系的边的集合,VC中的顶点和EC中的边之间的关系由邻接矩阵GC表示:其中邻接矩阵GC中第n行第m列的元素bnm=(en,em),取值如下:S22、简化邻接矩阵GC为:

其中, 表示将GC1的主对角线元素设置为0所得矩阵,GC1表示记录直接冲突的冲突图的邻接矩阵,I是单位矩阵, 表示将GC2的主对角线元素设置为0,GC2表示记录隐藏终端冲突的冲突图的邻接矩阵;直接冲突是指两个通信链路同时使用相同的信道,并且具有相同的发送或接收IoED;隐藏终端冲突是指两个通信链路同时使用相同的信道,并且一个IoED对的发送或接收IoED在其他IoED对中的IoED的通信范围内;

S3、根据极大团生成定理以及贪心算法求出所述冲突图中所有的极大团,并根据超边与极大团的关系,在保持顶点相邻关系不变的情况下,将所述冲突图简化为冲突超图;

S4、基于所述冲突超图采用基于图卷积神经网络的深度强化学习模型即GCN‑DDPG模型对所述超密集物联网进行资源分配;

所述GCN‑DDPG模型包括行动者网络和批判者网络;

在所述行动者网络中,构建两层图卷积神经网络,输入所述冲突超图的邻接矩阵和特征矩阵,特征矩阵为资源分配矩阵即顶点染色矩阵,然后得到节点特征,根据节点特征选取合适的颜色,即进行资源分配,得到着色后的特征矩阵;

在所述批判者网络中,构建两层图卷积神经网络,输入所述冲突超图的邻接矩阵和所述着色后的特征矩阵,输出一个节点特征,即对选取动作的评价;

在所述步骤S4中,所述GCN‑DDPG模型还包括行动者目标网络和批判者目标网络;

在训练过程中,将BBU池作为智能体,智能体将当前状态st输入进所述行动者网络中,得到动作at,智能体在环境中执行at=μ(st|θμ),μ()表示所述行动者网络,θμ表示所述行动者网络的参数,然后得到及时奖励rt并获得下一个状态st+1,并将(st,at,rt,st+1)存储在经验重放缓冲区用于进一步训练;当经验池存满,智能体随机选择Nc个数据组成小批量数据,其中第n个数据的状态‑动作(sn,an)的估计值Q(sn,an|θQ)由所述批判者网络得到,θQ表示所述批判者网络的参数;

状态‑动作(sn,an)的目标值由下式计算:

其中,γ为折扣因子, 表示所述批判者目标网络, 表示所述批判者目标网络的参数, 表示所述行动者目标网络, 表示所述行动者目标网络的参数。

2.根据权利要求1所述的基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于,通过最小化均方误差训练所述批判者网络,均方误差L(θQ)由下式计算:通过梯度下降法更新所述批判者网络的参数;通过对L(θQ)中θQ求微分得到L(θQ)的梯度。

3.根据权利要求2所述的基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于,通过最大化环境状态初始分布的预期收益训练所述行动者网络,环境状态初始分布的预期收益J(θμ)由下式计算:通过梯度下降法更新所述行动者网络的参数;通过微分的链式法则计算得到J(θμ)的梯度;

更新所述批判者目标网络的参数和所述行动者目标网络的参数分别为更新后的所述批判者网络的参数和所述行动者网络的参数。

4.根据权利要求1所述的基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于,在所述行动者网络或所述批判者网络中,所述图卷积神经网络的操作表示为:

0 1

f(X,A)=σ(AReLu(AXW)W)

其中,为简化形式自定义的矩阵 A=A+I,A表示所述冲突超图的邻接矩k

阵,I表示单位矩阵,D=∑jAij表示一个对角矩阵,Aij表示A第i行第j列的元素,W表示第k+1层的权值矩阵,k=0,1,σ(·)是一个激活函数,ReLu()表示ReLu激活函数,X表示特征矩阵。

5.根据权利要求4所述的基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于,根k据下式更新每一层中的节点H:

6.根据权利要求1~5任一项所述的基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于,所述冲突超图表示为GH={VH,EH},其中VH是顶点集,顶点表示通信链路,EH是超边集,超边表示通信链路之间的冲突关系,EH中的任一超边是VH的子集,超边中的顶点与其它顶点具有相同的关系,GH用关联矩阵H表示任一顶点v与任一超边e的关系,H的任一行任一列的元素h(v,e)取值如下:其中h(v,e)=1表示顶点v与超边e是关联的,即超边e包含顶点v。

7.基于GCN‑DDPG的超密集物联网资源分配方法,其特征在于:包括处理模块,所述处理模块用于执行权利要求1~6任意一项所述的步骤S1~S4。