利索能及
我要发布
收藏
专利号: 2023117277311
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于超图的D2D辅助超密集物联网资源管理方法,其特征在于,包括步骤:S1、构建D2D辅助超密集物联网模型;

所述D2D辅助超密集物联网模型包括D2D辅助的UD‑IoE层和BBU池,其中D2D表示端对端,UD‑IoE表示超密集物联网,BBU表示基带单元,所述UD‑IoE层包括N个IoED、M条通信链路和多个RRH,IoED表示物联网设备,RRH表示远程无线电头端;每个RRH通过高速前传链路连接到BBU池,负责提供基本覆盖和辅助接入;N个IoED采用D2D通信模式,形成自组织网络;

IoED感知周围的环境信息,根据IoED之间的多跳通信链路扩展感知范围,并通过RRH发送到BBU池;由BBU和计算服务器组成的BBU池收集网络中的所有环境信息,并将资源分配给D2D辅助的UD‑IoE层中的通信链路;

S2、建立所述D2D辅助超密集物联网模型的冲突超图模型;

所述冲突超图模型表示为GH={VH,EH},其中VH是顶点集,顶点表示通信链路,EH是超边集,超边表示通信链路之间的冲突关系,EH中的任一超边是VH的子集,超边中的顶点与其它顶点具有相同的关系,GH用关联矩阵H表示任一顶点v与任一超边e的关系,H的任一行任一列的元素h(v,e)取值如下:其中h(v,e)=1表示顶点v与超边e是关联的,即超边e包含顶点v;

所述冲突超图模型通过以下步骤构建:

S21、建立所述D2D辅助超密集物联网模型的冲突图模型,所述冲突图模型表示为:GC=(VC,EC)

其中VC={e1,e2,...,eM}是表示通信链路的顶点的集合,EC是表示通信链路之间的资源冲突关系的边的集合,VC中的顶点和EC中的边之间的关系由邻接矩阵GC表示:其中邻接矩阵GC中第i行第j列的元素(ei,ej)取值如下:S22、简化邻接矩阵GC为:

其中, 表示将GC1的主对角线元素设置为0所得矩阵,GC1表示记录直接冲突的冲突图的邻接矩阵,I是单位矩阵, 表示将GC2的主对角线元素设置为0,GC2表示记录间接冲突的冲突图的邻接矩阵;直接冲突是指两个通信链路同时使用相同的信道,并且具有相同的发送或接收IoED;间接冲突是指两个通信链路同时使用相同的信道,并且一个IoED对的发送或接收IoED在其他IoED对中的IoED的通信范围内;

S23、基于团和超图理论将所述冲突图模型简化为冲突超图模型;

所述步骤S23具体包括步骤:

S231、根据冲突图GC=(VC,EC)中顶点之间的高密度连接的性质,生成多个完全子图Gsub;

S232、每个完全子图都是一个团,团中所有的顶点彼此相邻,并且每个团用一个超边来表示,基于超边与团的关系,在保持顶点相邻关系不变的情况下,将所述冲突图模型简化为冲突超图模型;

S3、基于所述冲突超图模型构建无冲突资源管理模型;

在所述步骤S3中,所述无冲突资源管理模型包括主Q网络、目标Q网络、ε‑贪婪算法模块、损失函数模块、环境模块、重放缓存器;

所述ε‑贪婪算法模块用于在初始时选择一个随机动作at,或者在后续的动作选择中选择动作价值函数值所对应的一个动作at,动作价值函数值由所述主Q网络计算;

所述环境模块用于执行所述ε‑贪婪算法模块选择的动作at,并生成新的冲突超图模型,得到新状态st+1,并计算得到新状态st+1获得的奖励rt+1,并生成对应的经验{st,at,rt,st+1}放入所述重放缓存器进行存储,rt表示t时刻得到状态st获得的奖励;

所述主Q网络用于根据st+1、rt+1、st、rt计算动作价值函数值以在所述ε‑贪婪算法模块选择动作时提供动作价值函数值的动作,所述目标Q网络用于根据所述主Q网络计算的动作价值函数值以及rt、st+1计算目标函数值;

所述损失函数模块用于根据所述目标Q网络计算的目标函数值和所述主Q网络计算的动作价值函数值计算损失,并采用梯度下降法更新所述主Q网络的参数w,并每隔预设步数更新所述目标Q网络的参数θ为w;

所述主Q网络计算的目标函数值为:

其中,q(st+1,a;w)表示所述主Q网络计算的状态st+1下可采取的所有动作的动作价值函数值, 表示所述主Q网络计算的动作价值函数值所对应的策略,表示所述目标Q网络计算的状态st+1下策略 下

的评估值,γ表示贴现因子;

所述损失函数模块根据下式计算损失L(w):

2

L(w)=[q(s,a;w)‑y]

其中,q(s,a;w)表示所述主Q网络计算的动作价值函数值;

在状态st下执行动作at所获得的奖励rt由下式计算:其中, 表示所述冲突超图模型执行动作at的冲突度,ρt表示所述冲突超图模型执行动作at的资源重用率;

由下式计算:

其中, 表示边的列向量,hj表示边的行向量,|E|表示所述冲突超图模型的超边条数,ki表示第i个资源,Nres表示所使用的资源的数量;

ρt由下式计算:

其中,|V|表示所述冲突超图模型中顶点的个数, 表示在当前时隙t所使用的资源的数量;

S4、采用所述无冲突资源管理模型进行资源分配。

2.基于超图的D2D辅助超密集物联网资源管理系统,其特征在于:包括智能体,所述智能体用于执行权利要求1所述的步骤S1至步骤S4。