1.一种基于DQN与联合竞价的两层切片资源分配方法,其特征在于,包括如下步骤:S1.在无线接入网络中,构建由基站、MVNO和用户组成的两层资源分配模型;
S2.在模型上层,应用DQN联合竞价的方法优化基站向MVNO的资源分配过程;
步骤S2中,MVNO与基站之间采用竞价的方式进行资源的分配,其中MVNO是竞价方,基站是分配资源方,最后结合DQN对整个竞价过程进行优化,具体过程如下:S201.将基站分配给第m个MVNO的资源记为cm,第m个MVNO分配给用户j的资源记为 ,每个MVNO会统计其连接的用户的最低速率需求 与最大服务速率 ,并由这些需求进行估价;
S202.各个MVNO由其连接用户的要求速率之和得出其竞价值范围 : (1)
其中,J为第m个MVNO所连接用户总数;
S203.基站按竞价比例分配给第m个MVNO的资源cm: (2)
其中,M为MVNO的总数;C为基站总带宽;
S204.设立评价函数 :
(3)
其中,vm代表第m个MVNO其连接用户的速率之和;
S205.在评价函数中设立折损函数 : (4)
其中, 为一个常数值, 为第m个MVNO竞价为b时得到的带宽资源;
S206.上层优化问题定义如下:
(5)
(6)
(7)
(8)
其中,F代表模型总体效用,用全部MVNO的效用函数与收益之和来表示;fm代表各MVNO的效用函数; 为第n个MVNO分到的带宽资源;n为第n个MVNO;
S207.对式(5)使用DQN来进行优化,其目标为最大化各MVNO的总效益和其连接的用户的效用之和;
S3.在模型下层,使用DQN优化MVNO向用户的资源分配过程;
步骤S3中,模型下层的任务是找到一个合适的带宽分配方案来使得每个MVNO的效用函数最大化,标记为 , 用 和 的加权和来表示;具体过程如下:S301.由香农公式计算得出基站通过第m个MVNO给用户 的下行链路速率 : (9)
(10)
其中, 表示第m个 MVNO的第j个用户, 表示第m个MVNO其连接用户的速率之和;
S302.计算第m个MVNO的第j个用户 与基站之间的信噪比 : (11)
其中, 表示用户 与基站之间信道的衰减增益, 表示传输功率, 表示单边噪声频谱密度;
S303.计算频谱效率SEm:
(12)
Um为第m个MVNO的用户总数; 为第m个MVNO所连接的第j个用户的速率;
S304.计算用户的满意度 :
(13)
其中, 表示被用户 成功接受的数据包,二进制 表示接受的数据包 是否有效, =0表示数据包无效, =1表示数据包有效; 表示向用户 传输的数据包总数;
S305.下层模型的优化目标为最大化每个MVNO的总效用函数fm,fm用SEm和 的加权和来表示: (14)
和 分别表示SEm和 的重要性权重;
S306.采用DQN优化各个MVNO的总效用函数fm,得到下层模型的最优带宽分配方案。
2.根据权利要求1所述基于DQN与联合竞价的两层切片资源分配方法,其特征在于,所述两层资源分配模型包括一个物理基站和一组移动虚拟网络运营商MVNO,每个MVNO下连接若干用户,每个NVNO向其连接用户提供分配带宽特定的移动服务。
3.根据权利要求1所述基于DQN与联合竞价的两层切片资源分配方法,其特征在于,所述步骤S2中,采用DQN联合竞价的方法对上层资源分配过程进行优化,主要分为以下几个步骤:(1)MVNO根据用户需求计算得出相应竞价范围,并向基站进行竞价;
(2)基站收到竞价后根据分配公式对MVNO 进行带宽分配,MVNO根据下层动作表向用户分配资源;
(3)MVNO将每次迭代时的动作和状态输入到DQN中进行参数训练,直到预设的迭代次数结束后得到较好的分配方案。
4.根据权利要求1所述基于DQN与联合竞价的两层切片资源分配方法,其特征在于,所述步骤S3中,采用DQN对下层资源分配过程进行优化,主要分为以下几个步骤:(1)MVNO得到带宽资源后划分为资源块并向用户进行分配;
(2)用户计算下行传输速率并计算成功接受的数据包,得到SSR和SE;
(3)MVNO将每次迭代时的动作和状态输入到DQN中进行参数训练,直到预设的迭代次数结束后得到比较好的分配方案。
5.根据权利要求1所述基于DQN与联合竞价的两层切片资源分配方法,其特征在于,所述方法进行带宽分配的整体流程如下:① 构建两层资源分配模型后进行参数初始化;
② 基站接收到MVNO的竞价后进行带宽分配,若此时处于模型上层优化阶段,则联合DQN的方法选择分配动作;
③ 若此时未处于模型上层优化阶段,则由下层动作表选择动作;
④ 当模型上层优化阶段收敛到最优竞价后,MVNO向用户进行带宽分配,得到当前状态、效用函数、奖励值,并由DQN进行训练,收敛到最优分配;
⑤ 得到最优的模型上下层分配动作,输出最终的分配方案作为最优的分配方案。