利索能及
我要发布
收藏
专利号: 2023107184325
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,包括以下步骤:步骤S1,在基站的通信范围内放置I台中继节点i,用集合i={1,2,…,I}表示,物联网设备通过中继节点向基站发送数据,设备与中继节点以及中继节点与基站之间均采用非正交多址的传输方式进行通信,将中继辅助物联网中的中继节点i传输数据的时隙传输总数K分为k个时隙,获取设备和中继节点i在每个时隙内的无线信道参数;

步骤S2,以中继节点处的数据平衡以及平均传输功率平衡为约束条件,以中继选择指示变量、设备的传输功率、中继节点的传输功率以及子时隙分数为优化变量,以最大化中继辅助物联网长期的时平均传输速率为优化目标建立优化问题P,其中,优化问题P的表达式为:上式为优化问题P的目标函数,表示最大化中继辅助物联网中的中继节点i长期的时平均传输速率,其中,K表示中继辅助物联网中的中继节点i传输数据的时隙传输总数,k表示时隙个数,τk表示第k个时隙内的子时隙分数,I表示中继节点的总数,Di,k表示中继节点i在第k个时隙接收的数据量,E[Di,k]表示对Di,k求期望;

优化变量包括:{mi,k}、{pk}、{pi,k}、{τk},其中,mi,k表示在第k时隙中继节点i是否被选中进行信息接收,即中继选择指示变量,pk表示在第k个时隙设备的传输功率,pi,k表示中继节点i在第k个时隙的传输功率;

上式为优化问题P的约束条件1,表示在第k个时隙中继节点i被选中接收信息;

上式为优化问题P的约束条件2,表示中继节点处接收的数据量应不大于其传出的数据量,即中继节点处的数据平衡,其中,中继节点i在第k个时隙接收的数据量Di,k=mi,kτkTRk,′其中T表示单个时隙的长度,Rk表示设备在第k个时隙的传输速率,Di ,k表示中继节点i在第k′个时隙传出的数据量,Di ,k=Ri,k(1‑τk)T,其中Ri,k表示中继节点i在第k个时隙的传输速率;

上式为优化问题P的约束条件3和约束条件4,表示设备到中继节点i的传输功率应等于设备的平均传输功率,中继节点i到基站的传输功率应等于中继节点i的平均传输功率,即平均传输功率平衡,其中, 表示设备在第k个时隙的平均传输功率, 表示中继节点i在第k个时隙的平均传输功率;

max

0≤pk≤p ,

0≤mi,k≤1

0≤τk≤1

max

上式为优化问题P的约束条件5—8,表示优化变量的取值范围,其中,p 表示设备的最大传输功率, 表示中继节点i在第k个时隙最大传输功率,若mi,k>0.5,则令mi,k=1,即认为中继节点i被选中进行信息接收;

步骤S3,计算中继节点的数据存储量以及剩余能量,并根据所述中继节点的数据存储量以及剩余能量将优化问题P转化为优化问题P‑1,所述优化问题P‑1以最大化中继辅助物联网固定时隙内的时平均传输速率为优化目标,其中,转化后的优化问题P‑1的表达式为:上式为优化问题P‑1的目标函数,表示最大化中继辅助物联网中的中继节点i在固定时隙内的时平均传输速率,其中,K表示中继辅助物联网中的中继节点i传输数据的时隙传输总数,k表示时隙个数,τk表示第k个时隙内的子时隙分数,I表示中继节点的总数,Di,k表示中继节点i在第k个时隙接收的数据量;

优化变量包括:{mi,k}、{pk}、{pi,k}、{τk},其中,mi,k表示在第k时隙中继节点i是否被选中进行信息接收,即中继选择指示变量,pk表示在第k个时隙设备的传输功率,pi,k表示中继节点i在第k个时隙的传输功率;

上式为优化问题P‑1的约束条件1,表示在第k个时隙中继节点i被选中接收信息;

Ci,k‑Ri,k(1‑τk)T+mi,kτkTRk>0上式为优化问题P‑1的约束条件2,表示中继节点的数据存储量应大于零;

max

0≤pi,k(1‑τk)T≤E

上式为优化问题P‑1的约束条件3,表示中继节点i消耗的能量不能超过中继节点能够max存储的最大能量,其中E 表示中继节点能够存储的最大能量;

new

Ei,k‑pi,k(1‑τk)T+E >0

上式为优化问题P‑1的约束条件4,表示中继节点的剩余能量应大于零;

0≤mi,k≤1

0≤τk≤1

max

上式为优化问题P‑1的约束条件5—8,表示优化变量的取值范围,其中,p 表示设备的最大传输功率, 表示中继节点i在第k个时隙最大传输功率,若mi,k>0.5,则令mi,k=1,即认为中继节点i被选中进行信息接收;

步骤S4,采用双延迟深度确定性策略梯度算法对优化问题P‑1进行求解,从而得到优化问题P的最优解。

2.如权利要求1所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,步骤S3中,中继节点的数据存储量的计算方法包括:

其中,K表示中继辅助物联网中的中继节点i传输数据的时隙传输总数,k表示时隙个数,I表示中继节点的总数,Ci,k+1表示第k+1个时隙中继节点i的数据存储量,Ci,k表示第k个时隙中继节点i已有的数据存储量,Ri,k(1‑τk)T表示中继节点i在第k个时隙传出的数据量,其中Ri,k表示中继节点i在第k个时隙的传输速率,τk表示第k个时隙内的子时隙分数,T表示单个时隙的长度,mi,kτkTRk表示中继节点i在第k个时隙接收的数据量,其中mi,k表示在第k时隙中继节点i是否被选中进行信息接收,即中继选择指示变量,Rk表示设备在第k个时隙的传输速率。

3.如权利要求2所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,步骤S3中,中继节点的剩余能量的计算方法包括:

其中,Ei,k+1表示第k+1个时隙中继节点i剩余的能量,Ei,k表示第k个时隙中继节点i已有的能量存储量,pi,k(1‑τk)T表示中继节点i在第k个时隙消耗的能量,其中pi,k表示中继节点newi在第k个时隙的传输功率,E 表示中继节点从外界获取的能量。

4.如权利要求3所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,步骤S4中,采用双延迟深度确定性策略梯度算法对优化问题P‑1进行求解的方法包括:步骤S401,定义第k个时隙时的状态空间sk=(Ci,k,Ei,k)、第k个时隙时的动作空间ak=(mi,k,pk,pi,k,τk)以及奖励函数r;

步骤S402,使用演员—评论家算法框架构建神经网络模型,所述神经网络模型包括演员网络、第一评论家网络以及第二评论家网络,所述演员网络的输入为状态空间sk,输出为动作空间ak,第一评论家网络以及第二评论家网络用于对当前状态空间和动作空间的价值进行估计;

步骤S403,对所述神经网络模型的参数进行初始化;

步骤S404,采集状态回报对(sk,ak,rk,sk+1)放入经验池中,其中,rk表示第k个时隙返回的奖励值,即优化问题P‑1的目标函数的解,sk+1表示第k+1个时隙时的状态空间(Ci,k+1,Ei,k+1);

步骤S405,从经验池中抽取出状态回报对(sk,ak,rk,sk+1)对神经网络模型进行训练,重复更新演员网络以及评论家网络,直至获得最优的神经网络模型;

步骤S406,将当前状态空间输入训练后的演员网络,输出最优动作空间以及返回的奖励值rk,即优化问题P‑1的目标函数的最优解。

5.如权利要求4所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,演员网络包括演员在线网络以及演员目标网络,第一评论家网络包括第一评论家在线网络以及第一评论家目标网络,第二评论家网络包括第二评论家在线网络以及第二评论家目标网络,则步骤S405的子步骤包括:步骤A01,从经验池中抽取出状态回报对(sk,ak,rk,sk+1)对神经网络模型进行训练,并使用第一评论家目标网络以及第二评论家目标网络计算目标值;

步骤A02,根据第一评论家在线网络输出的评估值 以及第二评论家在线网络输出的评估值 与目标值之间的误差Li,对第一评论家在线网络以及第二评论家在线网络中的参数进行更新,并将神经网络模型输出的状态回报对放入经验池中;

步骤A03,重复执行步骤A01和步骤A02,直至经验池达到最大存储容量N,则停止更新第一评论家在线网络以及第二评论家在线网络;

步骤A04,计算第一评论家在线网络以及第二评论家在线网络的误差Ji,根据误差Ji对演员在线网络的参数进行更新;

步骤A05,重复执行步骤A01至步骤A04,直至两个评论家在线网络输出的评估值等于目标值或者误差Li在预设误差范围内,将此时的神经网络模型作为最优的神经网络模型。

6.如权利要求5所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,步骤A01的子步骤包括:

将状态回报对(sk,ak,rk,sk+1)中的状态空间输入演员目标网络,输出下一个状态空间′的目标动作空间ak;

对目标动作空间a k加入扰动后,分别输入第一评论家目标网络以及第二评论家目标网络;

选取第一评论家目标网络的输出值以及第二评论家目标网络的输出值中的较小值;

对选出的较小值进行折扣加权,并加上奖励值,将得出的计算结果作为目标值。

7.如权利要求6所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,步骤A02中,误差Li的表达式为:

其中,当i=1时,L1表示第一评论家在线网络输出的评估值 与目标值之间的误差, 表示第一评论家在线网络输出的评估值,当i=2时,L2表示第二评论家在线网络输出的评估值 与目标值之间的误差, 表示第二评论家在线网络输出的评估值,y(sk,ak)表示目标值;

则根据误差Li对第一评论家在线网络以及第二评论家在线网络中的参数进行更新的方法为:其中,当i=1时, 表示第一评论家在线网络更新后的参数, 表示第一评论家在线网络更新前的参数,ρ表示评论家在线网络的预设学习率, 表示第一评论家在线网络参数的梯度下降值,当i=2时, 表示第二评论家在线网络更新后的参数,表示第二评论家在线网络更新前的参数, 表示第二评论家在线网络参数的梯度下降值。

8.如权利要求5所述的一种中继辅助物联网长期的时平均传输速率优化方法,其特征在于,步骤A04中,第一评论家在线网络以及第二评论家在线网络的误差Ji的计算方法为:其中,N表示经验池能够达到的最大存储容量,当i=1时,J1表示第一评论家在线网络的误差, 表示第一评论家在线网络输出的评估值,当i=2时,J2表示第二评论家在线网络的误差, 表示第二评论家在线网络输出的评估值;

则根据误差Ji对演员在线网络的参数进行更新的方法为:

其中, 表示演员在线网络更新后的参数, 表示演员在线网络更新前的参数,表示演员在线网络的预设学习率, 表示演员在线网络参数的梯度下降值。