利索能及
我要发布
收藏
专利号: 202310614603X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,包括以下步骤:步骤S1,将一个中继节点放置于基站中,在基站的通信范围内放置I台物联网设备i,用集合i={1,2,…,I}表示,所述中继节点用于接收物联网设备i向其传输的数据,将设备i向中继节点传输数据所需的传输时延K分为k个时隙,获取设备i和中继节点在每个时隙内的无线信道参数;

步骤S2,根据设备i和中继节点在每个时隙内的无线信道参数,计算设备i和中继节点的传输速率;

步骤S3,以中继节点处的数据平衡以及能量平衡为约束条件,以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量,以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P,其中,优化问题P的表达式为:P:min K

上式为优化问题P的目标函数,表示最小化每台设备i传输一定数据时的传输时延,其中,K表示设备i向中继节点传输数据所需的传输时延;

优化变量包括:{αi,k}、 {pi,k}、{τk}、K,其中,αi,k表示在第k个时隙设备i的传输比例,r表示中继节点,prk表示中继节点r在第k个时隙的传输功率,pi,k表示设备i在第k个时隙的传输功率,τk表示第k个时隙内的子时隙分数;

上式为优化问题P的约束条件1,表示中继节点处的数据平衡,其中,T表示单个时隙长度, 表示中继节点r的传输速率,Qi,k表示在第k个时隙设备i传输的数据量,Ri,k表示设备i的传输速率;

max

上式为优化问题P的约束条件2和约束条件3,表示中继节点处的能量平衡,其中,E 表示中继节点处的最大消耗能量,Ek表示第k个时隙中继节点r自身的能量,EAk表示第k个时隙中继节点r从外界获取的能量;

Di(k)≥L,i∈I,

上式为优化问题P的约束条件4,其中,Di(k)表示设备i在前k个时隙内传输的数据量,L表示物联网最低要求的传输数据量,上式表示在k个时隙内设备i传输的数据量要超过物联网最低要求的传输数据量;

0≤τk≤1,k∈K,

上式为优化问题P的约束条件5—9,表示优化变量的取值范围,其中, 表示设备i的最大传输功率, 表示中继节点r的最大传输功率,表示设备i向中继节点传输数据所需的最小传输时延,K表示设备i向中继节点传输数据所需的最大传输时延;

步骤S4,把优化问题P分解为两个子问题P‑1和子问题P‑2,采用神经网络结合深度确定性策略梯度算法对子问题P‑1进行求解,根据子问题P‑1的求解结果,采用二分搜索算法对子问题P‑2进行求解,从而得到优化问题P的最优解;

其中,步骤S4中,采用神经网络结合深度确定性策略梯度算法求解子问题P‑1的方法为:步骤S401,确定动作空间信息以及状态空间信息,所述动作空间信息包括设备i的传输比例αi,k、中继节点的传输功率prk、设备i的传输功率pi,k以及子时隙分数τk,所述状态空间信息包括设备i在当前时隙内传输的数据量Qi,k以及第k个时隙中继节点自身的能量Ek;

步骤S402,使用演员—评论家算法框架构建神经网络模型,所述神经网络模型包括演员网络、评论家网络以及奖励函数,所述演员网络的输入为状态空间信息,输出为动作空间值,所述评论家网络的输入为状态空间信息和动作空间值,输出为状态值函数,所述奖励函数用于描述神经网络模型在每个状态下采取每个动作后从环境中反馈的奖励;

步骤S403,初始化神经网络模型的参数,定义演员网络以及评论家网络的损失函数;

步骤S404,使用优化器优化演员网络以及评论家网络的损失函数;

步骤S405,采用经验回放方法随机从经验池中抽取数据对神经网络模型进行训练,重复更新演员网络以及评论家网络,直至获得最优的神经网络模型;

步骤S406,将当前状态空间信息输入训练后的演员网络,输出最优动作空间值以及每个时隙设备i的传输数据量的最大值,将所述最优动作空间值作为子问题P‑1的最优解。

2.如权利要求1所述的一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,步骤S4中,子问题P‑1的表达式为:

优化变量包括:{αi,k}、 {pi,k}、{τk},

上式为子问题P‑1的目标函数,表示通过联合优化{αi,k}、 {pi,k}以及{τk}这四个优化变量,在固定时隙内最大化设备i的传输数据量;

上式为子问题P‑1的约束条件1,表示中继节点处的数据平衡;

上式为子问题P‑1的约束条件2和约束条件3,表示中继节点处的能量平衡;

上式为子问题P‑1的约束条件4—8,表示优化变量的取值范围。

3.如权利要求1所述的一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,在“步骤S404,使用优化器优化演员网络以及评论家网络的损失函数”之后,还包括以下步骤:输入状态空间信息sk至演员网络,输出动作空间值ak;

将动作空间值ak施加至环境中,环境返回下一时隙的状态空间信息sk+1和奖励rk;

将sk、ak、rk以及sk+1记为一条四元组数据放入经验池中。

4.如权利要求3所述的一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,演员网络包括演员在线网络以及演员目标网络,评论家网络包括评论家在线网络以及评论家目标网络,则步骤S405的子步骤包括:步骤A01)从经验池中抽取四元组数据(sk,ak,rk,sk+1)作为样本,将样本中的sk和ak输入到评论家在线网络中,得到当前时隙的传输数据量Q=(sk,ak);

步骤A02)将样本中的sk+1输入到演员目标网络中,得到目标动作空间值ak+1,并将sk+1与′ ′ ′ak+1一起输入到评论家目标网络中,得到目标传输数据量Q=(sk+1,ak+1);

步骤A03)更新演员在线网络,根据演员在线网络输出的动作空间值更新评论家在线网络,使得评论家在线网络输出的Q值增大;

步骤A04)重复执行上述步骤A01)—A03),直至评论家在线网络输出的Q值等于目标传′ ′输数据量Q或者Q值在目标传输数据量Q的预设误差范围内,将此时的神经网络模型作为最优的神经网络模型。

5.如权利要求1所述的一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,步骤S4中,子问题P‑2的表达式为:

P‑2:mink,k∈K

优化变量为:k,

上式为子问题P‑2的目标函数,表示在子问题P‑1求解出的传输数据量下最小化时隙个数,从而获得最小化的传输时延;

Di(k)≥L,i∈I,

上式为子问题P‑2的约束条件1,表示在k个时隙内设备i传输的数据量要超过物联网最低要求的传输数据量;

上式为子问题P‑2的约束条件2,表示传输时延K的取值范围。

6.如权利要求5所述的一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,步骤S4中,采用二分搜索算法求解子问题P‑2的方法为:

upp low upp low

步骤S411,确定最大时隙个数k 以及最小时隙个数k ,其中k >k ,并获取物联网最低要求的传输数据量L;

mid low upp

步骤S412,计算当前时隙个数k =(k +k )/2;

mid

步骤S413,如果Di(k )≥L,则执行步骤S414,否则执行步骤S415;

upp mid

步骤S414,令k =k ;

low mid

步骤S415,令k =k ;

upp low mid

步骤S416,重复执行步骤S412—S415,直至k ≤k ,输出当前时隙个数k 作为子问题P‑2的最优解,从而得到优化问题P的最优解。

7.如权利要求1至6任一项所述的一种能量采集中继辅助物联网的传输时延优化方法,其特征在于,设备i和中继节点在每个时隙内的无线信道参数包括设备到中继节点r的信道带宽、信道增益以及背景噪声功率,设备的传输功率,中继节点到基站的信道带宽、信道增益以及背景噪声功率和中继节点的传输功率,则步骤S2中,根据设备i和中继节点在每个时隙内的无线信道参数,计算设备i和中继节点的传输速率的方法包括:其中,i和j均表示设备,r表示中继节点,k表示时隙个数,Ri,k表示设备i在第k个时隙的传输速率,B1表示设备到中继节点r的信道带宽,pi,k表示设备i在第k个时隙的传输功率,gi,k表示第k个时隙设备i到中继节点的信道增益,pj,k表示在第k个时隙设备j的传输功率,gj,k表示第k个时隙设备j到中继节点的信道增益,N1表示设备到中继节点的背景噪声功率,Rrk表示中继节点r在第k个时隙传输速率,B2表示中继节点到基站的信道带宽,prk表示中继节点r在第k个时隙的传输功率,grk表示第k个时隙中继节点r到基站的信道增益,N2表示中继节点r到基站的背景噪声功率。

8.一种能量采集中继辅助物联网的传输时延优化装置,其特征在于,包括:参数获取模块,用于将设备i向中继节点传输数据所需的传输时延K分为k个时隙,获取设备i和中继节点在每个时隙内的无线信道参数;

传输速率计算模块,用于根据设备i和中继节点在每个时隙内的无线信道参数,计算设备i和中继节点的传输速率;

优化问题建立模块,用于以中继节点处的数据平衡以及能量平衡为约束条件,以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量,以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P,其中,优化问题P的表达式为:P:minK

上式为优化问题P的目标函数,表示最小化每台设备i传输一定数据时的传输时延,其中,K表示设备i向中继节点传输数据所需的传输时延;

优化变量包括:{αi,k}、 {pi,k}、{τk}、K,其中,αi,k表示在第k个时隙设备i的传输比例,r表示中继节点,prk表示中继节点r在第k个时隙的传输功率,pi,k表示设备i在第k个时隙的传输功率,τk表示第k个时隙内的子时隙分数;

上式为优化问题P的约束条件1,表示中继节点处的数据平衡,其中,T表示单个时隙长度, 表示中继节点r的传输速率,Qi,k表示在第k个时隙设备i传输的数据量,Ri,k表示设备i的传输速率;

max

上式为优化问题P的约束条件2和约束条件3,表示中继节点处的能量平衡,其中,E 表示中继节点处的最大消耗能量,Ek表示第k个时隙中继节点r自身的能量,EAk表示第k个时隙中继节点r从外界获取的能量;

Di(k)≥L,i∈I,

上式为优化问题P的约束条件4,其中,Di(k)表示设备i在前k个时隙内传输的数据量,L表示物联网最低要求的传输数据量,上式表示在k个时隙内设备i传输的数据量要超过物联网最低要求的传输数据量;

0≤τk≤1,k∈K,

上式为优化问题P的约束条件5—9,表示优化变量的取值范围,其中, 表示设备i的最大传输功率, 表示中继节点r的最大传输功率,表示设备i向中继节点传输数据所需的最小传输时延,K表示设备i向中继节点传输数据所需的最大传输时延;

优化问题求解模块,用于把优化问题P分解为两个子问题P‑1和P‑2,采用神经网络结合深度确定性策略梯度算法对子问题P‑1进行求解,根据子问题P‑1的求解结果,采用二分搜索算法对子问题P‑2进行求解,从而得到优化问题P的最优解;

其中,优化问题求解模块采用神经网络结合深度确定性策略梯度算法求解子问题P‑1时执行以下步骤:步骤S401,确定动作空间信息以及状态空间信息,所述动作空间信息包括设备i的传输比例αi,k、中继节点的传输功率prk、设备i的传输功率pi,k以及子时隙分数τk,所述状态空间信息包括设备i在当前时隙内传输的数据量Qi,k以及第k个时隙中继节点自身的能量Ek;

步骤S402,使用演员—评论家算法框架构建神经网络模型,所述神经网络模型包括演员网络、评论家网络以及奖励函数,所述演员网络的输入为状态空间信息,输出为动作空间值,所述评论家网络的输入为状态空间信息和动作空间值,输出为状态值函数,所述奖励函数用于描述神经网络模型在每个状态下采取每个动作后从环境中反馈的奖励;

步骤S403,初始化神经网络模型的参数,定义演员网络以及评论家网络的损失函数;

步骤S404,使用优化器优化演员网络以及评论家网络的损失函数;

步骤S405,采用经验回放方法随机从经验池中抽取数据对神经网络模型进行训练,重复更新演员网络以及评论家网络,直至获得最优的神经网络模型;

步骤S406,将当前状态空间信息输入训练后的演员网络,输出最优动作空间值以及每个时隙设备i的传输数据量的最大值,将所述最优动作空间值作为子问题P‑1的最优解。