利索能及
我要发布
收藏
专利号: 2021110882145
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种反向散射辅助无线供能通信系统吞吐量优化方法,所述无线供能通信系统包括环境射频源、发射机和接收机,所述发射机上配置有传感器,其特征在于,所述反向散射辅助无线供能通信系统吞吐量优化方法,包括:按照预设的时间块T,设置环境射频源在每个时间快T内开启αT时间,关闭(1‑α)T时间,α为占空比因子;

将优化反向散射辅助的无线供能通信系统长期平均吞吐量作为一个马尔可夫决策过程,所述马尔可夫决策过程包括系统状态s,动作a和奖励函数R三要素,采用深度Q学习算法来获取马尔可夫决策过程对应的最优在线策略;

在所述环境射频源开启时,发射机按照最优在线策略执行,其中:当环境射频源开启时,发射机执行:从射频信号中捕获能量,传感器采样数据,将多余能量存储;

或,通过反向散射方式采样和传输数据;

当环境射频源关闭时,发射机消耗存储能量执行主动传输或传感器采样,直至能量耗尽进入休眠模式。

2.根据权利要求1所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在(n) (n)

于,第n个时间块开始时的系统状态s 包括信道增益幅值的平方h 、发射机的剩余能量b(n) (n) (n) (n) (n) (n) (n)和缓存数据量q ,记为s ={h ,b ,q };第n个时间块采取的动作a 包括发射机在(n) (n)

环境射频源开启时的能量捕获时间th 、反向散射时间tb 、环境射频源关闭时发射机进行(n) (n) (n) (n) (n) (n)主动传输的时间ta ,主动传输的发射功率pt 及数据压缩比c ,记为a ={th ,tb ,ta(n) (n) (n) (n) (n) (n),pt ,c };在状态s 下采取动作a 得到的系统奖励R 为:(n)

其中,rb为反向散射传输速率,q′ 是经过αT时间后剩余的数据量,qth是触发主动传输(n) (n)

的缓存数据量阈值,f(c )是误差容忍率函数,ra 为主动传输速率,分别如下公式计算得到:

(n) (n)2 (n) 2 (n)f(c )=1‑(p1c +p2c +p3)δ/(c +p4)  (3);

其中,rs是传感器采样速率,p1、p2、p3、p4均为常数,δ是叠加到传感器测量信号上的高斯白噪声标准差,W是信道带宽,N0是噪声谱密度,dt,r是发射机和接收机之间的距离,β是路径损耗指数。

3.根据权利要求2所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在(n)

于,所述第n个时间块采取的动作a 的限制条件表示如下:(n)

c ∈{k/Na|k=0,1,...,Na,Na∈Z}        (13)其中,式(5)(6)是时间约束,式(7)(8)(9)是数据量约束,式(10)是能量约束,式(11)(12)(13)分别是将时间、功率和压缩比离散化后的取值约束,pmin和pmax分别是发射机进行主动传输时最小功率和最大功率,bmax是发射机电池最大容量,qmax是发射机缓存容量,ps是(n) (n)

传感器感知功耗,pt 为0表示传感器进行感知不传输数据,c =0表示没有数据在传输,c(n)

=1时表示没有进行数据压缩,Nt和Na分别是时间离散等级和压缩率离散等级,Δpt是功(n)

率离散化步长,式(9)中1{X}表示当括号内表达式X为真时取1,否则取0,bOFF 是环境射频源关闭时发射机消耗的能量,为主动传输或感知消耗的能量,由式(14)计算得到:

4.根据权利要求1所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在于,所述深度Q学习算法对应的神经网络包括用于训练的基础网络和用于计算的目标网络,训练所述神经网络包括:

步骤2.1、初始化Q网络及其训练参数;

步骤2.1.1、初始化基础网络参数ω1、目标网络参数ω2,令两组参数相等;

步骤2.1.2、初始化经验池,令其大小为LM;

步骤2.1.3、初始化训练参数,包括贪婪策略因子ε、学习率η、折扣因子γ、神经网络权重赋值间隔Nw、样本选择间隔Nb、选择样本数NS和每次训练的最大迭代次数Kmax;

步骤2.2、迭代学习最优策略;

步骤2.2.1、随机选择一个状态s作为初始状态输入基础网络,经过卷积层的特征提取和全连接层,得到所有动作对应的Q值;

步骤2.2.2、根据ε贪婪策略选择动作,所述ε贪婪策略是以ε的概率随机选择一个动作,以1‑ε的概率选取Q值最大的动作,ε在算法迭代过程中不断降低,直至为0,实现算法在深度与广度上的延伸;

步骤2.2.3、在当前系统状态s执行相应动作a,到达下一状态s',获得系统奖励值R;

步骤2.2.4、将当前状态、所选动作、奖励值与下一状态作为一组序列样本(s,a,R,s')存储到经验池中;

步骤2.2.5、每隔Nb时间,从经验池中采样NS组样本来训练基础Q网络,将样本分别输入基础网络和目标网络,得到实际Q值和目标Q值,根据两组Q值计算基础Q网络的损失函数,为最小化损失函数利用梯度下降法更新基础网络参数ω1;

步骤2.2.6、每隔Nw时间,更新目标网络参数ω2,令ω2=ω1;

步骤2.2.7、将下一状态作为当前状态重复训练,直至到达预设的迭代次数Kmax。

5.根据权利要求1所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在于,所述发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据采用固定压缩比进行压缩。

6.根据权利要求2所述的反向散射辅助无线供能通信系统吞吐量优化方法,其特征在于,所述发射机在主动传输和反向散射传输之前都采用轻量级数据压缩方案对感知数据按照所述压缩比进行压缩。