利索能及
我要发布
收藏
专利号: 2023100888021
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度强化学习的高密集物联网信道接入方法,其特征在于,具体包括以下步骤:

当有新节点加入通信网络时,对通信网络进行初始化,具体包括以下步骤:

将初始化过程划分为初始周期和初始数据传输周期;

初始数据传输周期包括多个数据传输时隙,每个数据传输时隙按照固定的竞争窗口、退避指数以及最大退避次数进行数据传输;

根据每个时隙的数据传输情况计算在初始数据传输周期内的时延、丢包率以及吞吐量的平均值;

每次初始化完成后按照超帧周期进行数据传输,在一个超帧周期中包括数据传输周期和控制周期,在控制周期中节点侦听sink节点广播的接入竞争窗口、最大退避指数进而最大退避次数,在数据传输周期中节点根据上一超帧周期中的控制周期广播的信道接入参数进行信道接入;

在数据传输周期结束后,sink节点根据Q‑learning算法选择动作价值最大对应的接入参数作为下一超帧周期的接入参数。

2.根据权利要求1所述的一种基于深度强化学习的高密集物联网信道接入方法,其特征在于,在初始数据传输周期每个时隙按照固定的竞争窗口、退避指数以及最大退避次数的值为最后一次强化学习得出的值,若在此之前没有进行过强化学习,则将竞争窗口、退避指数以及最大退避次数的值均设置为2。

3.根据权利要求1所述的一种基于深度强化学习的高密集物联网信道接入方法,其特征在于,计算在一个初始数据传输周期中时延、丢包率以及吞吐量的平均值的过程包括以下步骤:delay平均(t+1)=k(|delay(t+1)‑delay(t))+(1‑k)delay平均(t)throughput平均(t+1)=k(|throughput(t+1)‑throughput(t)|)+(1‑k)throughput平均(t)packetloss平均(t+1)=k(|packetloss(t+1)‑packetloss(t)|)+(1‑k)throughput平均(t)其中,delay平均(t)为第t个数据传输时隙的时延平均值;throughput平均(t)为第t个数据传输时隙的吞吐量平均值;packetloss平均(t)为第t个数据传输时隙的丢包率平均值;k为权重因子;delay(t)为第t个数据传输时隙的网络延迟;throughput(t)为第t个数据传输时隙的网络的吞吐量;packetloss(t)为当前第t个数据传输时隙的丢包率;||表示取绝对值。

4.根据权利要求1所述的一种基于深度强化学习的高密集物联网信道接入方法,其特征在于,Q‑learning算法中动作价值函数更新过程表示为:其中,q(st,at)表示在状态st下采取动作at的价值;γ为折扣因子,α为学习率;rt为奖励值; 获取动作值函数最大的下一状态。

5.根据权利要求1所述的一种基于深度强化学习的高密集物联网信道接入方法,其特征在于,sink节点根据Q‑learning算法选择动作价值最大对应的接入参数作为下一超帧周期的接入参数的过程中,为接入参数设置最大值和最小值,若执行动作后接入参数的值超出设定范围,则令执行动作后的值与前一时刻的值一致,表示为:其中,xt+1表示t+1时刻的一个接入参数x的值,xmin为接入参数x的最小值;xmax为接入参数x的最大值;x∈{CW,macMaxBE,macMaxCSMABackoffs},CW表示竞争窗口长度,macMaxBE表示最大退避指数,macMaxCSMABackoffs表示最大退避次数。