利索能及
我要发布
收藏
专利号: 2025103694741
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种异构蜂窝网络内容缓存方法,其特征在于,包括:基于搭建好的用户请求模型获取当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态;

根据所述当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,获取当前系统状态;

根据所述当前系统状态,基于在线决策模型生成缓存决策并执行缓存动作;

基于搭建好的用户请求模型获取当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,包括:根据公式(1)计算用户 通过蜂窝网络请求内容 的概率:                 (1)其中, 表示用户 通过蜂窝网络请求内容 的概率,表示用户,表示内容,表示基站序号; 表示本地缓存器 中内容 的缓存状态; 表示基站 覆盖的小区中用户 请求内容 的概率,且 服从Zipf分布; 表示用户 的本地缓存器缓存接收到内容 的概率;

根据公式(2)计算用户 在本地获取内容 的概率:                             (2)其中, 表示用户 在本地获取内容 的概率;

采集本地缓存器 中内容 的缓存状态 ,若 ,本地缓存器 已缓存内容 ;

若 ,本地缓存器 未缓存内容 ;

采集基站 中内容 的缓存状态为 ,若 ,基站 已缓存内容 ;若 ,基站 未缓存内容 ;

所述在线决策模型的搭建包括:

根据用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,构造状态空间 ;所述状态空间 的表达式如下:            (3)

其中, 表示系统状态, 表示时刻 的系统状态, 表示任意时刻;

表示时刻 的用户内容请求概率,表示用户,表示内容,表示基站序号, 表示用户请求内容集合, 表示基站 覆盖的所有用户,表示基站总数, 表示基站 覆盖的小区中用户 请求内容 的概率;

表示本地缓存器 和基站 在时刻 的缓存状态, 表示本地缓存器 中内容 的缓存状态, 表示基站 中内容 的缓存状态;

根据基站的内容缓存状态构造动作空间 ;所述动作空间 的表达式如下:                 (4)其中,表示缓存动作, 表示时刻 的缓存动作;

根据建立好的内容缓存联合优化问题构造奖励函数 ;所述奖励函数 的表达式如下:                  (5)其中, 表示在系统状态 下执行缓存动作 获得的奖励值; 表示性能关联系数; 为缓存命中率,表示基站直接响应内容请求的概率与内容请求的总概率之比; 为缓存冗余率,表示基站和本地缓存器中缓存的相同内容的比例; 为延迟效率,表示缓存策略降低的内容交付延迟与无缓存时的内容交付延迟之比;

所述内容缓存联合优化问题表达式如下:          (6)

其中, 表示内容缓存联合优化问题, 表示内容 的数据量大小, 表示基站的存储容量, 、 表示约束,约束 表示基站 缓存内容的总大小不能超过存储容量;

所述缓存命中率 的表达式如下:

               (17)其中, 表示用户 通过蜂窝网络请求内容 的概率, 表示用户 进行内容请求的总概率;

所述缓存冗余率 的表达式如下:

          (18);

所述延迟效率 的表达式如下:

                   (19)其中, 表示用户 在本地获取内容 的概率, 表示基站 至用户 之间的无线传输延迟, 表示基站 至核心网络的回程链路延迟;

所述基站 至用户 之间的无线传输延迟 的表达式如下:                          (20)其中, 表示基站 与本地缓存器 的下行传输速率; 表示内容 的数据量大小;

所述基站 至核心网络的回程链路延迟 的表达式如下:                     (21)其中, 表示长期平均回程传输速率,表示时延误差补偿系数;

所述基站 与本地缓存器 的下行传输速率 的表达式如下:                        (22)其中, 表示基站 对用户 配的带宽, 表示基站 和本地缓存器 之间的信噪比。

2.根据权利要求1所述的异构蜂窝网络内容缓存方法,其特征在于,所述在线决策模型采用基于元强化学习的在线决策算法,解决内容缓存决策中的内容缓存联合优化问题,包括:采用智能体Actor‑Critic结构搭建在线决策算法的基本结构,并初始化Actor网络、Critic网络、Actor网络参数 、Critic网络参数 和经验回放缓冲区 ;

根据所述联合优化问题,初始化性能关联系数 ,并构造系数集,其中, 表示任务数量;

根据系数集 ,构造目标学习任务集 ,其中, 表示第 个任务,表示第 个系数集,表示任务序号, ;

对所述目标学习任务集 进行采样,得到样本任务集为 ;

对于样本任务集 中的任意一个任务 ,基于当前系统状态 ,执行缓存动作,获取奖励 和下一个系统状态 ;

构造任务数据 并存储在经验回放缓存器 ,形成任务 的支持集 ;

根据样本任务集 中的任意一个任务 ,对 所构建的支持集 进行采样,并计算任务 的损失 ;

根据所述任务 的损失 分别对Actor网络和Critic网络进行参数更新,得到更新后的Actor网络参数 和更新后的Critic网络参数 ;

根据更新后的Actor网络和Critic网络计算任务 更新后的损失 ;

根据任务 更新后的损失 计算全局元损失 ;

根据全局元损失 对元损失函数进行梯度下降,并更新全局Actor网络参数和Critic网络参数,以解决联合优化问题。

3.根据权利要求2所述的异构蜂窝网络内容缓存方法,其特征在于,所述任务 的损失通过如下公式计算:       (7)

其中, 表示期望函数; 为叠加因子,表示当前系统回报值对未来值的影响;

表示利用Critic网络,在 系统状态下执行缓存动作 得到的奖励; 表示利用Critic网络,在 系统状态下执行缓存动作 得到的奖励;

所述更新后的Actor网络参数 通过如下公式计算:                   (8)其中, 表示Actor网络的学习率, 表示 的梯度算子;

所述更新后的Critic网络参数 通过如下公式计算:                   (9)其中, 表示Critic网络的学习率;

所述根据更新后的Actor网络和Critic网络计算任务 更新后的损失 通过如下公式实现:        (10)

其中, 表示利用更新后Critic网络,在 系统状态下执行缓存动作得到的奖励; 表示利用更新后Critic网络,在 系统状态下执行缓存动作 得到的奖励;

所述全局元损失 通过如下公式计算:                   (11);

所述全局Actor网络参数通过如下公式计算:                  (12)其中, 表示元学习率;

所述全局Critic网络参数通过如下公式计算:                (13)。

4.一种计算机系统,其特征在于,包括:存储器,用于存储计算机指令;

处理器,用于执行所述计算机指令以实现权利要求1‑3中任一项所述的异构蜂窝网络内容缓存方法的步骤。