1.一种异构蜂窝网络内容缓存方法,其特征在于,包括:基于搭建好的用户请求模型获取当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态;
根据所述当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,获取当前系统状态;
根据所述当前系统状态,基于在线决策模型生成缓存决策并执行缓存动作;
基于搭建好的用户请求模型获取当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,包括:根据公式(1)计算用户 通过蜂窝网络请求内容 的概率: (1)其中, 表示用户 通过蜂窝网络请求内容 的概率,表示用户,表示内容,表示基站序号; 表示本地缓存器 中内容 的缓存状态; 表示基站 覆盖的小区中用户 请求内容 的概率,且 服从Zipf分布; 表示用户 的本地缓存器缓存接收到内容 的概率;
根据公式(2)计算用户 在本地获取内容 的概率: (2)其中, 表示用户 在本地获取内容 的概率;
采集本地缓存器 中内容 的缓存状态 ,若 ,本地缓存器 已缓存内容 ;
若 ,本地缓存器 未缓存内容 ;
采集基站 中内容 的缓存状态为 ,若 ,基站 已缓存内容 ;若 ,基站 未缓存内容 ;
所述在线决策模型的搭建包括:
根据用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,构造状态空间 ;所述状态空间 的表达式如下: (3)
其中, 表示系统状态, 表示时刻 的系统状态, 表示任意时刻;
表示时刻 的用户内容请求概率,表示用户,表示内容,表示基站序号, 表示用户请求内容集合, 表示基站 覆盖的所有用户,表示基站总数, 表示基站 覆盖的小区中用户 请求内容 的概率;
表示本地缓存器 和基站 在时刻 的缓存状态, 表示本地缓存器 中内容 的缓存状态, 表示基站 中内容 的缓存状态;
根据基站的内容缓存状态构造动作空间 ;所述动作空间 的表达式如下: (4)其中,表示缓存动作, 表示时刻 的缓存动作;
根据建立好的内容缓存联合优化问题构造奖励函数 ;所述奖励函数 的表达式如下: (5)其中, 表示在系统状态 下执行缓存动作 获得的奖励值; 表示性能关联系数; 为缓存命中率,表示基站直接响应内容请求的概率与内容请求的总概率之比; 为缓存冗余率,表示基站和本地缓存器中缓存的相同内容的比例; 为延迟效率,表示缓存策略降低的内容交付延迟与无缓存时的内容交付延迟之比;
所述内容缓存联合优化问题表达式如下: (6)
其中, 表示内容缓存联合优化问题, 表示内容 的数据量大小, 表示基站的存储容量, 、 表示约束,约束 表示基站 缓存内容的总大小不能超过存储容量;
所述缓存命中率 的表达式如下:
(17)其中, 表示用户 通过蜂窝网络请求内容 的概率, 表示用户 进行内容请求的总概率;
所述缓存冗余率 的表达式如下:
(18);
所述延迟效率 的表达式如下:
(19)其中, 表示用户 在本地获取内容 的概率, 表示基站 至用户 之间的无线传输延迟, 表示基站 至核心网络的回程链路延迟;
所述基站 至用户 之间的无线传输延迟 的表达式如下: (20)其中, 表示基站 与本地缓存器 的下行传输速率; 表示内容 的数据量大小;
所述基站 至核心网络的回程链路延迟 的表达式如下: (21)其中, 表示长期平均回程传输速率,表示时延误差补偿系数;
所述基站 与本地缓存器 的下行传输速率 的表达式如下: (22)其中, 表示基站 对用户 配的带宽, 表示基站 和本地缓存器 之间的信噪比。
2.根据权利要求1所述的异构蜂窝网络内容缓存方法,其特征在于,所述在线决策模型采用基于元强化学习的在线决策算法,解决内容缓存决策中的内容缓存联合优化问题,包括:采用智能体Actor‑Critic结构搭建在线决策算法的基本结构,并初始化Actor网络、Critic网络、Actor网络参数 、Critic网络参数 和经验回放缓冲区 ;
根据所述联合优化问题,初始化性能关联系数 ,并构造系数集,其中, 表示任务数量;
根据系数集 ,构造目标学习任务集 ,其中, 表示第 个任务,表示第 个系数集,表示任务序号, ;
对所述目标学习任务集 进行采样,得到样本任务集为 ;
对于样本任务集 中的任意一个任务 ,基于当前系统状态 ,执行缓存动作,获取奖励 和下一个系统状态 ;
构造任务数据 并存储在经验回放缓存器 ,形成任务 的支持集 ;
根据样本任务集 中的任意一个任务 ,对 所构建的支持集 进行采样,并计算任务 的损失 ;
根据所述任务 的损失 分别对Actor网络和Critic网络进行参数更新,得到更新后的Actor网络参数 和更新后的Critic网络参数 ;
根据更新后的Actor网络和Critic网络计算任务 更新后的损失 ;
根据任务 更新后的损失 计算全局元损失 ;
根据全局元损失 对元损失函数进行梯度下降,并更新全局Actor网络参数和Critic网络参数,以解决联合优化问题。
3.根据权利要求2所述的异构蜂窝网络内容缓存方法,其特征在于,所述任务 的损失通过如下公式计算: (7)
其中, 表示期望函数; 为叠加因子,表示当前系统回报值对未来值的影响;
表示利用Critic网络,在 系统状态下执行缓存动作 得到的奖励; 表示利用Critic网络,在 系统状态下执行缓存动作 得到的奖励;
所述更新后的Actor网络参数 通过如下公式计算: (8)其中, 表示Actor网络的学习率, 表示 的梯度算子;
所述更新后的Critic网络参数 通过如下公式计算: (9)其中, 表示Critic网络的学习率;
所述根据更新后的Actor网络和Critic网络计算任务 更新后的损失 通过如下公式实现: (10)
其中, 表示利用更新后Critic网络,在 系统状态下执行缓存动作得到的奖励; 表示利用更新后Critic网络,在 系统状态下执行缓存动作 得到的奖励;
所述全局元损失 通过如下公式计算: (11);
所述全局Actor网络参数通过如下公式计算: (12)其中, 表示元学习率;
所述全局Critic网络参数通过如下公式计算: (13)。
4.一种计算机系统,其特征在于,包括:存储器,用于存储计算机指令;
处理器,用于执行所述计算机指令以实现权利要求1‑3中任一项所述的异构蜂窝网络内容缓存方法的步骤。