1.一种基于多智能体强化学习的边缘缓存替换方法，其特征在于，包括以下步骤：

1)从网络中获取基站覆盖范围下多名用户的请求内容；

2)根据网络链路资源消耗量和用户本地缓存列表确定获取请求内容的方式，并计算网络中消耗的总传输链路资源K；

3)用户在获得请求内容后，对比请求内容和自身当前缓存空间，利用多智能体强化学习算法生成缓存替换策略，并进行缓存更新；

4)获取新的请求序列，并返回步骤2)；

根据网络链路资源消耗量和用户本地缓存列表确定获取请求内容的方式的步骤包括：

2.1)获取每个用户的本地缓存列表，并判断当前请求内容是否存在于本地缓存列表中，若是，则进入步骤2.2)，否则，进入步骤2.3)；

2.2)利用本地传输从本地缓存列表中获取请求内容；

2.3)向上层服务器发送多媒体视频文件获取请求，使上层服务器将请求内容传输至用户的客户端；

利用多智能体强化学习算法生成缓存替换策略的步骤包括：

3.1)在基站覆盖范围内，将每个用户作为一个学习智能体；每个学习智能体均具有一个参与者网络和一个评论家网络；第i个用户的邻居记为

3.2)客户端读取当前物理网络和请求内容，获取当前每个智能体的观测值；

所述智能体观测值包括当前全局状态和其他智能体在上一个时刻的最优缓存策略，记为 全局状态 包括当前智能体的请求状态 和本地缓存状态 为缓存策略；

3.3)智能体的参与者网络将网络中消耗的总传输链路资源K的负值作为奖励，通过使奖励最大化来得到缓存策略 智能体的评论家网络利用状态价值函数Vπ(s)和动作价值函数Qπ(s，a)选择出最优缓存策略；

所述状态价值函数Vπ(s)和动作价值函数Qπ(s，a)分别如下所示：式中，At、a为动作； 为不同策略下的期望；Gt为从t时刻开始环境获得的总回报；s为状态值；γ为折扣因子；Rt+k+1为第t+k+1时刻环境获得的奖励值；

* *

最优缓存策略的状态价值函数V(s)和动作价值函数Q(s，a)分别如下所示：式中，p(s′，r|s，a)为从状态s经过动作a后转移为状态s′，并得到奖励r的概率；r为从当前状态s到状态s′，环境反馈获得的奖励值；Q*(s′，a′)为从状态s′经过动作a′后的动作*价值函数；V(s′)为状态s′的状态价值函数； 为动作价值函数；γ为折扣因子。

2.根据权利要求1所述的一种基于多智能体强化学习的边缘缓存替换方法，其特征在于，所述请求内容包括多媒体视频文件。

3.根据权利要求1所述的一种基于多智能体强化学习的边缘缓存替换方法，其特征在于，向上层服务器发送多媒体视频文件获取请求的步骤包括：

2.3.1)判断多名用户是否请求同一多媒体视频文件的多名用户，若是，则上层服务器通过组播传输方式将请求内容传输至基站覆盖范围内的用户客户端，否则，进入步骤

2.3.2)；

2.3.2)判断基站覆盖范围下任意用户是否都存储了其他用户请求的多媒体视频文件，若是，则进入步骤2.3.3)，否则进入步骤2.3.4)；

2.3.3)上层服务器对所有用户的请求内容进行异或加密处理，并将加密后的请求内容通过组播传输方式传输给覆盖范围内的用户客户端；

每个客户端接收到加密的请求内容后，对请求内容进行解码处理获取自身请求的多媒体视频文件；

2.3.4)上层服务器通过点对点单播传输方式向每个用户传输请求内容，每次单播传输消耗一次网络传输链路资源。

4.根据权利要求1所述的一种基于多智能体强化学习的边缘缓存替换方法，其特征在于，网络中消耗的总传输链路资源K如下所示：K＝KLC+KMC+KXC+KUC    (5)

式中，KLC为通过本地传输获得的视频文件数目；KMC为通过组播传输方式获得的视频文件数目；KXC为在异或加密后通过组播传输方式的视频文件数目；KUC为通过点对点单播传输获得的视频文件数目。

5.根据权利要求1所述的一种基于多智能体强化学习的边缘缓存替换方法，其特征在于，进行缓存更新的步骤包括：a)判断请求内容是否已在当前本地缓存列表中，若是，则保持本地缓存列表不变，否则，进入步骤b)；

b)判断当前本地缓存列表是否存满，若否，则将请求内容加入本地缓存列表中，若是，则利用多智能体强化学习算法生成最优缓存策略，并根据最优缓存策略进行缓存替换。

6.根据权利要求1所述的一种基于多智能体强化学习的边缘缓存替换方法，其特征在于，所述学习智能体通过小批量梯度下降算法进行了训练；

其中，参与者网络的参数θi和评论家网络的参数ωi更新如下：式中，β′为一个超参数；ηθ为参与者网络的更新参数；ηω为评论家网络的更新参数；

为多智能体强化学习环境下第i个智能体在t时刻获得的奖励值；θi、θi′为更新前后的参与者网络参数；ωi、ωi′为更新前后的评论家网络参数；γ为折扣因子； 为缓存策略；

学习智能体训练评价器为优势函数 即：

式中， 为价值函数。