1.一种基于深度强化学习的智能反射面元素智能激活方法，其特征在于，包括以下步骤：S1：根据实际中的通信场景建立系统模型，并根据系统模型提出待求解的目标问题；

S2：将目标求解问题抽象为马尔科夫决策问题，定义强化学习的智能体在与环境交互的过程中所涉及的基本要素，包括动作、状态以及奖励函数的设置；

S3：构建基于经典的演讲者‑评论者框架的深度强化学习算法，包括策略网络、评价网络两个部分,策略网络用于输出智能体的动作决策，评价网络用于对策略网络在当前状态采取的动作做出评价并在此基础上提供策略网络更新的梯度；

S4：重新设计网络的结构即采用双向卷积与密集连接的全连接结构，完成对信道状态信息的提取。信道状态涉及基站、智能反射面以及用户的位置关系、相互干扰程度以及信号衰减因素，利用神经网络拟合信道状态与智能反射面的元素激活的映射关系，从而完成智能反射面元素的智能激活。

2.根据权利要求1所述的一种基于深度强化学习的智能反射面元素智能激活方法，其特征在于，所述智能反射面是被动的智能反射面，智能反射面主要的作用是作为基站与用户设备之间的中继设备辅助两者之间的通信。

3.根据权利要求1所述的一种基于深度强化学习的智能反射面元素智能激活方法，其特征在于，所述步骤S1：根据实际中基站与用户之间由于遮挡不存在视距通信的场景，在基站与用户之间部署智能反射面，建立智能反射面辅助通信的系统模型，并根据系统模型提出待求解的目标问题，具体包括:第K个用户设备的传输速率可以表示为：

其中，

表示智能反射面系数矩阵， 表

2

示接收端接受的信息与发送端信息之间的均方差，pt是用户发射功率，σ表示高斯噪声功率，IM表示标准单位矩阵，hd,k、hr,k以及G分别表示基站到用户设备、智能反射面到用户设备以及智能反射面到基站的信道状态。

4.根据权利要求3所述的一种基于深度强化学习的智能反射面元素智能激活方法，其特征在于，所述步骤S2：将目标问题的求解抽象为马尔科夫决策问题，定义强化学习的智能体在与环境交互的过程中所涉及的基本要素，包括动作、状态以及奖励函数的设置，具体包括：马尔可夫决策模型的建立中，状态设置为当前时刻的信道状态，信道状态信息包括实部与虚部两部分；策略的动作是一个智能反射面元素数量大小的一维向量v，假设智能反射面元素的数量为N，任意时刻t下的动作表示为：v(t)＝[v1(t),v2(t),…vN(t)]

奖励反映目标问题的性能，根据用户的传输速率公式，将所有用户设备的速率之和作为奖励函数，可以表示为：

5.根据权利要求4所述的一种基于深度强化学习的智能反射面元素智能激活方法，其特征在于，所述步骤S3构建基于经典的演讲者‑评论者框架的深度强化学习算法，包括策略网络、评价网络两个部分,策略网络用于输出智能体的动作决策，评价网络用于对策略网络在当前状态采取的动作做出评价并在此基础上提供策略网络更新的梯度，具体包括：策略网络整体由三个模块组成，模块1是双向卷积，主要是对输入的链路信道进行水平由垂直方向的卷积，后面将两个方向的输出经过1X1卷积核卷积操作，最后将两个方向的输出合并成一维向量输入到模块2。模块2主要是两层密接连接的全连接结构，密接连接的结构可以使得当前层的输入中包含了之前所有层的特征，进一步提高信道的特征提取分析能力。模块3采用2层全连接调整网络的输出，策略网路的输出是一个智能反射面元素数量大小的一维概率向量，概率越大表示被激活的可能性越大；

评价网络同样由三个模块构成。模块1同样采取了双向卷积的方式，由于评价网络的输入相对策略网络还包含了策略网路的输出动作，因此在经过1X1卷积之后的合并上评价网络会策略网络的动作一并合并后输入到模块2。模块2的结构完全于策略网络一致。模块3采用2层全连接主要是为了调整网路的输出，评价网络的输出是一个Q值，因此最后输出一个值。

6.根据权利要求4所述的一种基于深度强化学习的智能反射面元素智能激活方法，其特征在于，所述双向卷积模块是将各条链路信道状态分别进行双向卷积；

所述模块2是采用2层密接连接的全连接结构，所有全连接结构的网络宽度限制在1024之内，激活函数的使用中除了策略网路的动作输出采用了Sigmoid表示智能反射面元素激

18

活的概率之外，其余的激活函数均为ReLu，经验回放池的大小为2 ，神经网络的学习率大小‑16为2 ，探索噪声的方差为0.0001,优化器采用Adam,折扣系数设置为0。