1.基于深度强化学习的卫星探索控制系统，其特征是包括强化学习模块和环境模块，环境模块包括动作模块、初始化模块、状态更新模块、基础环境模块、奖励计算模块；强化学习模块调用初始化模块，初始化模块对基础环境进行初始化，完成初始化后由初始化模块返回当前状态s，强化学习模块在获得当前状态s后输出动作a给环境模块，a为一个三元数组作为卫星的三轴加速度动作；环境模块中的动作模块捕获动作进行处理，交由状态更新模块调用基础环境模块来处理当前环境状态更新，再由奖励计算模块获取所有状态和动作信息后给出当前这轮学习的奖励r，并将奖励r和更新后的状态s′传递给强化学习模块；强化学习模块结合当当前状态s、输出动作a、奖励r和下一步状态s′构成四元组(s,a,r,s′)，作为网络的输入值并进行训练后，再根据下一步状态s′输出下一个动作a'。

2.如权利要求1所述基于深度强化学习的卫星探索控制系统，其特征是，所述的深度强化学习模块包含：TD3网络子模块：包含Actor网络、Critic网络、经验回放池；

复合噪声模块：包含探索噪声、策略噪声；

网络附加模块：包含LSTM网络子模块和RunningMeanStd归一化函数子模块。

3.如权利要求2所述基于深度强化学习的卫星探索控制系统，其特征是，所述的深度强化学习模块的控制策略采用Advanced‑TD3算法，Advanced‑TD3算法具体步骤如下：S1.训练开始时，进行参数的初始化，对Actor网络、Critic网络、经验回放池和LSTM网络加载初始化时的超参数；

S2.与环境模块进行若干轮的随机采样；

S3.在复合噪声的介入下与环境进行交互，从环境模块中取得当前状态、动作、奖励与下一步状态所组成的元组；其中，当前状态包含环境的观测值和前一步的动作，前一步状态是前一步的观测值和动作；

S4.采用RunningMeanStd归一化方法对当前状态进行归一化处理；

S5.输入包括当前状态和经过LSTM网络处理后先前的若干个状态，同时LSTM网络在接受输入值后，对特征向量序列进行建模，学习状态序列之间的时间依赖关系；

S6.采用强化学习方法从LSTM网络的输出中选择下一步动作，以最大化预期回报，同时对Actor网络和Critic网络的参数进行更新。

4.如权利要求1‑3任一项所述基于深度强化学习的卫星探索控制系统，其特征是，所述的深度强化学习模块在学习环境之前，将轨道探索控制问题转换为马尔科夫决策过程，在马尔科夫决策过程主要由三个关键要素构成，分别为状态、动作、奖励。

5.如权利要求4所述基于深度强化学习的卫星探索控制系统，其特征是，所述的状态介绍如下：卫星的运动环境采用地心惯性坐标系，x轴指向春分点，与太阳‑地球平面相交的地球赤道平面内的一条线，指向黄经为0度的方向；y轴与x轴垂直，指向黄经为90度的方向，即东方向；z轴与地球旋转轴重合，指向北极的方向；在此基础上，状态空间主要由二元数组构成，分别为卫星的当前位置和速度，在当前时刻t下状态空间构成如下公式：St＝[[xt,yt,zt],[vxt,vyt,xzt]]    (1)[xt,yt,zt]代表卫星在当前状态下的空间三轴位置，[vxt,vyt,xzt]代表卫星在当前状态下的三轴速度大小。

6.如权利要求4所述基于深度强化学习的卫星探索控制系统，其特征是，所述的动作介绍如下：卫星在初始点初始化时给予一个合理的初速度，如果没有任何外力影响，将只有万有引力的作用；同时，将动作定义为三轴上的加速度，具体公式如下：At＝[axt,ayt,azt]a∈[‑c,c]    (2)

a加速度大小，三轴分别有其对应的加速度，速度区间大小在[‑c,c]内，c代表最大加速。

7.如权利要求4所述基于深度强化学习的卫星探索控制系统，其特征是，所述的奖励介绍如下：奖励分为奖励部分和惩罚部分，其中惩罚部分设置了碰撞惩罚和偏心惩罚，奖励部分分为激励和到达目标时的一次性奖励；

在惩罚部分，碰撞惩罚rcp和偏心惩罚rep设置为触发条件后立刻终止训练，并且计算当前所有奖励，并赋予惩罚，ε为碰撞惩罚系数，φ为偏心系数，如下公式：RP＝εrcp+φrep    (3)

如果目标在探索过程中，本回合的奖励r比上回合的奖励r‑相比要更高，将会把二者的差值作为奖励乘以一个系数加给本轮奖励r；距离差奖励公式如下：RA＝αrx+βry+δrz    (4)

其中，rx、ry、rz分别是在i时刻时，当前位置的地心惯性坐标与目标点坐标的差值距离作为的奖励，α、β、δ分别是三轴奖励的上的权值，用来平衡奖励本身的平滑度，距离奖励本身是负奖励；另一方面，激励函数的具体公式：其中，是激励函数的平衡系数，用来保证奖励的平滑度；在激励函数中，如果当前状态的奖励大于上一步状态的奖励就会给予当前奖励一个正奖励，反之，如果当前的状态下的奖励低于上一步的奖励，就会给予奖励一个负奖励作为提示；

综上，汇总成一个奖励函数，具体公式如下：

8.基于深度强化学习的卫星探索控制方法，其特征是按如下步骤：

S1.对基础环境进行初始化，完成初始化后，获得当前状态s后输出动作a，a为一个三元数组作为卫星的三轴加速度动作；

S2.捕获动作并进行处理，处理当前环境状态更新，获取所有状态和动作信息后给出当前这轮学习的奖励r，并将奖励r和更新后的状态s′；

S3.结合当前所有的信息构成四元组(s,a,r,s′)并进行训练后，再根据下一步状态s′输出下一个动作a'。