利索能及
我要发布
收藏
专利号: 2022102447090
申请人: 三峡大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双经验池DDPG网络的兵棋推演智能决策方法,其特征在于,包括以下步骤:获取兵棋推演数据,构建双经验池DDPG模型;

对所述兵棋推演数据进行预处理,将预处理后的数据向量化,获得向量化数据;

将所述向量化数据输入所述双经验池DDPG模型进行训练,所述双经验池DDPG模型达到预设收敛程度时完成训练,基于训练完成的双经验池DDPG模型生成兵棋推演智能决策;

构建所述双经验池DDPG模型的过程中包括:

基于DDPG算法架构构建DDPG神经网络,所述DDPG神经网络包括Actor网络、Critic网络、Actor_target网络和Cirtic_target网络;

构建两个用于储存训练过程中产生经验的经验池,所述经验池为多维数组;

基于所述DDPG神经网络和两个所述经验池构建所述双经验池DDPG模型;

将所述向量化数据输入所述双经验池DDPG模型进行训练的过程中包括:将所述向量化数据输入所述Actor网络中,获取的值输入到所述Critic网络中进行处理;

每隔预设的时间步,基于所述Actor网络的参数更新所述Actor_target网络,基于所述Critic网络的参数更新所述Cirtic_target网络;

每次训练完成时,将当前经验存入第一经验池,若当前经验中获得的奖励大于第一经验池中的平均奖励,则将当前经验保存到第二经验池中;

基于所述Actor网络的参数更新所述Actor_target网络的过程中,所述Actor网络采用梯度下降法进行更新;基于所述Critic网络的参数更新所述Cirtic_target网络的过程中,所述Critic网络同样使用梯度下降法进行更新,在更新过程中所述Critic网络的损失函数使用均方差损失。

2.根据权利要求1所述的方法,其特征在于,获取兵棋推演数据的过程中包括,运行兵棋推演环境,并在所述兵棋推演环境中获取兵棋推演数据;

所述兵棋推演数据包括:己方实体属性信息、敌方已被发现的实体属性信息、推演时间、地图属性信息、记分板信息;

其中所述己方实体属性信息包括己方单位的剩余血量、己方单位的位置、己方单位的剩余弹药量;

所述敌方已被发现的实体属性信息包括敌方剩余血量和敌方位置;

所述地图属性信息包括高程和编号;

所述记分板信息包括目前获得的分数信息。

3.根据权利要求2所述的方法,其特征在于,对所述兵棋推演数据进行预处理的过程中,所述预处理的方式采用数据清洗,所述数据清洗包括:对采集的所述兵棋推演数据进行数据提取,获得规范化数据;

对所述规范化数据进行分类和冗余数据剔除。

4.根据权利要求3所述的方法,其特征在于,对采集的所述兵棋推演数据进行数据提取,获得所述规范化数据的过程中包括:对所述兵棋推演数据进行提取时,去除其中不规范的数据,获得规范化数据;

所述不规范数据包括:空行数据和乱码数据。

5.根据权利要求3所述的方法,其特征在于,对规范化数据进行分类和冗余数据剔除的过程中包括:将所述规范化数据分为所述己方实体属性信息、所述敌方已被发现的实体属性信息、所述推演时间和所述记分板信息;

剔除完成分类的数据中的冗余数据,所述冗余数据包括对决策无用的信息。

6.根据权利要求2所述的方法,其特征在于,将预处理后的数据向量化的过程中包括:基于one‑hot编码方式对推演时间、所述己方实体属性信息、所述敌方已被发现的实体属性信息进行编码;

无需对所述地图属性信息、所述记分板信息进行编码,直接将所述记分板信息作为所述向量化数据之一。