1.一种玻璃制备原料配比自动控制系统,其特征在于,包括:配方管理模块,用于添加和删除玻璃制备的原料配方;
数据处理模块,用于收集原料配比历史数据,将原料配方添加至原料配比历史数据,并进行数据预处理,得到第一数据集;
初始配比确定模块,根据原料配方和专家经验,得到玻璃原料需求量;
状态信息获取模块,根据所述第一数据集,获取设备的当前状态信息;
RBC模型建立模块,用于根据当前状态信息和所述玻璃原料需求量生成第一经验样本,并将第一经验样本存入经验回放池中;
原料配比确定模块,使用当前状态信息和当前原料配比信息并根据TD3模型来确定当前配比行为;
原料配比控制模块,将当前配比行为输入到设备中,得到配比奖励和下一批状态信息;
所述配比奖励包括:
根据原料的实际配比和原料的目标配比,计算得到基础奖励;
根据所述原料的实际配比和所述当前状态信息,计算得到波动性奖励;
若配方变化信息为0,则为配方未转变标志,所述波动性奖励等于n种原料的实际配比的方差之和;若所述配方变化信息为1,则为配方转变标志,所述波动性奖励等于0;
配比奖励的计算方式为:根据基础奖励、波动性奖励、设备能耗和原料损失,加权计算得到;
将当前状态信息、当前配比行为、配比奖励和下一批状态信息进行组合,得到第二经验样本,将第二经验样本存入所述经验回放池中;根据经验回放池得到训练好的TD3模型,结合RBC模型生成的第一经验样本优化得到优化后的所述原料配比;
异常管理模块,用于检测并处理配料过程中的异常情况。
2.根据权利要求1所述的一种玻璃制备原料配比自动控制系统,其特征在于,所述初始配比确定模块包括:所述专家经验包括玻璃原料信息和其他原料信息,所述玻璃原料信息包括原料转化率、原料纯度和原料挥散率,所述其他原料信息包括外加用剂含量;
所述原料配方包括原料的目标配比和玻璃制备的总质量;
根据所述专家经验和所述原料配方,计算得到所述玻璃原料需求量。
3.根据权利要求1所述的一种玻璃制备原料配比自动控制系统,其特征在于,所述当前状态信息包括:设备状态包括设备开启状态和设备关闭状态;
环境信息包括生产环境的温度、湿度、压力;
原料配方信息包括所述原料配方和数字序号,所述数字序号与所述原料配方一一对应;
配方变化信息包括配方未转变标志和配方转变标志。
4.根据权利要求1所述的一种玻璃制备原料配比自动控制系统,其特征在于,所述原料配比确定模块包括:所述当前原料配比信息包括n种玻璃原料配比和j种外加用剂含量;
将所述当前状态信息输入至策略网络,所述策略网络根据所述当前原料配比信息生成第一原料配比;
向第一原料配比添加欧拉噪声,得到所述当前配比行为。
5.根据权利要求1所述的一种玻璃制备原料配比自动控制系统,其特征在于,所述TD3模型的深度神经网络训练过程包括:所述深度神经网络包括策略网络、第一价值网络、第二价值网络、目标策略网络、第一目标价值网络和第二目标价值网络;
从所述经验回放池中随机抽取一批所述第一经验样本和所述第二经验样本;
根据抽取的经验样本,使用所述第一目标价值网络和所述第二目标价值网络分别计算第一目标Q值和第二目标Q值,目标Q值取值为所述第一目标Q值和所述第二目标Q值中的最小值;
通过最小化所述第一价值网络和所述第二价值网络的实际Q值和所述目标Q值之间的均方误差来更新所述第一价值网络和所述第二价值网络的参数;
通过最大化所述第一价值网络的Q值来更新所述策略网络的参数;
每隔q步数,使用软更新的方式,根据所述策略网络、所述第一价值网络和所述第二价值网络的参数更新所述目标策略网络、所述第一目标价值网络和所述第二目标价值网络的参数。
6.根据权利要求1所述的一种玻璃制备原料配比自动控制系统,其特征在于,所述第一经验样本生成步骤包括:步骤S20,初始化所述经验回放池,根据所述第一数据集随机抽取包括所有配方的数据,得到第二数据集;
步骤S21,根据所述第二数据集和当前状态信息得到所述玻璃原料需求量;
步骤S22,将所述玻璃原料需求量赋值给所述当前配比行为,将所述当前配比行为输入到所述设备中,得到所述配比奖励和所述下一批状态信息;
步骤S23,将所述当前状态信息、所述当前配比行为、所述配比奖励和所述下一批状态信息进行组合,得到所述第一经验样本,并将所述第一经验样本存储到所述经验回放池中;
步骤S24,若所述第一经验样本达到第一阈值,则结束配比过程,否则将所述下一批状态信息作为下一批配比过程的当前状态信息;
步骤S25,根据所述当前状态信息确定配方变化信息和原料配方信息,若得到配方未转变标志,则不需要获取所述玻璃原料需求量,并重复所述步骤S22至所述步骤S24;若得到配方转变标志,则重复所述步骤S21至所述步骤S24。
7.根据权利要求1所述的一种玻璃制备原料配比自动控制系统,其特征在于,所述异常情况包括:根据原料的实际配比和原料的目标配比计算配比偏差,若所述配比偏差小于第二阈值,则不更新所述当前配比行为;
若所述配比偏差大于或等于所述第二阈值,则自动记录第一异常;
若所述配比偏差在f个时间步后仍超出所述第二阈值,则通知人工干预;
根据所述原料的实际配比和所述当前配比行为计算原料损失,若所述原料损失大于第三阈值,则自动记录第二异常;
若所述配比偏差在g个时间步后仍超出所述第三阈值,则通知所述人工干预。
8.一种玻璃制备原料配比自动控制方法,其特征在于,包括:收集所述玻璃制备的原料配方;
收集原料配比历史数据,将所述原料配方添加至所述原料配比历史数据,并进行数据预处理,得到第一数据集;
根据所述原料配方和专家经验,得到玻璃原料需求量;
根据所述第一数据集,获取设备的当前状态信息;
根据所述当前状态信息和所述玻璃原料需求量生成第一经验样本,并将所述第一经验样本存入经验回放池中;
使用所述当前状态信息和当前原料配比信息并根据TD3模型来确定当前配比行为;
将所述当前配比行为输入到所述设备中,得到配比奖励和下一批状态信息;
所述配比奖励包括:
根据原料的实际配比和原料的目标配比,计算得到基础奖励;
根据所述原料的实际配比和所述当前状态信息,计算得到波动性奖励;
若配方变化信息为0,则为配方未转变标志,所述波动性奖励等于n种原料的实际配比的方差之和;若所述配方变化信息为1,则为配方转变标志,所述波动性奖励等于0;
配比奖励的计算方式为:根据基础奖励、波动性奖励、设备能耗和原料损失,加权计算得到;
将所述当前状态信息、所述当前配比行为、所述配比奖励和所述下一批状态信息进行组合,得到第二经验样本,将所述第二经验样本存入所述经验回放池中;根据所述经验回放池得到训练好的TD3模型,结合RBC模型生成的第一经验样本优化得到优化后的所述原料配比;
检测并处理配料过程中的异常情况。