1.智能红绿灯车流调控系统,包括通过摄像头收集获得的车流量密度以及当前路况的数据而制定实时更新的红绿灯时长变化策略,其特征在于,还包括近端策略优化的强化学习算法,所述近端策略优化算法,包括以下步骤:
S1、建立数据模型,通过渲染引擎时构建的交通网络实时产生不同方向的来往车辆进行仿真实验,收集每一帧进程中车辆的各项数据以及红绿灯的交通拥挤情况作为策略的输入,采集各个路口的车流量密度Ei,形成数据集E(E1,E2...En),根据车辆通行量Li和总车辆通行量L0形成数据集合θ,上一帧数据集合为θold,根据当前模型时间日期Di,形成数据集D(D1,D2...Dn);
S2、通行率与拥塞程度预估:对各个路口的车辆数量做处理,得到当前的通行率与拥塞程度预估函数;
S3、将各个路口的通行率与拥塞程度,车辆通行量Li和总车辆通行量L0为近端策略优化重要性采样的观测变量,并输入到curiosity模型中,得到奖励输出控制量;
S4、根据控制量来动态实时调整当前红绿灯的时长,并最终得到训练好的模型,在返回到仿真模型中实际应用模型,比较在相同时间内最终通过的总车辆通行量L0的大小来判断模型的效果,并多次重复上述步骤得到更多的模型数据;
S5、分析模型数据,选择最优的模型;
S301、重要性采样:即近端策略优化强化学习过程中根据采样数据做出的参数更新调整公式;
其中t为当前需要学习的actor模型,t'为当前与环境进行互动的示范actor模型,ati为状态(Pti,Psi)下采取的动作;
t
S302、Curiosity模型:即估测A '((Pti,Psi),ati)的取值的方法,从ati和t预测出的t'相差越大给的奖励越大;
所述S2中的公式为:
其中,Pti为通行率预测;Psi为拥塞程度预测; 为历史时间预估分布参数。
2.根据权利要求1所述的智能红绿灯车流调控系统,其特征在于,所述S1具体包括以下步骤:S101、建立交通模型,交通模型采用的是以unity为核心的实时渲染应用场景,模拟了一个环形的微型城镇的交通系统,S102、在该系统中,每隔一帧会对全局进行一次θ采样,该采样会采集出如S1所示的全部数据,并将数据记录输出。
3.根据权利要求1所述的智能红绿灯车流调控系统,其特征在于,控制量输出的计算公式为:
4.根据权利要求3所述的智能红绿灯车流调控系统,其特征在于,还包括城市仿真模型所提供的数据。
5.根据权利要求1所述的智能红绿灯车流调控系统,其特征在于,还包括基于图像分类技术及强化学习算法的嵌入式路口红绿灯调控方法,且依据所述近端策略优化算法进行分析,调控红绿灯时间以进行交通控制,使得区域内的交通网络达到最优的通行效率。