1.基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，所述方法包括：S1、对环卫机器人车通信进行部署，通过基于车载自组织网络的通信网络实现车辆间的数据传输和通信；

S2、通过路况感知装置获取路况数据和利用传感器对环卫机器人车周围的环境进行实时感知和数据采集；

S3、采用改进的分层双重DQN算法，利用已有的数据，不断优化环卫机器人车的路径规划和调度策略；

S4、实时交换环卫机器人车与道路基础设施之间的信息；

S5、建立监控管理平台；

S6、对系统进行测试和评估；

所述步骤S3的具体步骤为：

S301、状态表示；

将路况感知数据和环卫机器人车感知数据作为输入，构建状态表示；状态包括环卫机器人车当前位置、周围路况、周围环境的垃圾和落叶数量；

S302、动作表示；

将环卫机器人车采取的动作进行编码表示，建立动作空间；

S303、奖励函数设计；

S304、环境建模；

对道路、行人、车辆和建筑物建模，采用三维激光雷达传感器进行数据采集，并利用计算机视觉技术进行数据处理和建模；

S305、状态表示；

将环境建模的结果进行编码表示，建立状态空间，所述状态包含环卫机器人车当前的位置、速度和方向，同时还包括周围环境的信息，状态的编码表示需要保证它们的有效性和区分性；

S306、策略搜索；

采用分层双重DQN算法在状态空间中搜索最优的决策策略，以使得环卫机器人车在执行任务的过程中最大化奖励函数；

所述分层双重DQN算法包括高层策略网络和低层策略网络；

所述高层策略网络用于学习环卫机器人车在不同情境下应该采取的子任务策略，输入是状态特征，输出是子任务策略；所述高层策略网络由多层神经网络组成，包括卷积层和全连接层；

所述低层策略网络用于针对每个子任务学习具体的操作策略，所述低层策略网络采用双重DQN结构，包括在线网络和目标网络；

所述分层双重DQN算法的具体步骤为：

在仿真环境中，环卫机器人车执行子任务，记录状态、动作、奖励和下一状态；

使用经验回放存储训练数据，并从中随机抽取一批数据；

更新低层策略网络；

使用在线网络计算当前状态下每个动作的Q值，然后使用目标网络计算下一状态的Q值，计算目标Q值和实际Q值之间的平方误差损失，并使用随机梯度下降法更新网络参数；

更新高层策略网络；

根据低层策略网络学到的子任务策略，计算累积奖励，然后使用梯度下降法更新高层策略网络参数；

所述分层双重DQN算法的数学表达形式如下：低层策略网络的目标值计算Q'(s,a)：Q'(s,a)＝r(s,a)+γ*max(Q'(s',a'；ψ'))其中Q'(s,a)是在状态s采取动作a时的估计值，r(s,a)是当前状态和动作对应的奖励，γ是折扣因子，max(Q'(s',a'；ψ'))是下一状态s'中最大可能的估计值；

低层策略网络的平方误差损失：

L(ψ)＝E[(Q(s,a；ψ)‑Q'(s,a))^2]其中L(ψ)是平方误差损失，E[]表示期望值；

梯度下降法更新低层策略网络参数ψ：

其中α是学习率， 是关于低层策略网络参数ψ的损失函数的梯度高层策略网络的奖励函数：

R(s,p)＝∑_(t＝0)^Tγ^t*r_t(s_t,a_t,p)其中R(s,p)是在状态s下采取子任务策略p时的累积奖励，T是任务执行的时间步数，γ是折扣因子；

梯度下降法更新高层策略网络参数：

其中β是学习率， 是关于高层策略参数 的奖励函数的梯度。

2.根据权利要求1所述的基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，所述步骤S1中进行部署的具体步骤为：S101、根据城市区域的实际情况将环卫机器人车分布在各个区域，采用聚类算法对城市区域进行划分，实现合理的车辆部署；

S102、每辆环卫机器人车配备一个基于车载自组织网络通信的基于车载自组织网络的通信网络，所述基于车载自组织网络的通信网络支持DSRC协议；

S103、车辆部署时，采用基于图论的遍历算法生成初始的清扫路径，在后续的强化学习过程中，路径将不断优化。

3.根据权利要求1所述的基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，路况信息包括车流、人流、环境温度和湿度；所述数据包括路面垃圾和落叶的数量、位置和大小；

所述步骤S2的具体步骤为：

S201、部署摄像头和激光雷达传感器，用于实时感知车辆周围的环境；

S202、通过车载气象传感器获取环境温度、湿度信息；

S203、采用基于深度学习的目标检测算法对于路面垃圾和落叶的检测；

S204、利用车载GPS模块实时获取环卫机器人车的位置信息，通过地图匹配算法将位置信息映射到道路网络上；

S205、将收集到的路况数据进行数据融合，采用贝叶斯滤波器对数据进行融合和滤波。

4.根据权利要求3所述的基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，所述目标检测算法的损失函数L(θ)的表达如下：其中， 和 是指示函数，表示第i个边界框是否包含目标， 表示当第i个边界框负责预测某个物体时，值为1，否则为0； 表示当第i个边界框不负责预测任何物体时，值为1，否则为0；x_i、y_i、w_i和h_i分别表示边界框的中心坐标的x轴坐标、y轴坐标、宽度和高度； 和 分别表示预测边界框的中心坐标x轴坐标、y轴坐标、宽度和高度；C_i和 分别表示边界框的置信度和预测置信度；p_ij和 分别表示第i个边界框中第j类目标的概率和预测概率；λ_coord和λ_size分别表示坐标和尺寸损失的权重；λ_noobj表示无目标损失的权重；sqrt(w_i)表示真实边界框的宽度的平方根； 表示预测边界框的宽度的平方根；sqrt(h_i)表示真实边界框的高度的平方根； 表示预测边界框的高度的平方根；j代表类别的索引，classes表示所有可能的类别总数。

5.权利要求1所述的基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，所述步骤S4的具体步骤为：S401、路侧单元部署；

在道路基础设施上部署路侧单元，并通过基于车载自组织网络的通信网络实现与环卫机器人车之间的数据传输和通信；

S402、车路通信；

环卫机器人车与路侧单元之间通过无线通信协议实现实时数据交换，所述环卫机器人车获取到实时路况信息，并将自身状态信息发送给路侧单元；

S403、车路协同决策；

在强化学习路径规划中，将车路协同数据整合到状态表示和环境建模中。

6.权利要求1所述的基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，所述步骤S5的具体步骤为：S501、监控管理平台搭建；

S502、数据采集与上传；

S503、数据展示与分析；

S504、远程控制与调度；

S505、数据挖掘与优化。

7.权利要求1所述的基于车路协同及强化学习的环卫机器人车调度方法，其特征在于，所述步骤S6的具体步骤包括模拟测试、实地测试和系统评估。

8.基于车路协同及强化学习的环卫机器人车调度系统，其特征在于，所述系统包括车辆部署模块、路况感知模块、强化学习路径规划模块、车路协同模块、监管与管理模块和测试与评估模块；

所述车辆部署模块用于将多辆环卫机器人车部署在城市的不同区域，并通过基于车载自组织网络的通信网络实现车辆间的数据传输和通信；

所述路况感知模块用于通过多种传感器获取路况数据，并采用数据融合技术实现对环境的准确感知；

所述强化学习路径规划模块采用用于不断优化环卫机器人车的路径规划和调度策略；

所述车路协同模块用于实时交换环卫机器人车与道路基础设施之间的信息；

所述监管与管理模块用于实现对环卫机器人车的远程监控与管理；

所述测试与评估模块用于对系统进行测试与评估；

其中，所述强化学习路径规划模块执行的具体步骤为：S301、状态表示；

将路况感知数据和环卫机器人车感知数据作为输入，构建状态表示；状态包括环卫机器人车当前位置、周围路况、周围环境的垃圾和落叶数量；

S302、动作表示；

将环卫机器人车采取的动作进行编码表示，建立动作空间；

S303、奖励函数设计；

S304、环境建模；

对道路、行人、车辆和建筑物建模，采用三维激光雷达传感器进行数据采集，并利用计算机视觉技术进行数据处理和建模；

S305、状态表示；

将环境建模的结果进行编码表示，建立状态空间，所述状态包含环卫机器人车当前的位置、速度和方向，同时还包括周围环境的信息，状态的编码表示需要保证它们的有效性和区分性；

S306、策略搜索；

采用分层双重DQN算法在状态空间中搜索最优的决策策略，以使得环卫机器人车在执行任务的过程中最大化奖励函数；

所述分层双重DQN算法包括高层策略网络和低层策略网络；

所述高层策略网络用于学习环卫机器人车在不同情境下应该采取的子任务策略，输入是状态特征，输出是子任务策略；所述高层策略网络由多层神经网络组成，包括卷积层和全连接层；

所述低层策略网络用于针对每个子任务学习具体的操作策略，所述低层策略网络采用双重DQN结构，包括在线网络和目标网络；

所述分层双重DQN算法的具体步骤为：

在仿真环境中，环卫机器人车执行子任务，记录状态、动作、奖励和下一状态；

使用经验回放存储训练数据，并从中随机抽取一批数据；

更新低层策略网络；

使用在线网络计算当前状态下每个动作的Q值，然后使用目标网络计算下一状态的Q值，计算目标Q值和实际Q值之间的平方误差损失，并使用随机梯度下降法更新网络参数；

更新高层策略网络；

根据低层策略网络学到的子任务策略，计算累积奖励，然后使用梯度下降法更新高层策略网络参数；

所述分层双重DQN算法的数学表达形式如下：低层策略网络的目标值计算Q'(s,a)：Q'(s,a)＝r(s,a)+γ*max(Q'(s',a'；ψ'))其中Q'(s,a)是在状态s采取动作a时的估计值，r(s,a)是当前状态和动作对应的奖励，γ是折扣因子，max(Q'(s',a'；ψ'))是下一状态s'中最大可能的估计值；

低层策略网络的平方误差损失：

L(ψ)＝E[(Q(s,a；ψ)‑Q'(s,a))^2]其中L(ψ)是平方误差损失，E[]表示期望值；

梯度下降法更新低层策略网络参数ψ：

其中α是学习率， 是关于低层策略网络参数ψ的损失函数的梯度高层策略网络的奖励函数：

R(s,p)＝∑_(t＝0)^Tγ^t*r_t(s_t,a_t,p)其中R(s,p)是在状态s下采取子任务策略p时的累积奖励，T是任务执行的时间步数，γ是折扣因子；

梯度下降法更新高层策略网络参数：

其中β是学习率， 是关于高层策略参数 的奖励函数的梯度。