1.一种交通信号识别方法,其特征在于,包括:
获取无人驾驶车辆拍摄的视频中的当前图像;
当满足图像检测条件时,通过训练完成的交通信号灯检测模型,对所述当前图像进行交通信号灯的检测,得到检测结果,其中,所述检测结果包括所述当前图像中交通信号灯的感兴趣区域,以及各个感兴趣区域中交通信号灯的类型;否则,基于所述视频中所述当前图像的上一帧图像中所述交通信号灯的感兴趣区域,利用目标跟踪模型对所述当前图像中的交通信号灯进行目标跟踪,确定所述当前图像中交通信号灯的感兴趣区域,其中,所述交通信号灯检测模型基于训练数据训练完成,所述训练数据包括至少一种类型的交通信号灯图像样本,每一个交通信号灯图像样本的标签包括:交通信号灯的类型,以及交通信号灯的感兴趣区域的位置,所述交通信号灯的类型包括颜色灯和倒计时灯,在所述交通信号灯检测模型的训练过程中,不同颜色和显示状态的颜色灯作为一个交通信号灯类型对所述交通信号灯检测模型进行;
获取无人驾驶车辆当前所处位置对应的地图;
基于所述地图上记载的交通信号灯的位置,以及所述无人驾驶车辆在所述地图中的位置,确定所述地图中所述无人驾驶车辆的拍摄装置的可见交通信号灯;
确定可见交通信号灯的总数量,与当前图像中交通信号灯的总数量是否相同;
若是,则基于所述可见交通信号灯在所述地图上的位置、所述无人驾驶车辆在所述地图中的位置、以及所述当前图像中交通信号灯的感兴趣区域,确定所述可见交通信号灯与所述当前图像中各感兴趣区域的交通信号灯的对应关系;
通过颜色灯状态识别模型,对所述当前图像中颜色灯的感兴趣区域中的内容进行识别,以确定所述当前图像中处于点亮状态的颜色灯显示的颜色;
对于所述当前图像中各倒计时灯的感兴趣区域,通过倒计时灯状态识别模型对所述感兴趣区域的内容进行识别,以确定所述感兴趣区域中的倒计时灯表示的倒计时值;
基于交通信号灯状态识别模型的识别结果以及所述对应关系,确定所述地图上的可见交通信号灯对应的交通信号;
若所述可见交通信号灯的总数量,与当前图像中交通信号灯的总数量不相同,则确定本次对所述当前图像的检测失败,结束对所述当前图像的检测,进入下一帧图像的交通信号检测过程。
2.根据权利要求1所述的交通信号识别方法,其特征在于,所述当满足图像检测条件时,通过训练完成的交通信号灯检测模型,对所述当前图像进行交通信号灯的检测,得到检测结果,包括:当所述当前图像为所述视频中的第一帧图像时,通过训练完成的交通信号灯检测模型检测所述当前图像中交通信号灯的感兴趣区域,以及各个感兴趣区域中交通信号灯的类型;
当训练完成的交通信号灯检测模型对所述视频中的图像的最近检测时刻,与当前时刻的时间间隔不小于预设检测时间间隔时,通过所述交通信号灯检测模型检测所述当前图像中交通信号灯的感兴趣区域,以及各个感兴趣区域中交通信号灯的类型;
基于所述视频中所述当前图像的上一帧图像中所述交通信号灯的感兴趣区域,利用目标跟踪模型对所述当前图像中的交通信号灯进行目标跟踪,当目标跟踪失败时,通过训练完成的交通信号灯检测模型检测所述当前图像中交通信号灯的感兴趣区域,以及各个感兴趣区域中交通信号灯的类型。
3.根据权利要求1所述的交通信号识别方法,其特征在于,所述对于所述当前图像中各倒计时灯的感兴趣区域,通过倒计时灯状态识别模型对所述感兴趣区域的内容进行识别,以确定所述感兴趣区域中的倒计时灯表示的倒计时值前,还包括:从所述交通信号灯检测模型对所述当前图像的所述检测结果中,获取各倒计时灯的感兴趣区域对应的检测框的置信度;
当倒计时灯的置信度不低于预设置信度阈值时,对于所述倒计时灯的感兴趣区域,继续执行所述通过倒计时灯状态识别模型对所述感兴趣区域的内容进行识别,以确定所述感兴趣区域中的倒计时灯表示的倒计时值的步骤,基于所述倒计时值更新预设计时器的倒计时值,其中,所述预设计时器的初始倒计时值为所述倒计时灯首次被检测到时表示的倒计时值;
当倒计时灯的置信度低于预设置信度阈值时,对于所述倒计时灯的感兴趣区域,不执行所述通过倒计时灯状态识别模型对所述感兴趣区域的内容进行识别,以确定所述感兴趣区域中的倒计时灯表示的倒计时值的步骤,获取所述倒计时灯对应的预设计时器当前的倒计时作为所述倒计时灯表示的倒计时。
4.根据权利要求3所述的交通信号识别方法,其特征在于,所述通过倒计时灯状态识别模型对所述感兴趣区域的内容进行识别,以确定所述感兴趣区域中的倒计时灯表示的倒计时值,包括:基于两位数的数字中两个数位在所述感兴趣区域的分布逻辑,将所述感兴趣区域划分为两个子区域;
通过倒计时灯状态识别模型,对所述两个子区域中的数字分别进行识别;
在所述两个子区域的识别结果满足预设成功识别条件时,基于所述两个子区域的识别结果确定所述感兴趣区域中的倒计时灯的倒计时值,否则,获取所述倒计时灯对应的预设计时器当前的倒计时值,作为所述倒计时灯表示的倒计时值。
5.根据权利要求1所述的交通信号识别方法,其特征在于,所述基于所述可见交通信号灯在所述地图上的位置、所述无人驾驶车辆在所述地图中的位置、以及所述当前图像中交通信号灯的感兴趣区域,确定所述可见交通信号灯与所述当前图像中各感兴趣区域的交通信号灯的对应关系,包括:基于所述可见交通信号灯在所述地图上的位置,以及所述无人驾驶车辆在所述地图中的位置,将所述可见交通信号灯从所述地图的坐标系,映射到所述无人驾驶车辆的车身坐标系中;
将所述可见交通信号灯按照在所述车身坐标系中的目标轴坐标进行排序,其中,所述目标轴平行于所述无人驾驶车辆所在路面且与所述无人驾驶车辆的前进方向垂直;
将所述当前图像中所述感兴趣区域的交通信号灯按照所述感兴趣区域在所述当前图像中的水平方向的坐标进行排序;
基于所述可见交通信号灯的排列顺序以及所述当前图像中的交通信号灯的排列顺序,确定所述可见交通信号灯与所述当前图像中感兴趣区域的交通信号灯的对应关系。
6.一种交通信号识别装置,其特征在于,包括:
获取单元,用于获取无人驾驶车辆拍摄的视频中的当前图像;
检测单元,用于当满足图像检测条件时,通过训练完成的交通信号灯检测模型,对所述当前图像进行交通信号灯的检测,得到检测结果,其中,所述检测结果包括所述当前图像中交通信号灯的感兴趣区域,以及各个感兴趣区域中交通信号灯的类型;否则,基于所述视频中所述当前图像的上一帧图像中所述交通信号灯的感兴趣区域,利用目标跟踪模型对所述当前图像中的交通信号灯进行目标跟踪,确定所述当前图像中交通信号灯的感兴趣区域,其中,所述交通信号灯检测模型基于训练数据训练完成,所述训练数据包括至少一种类型的交通信号灯图像样本,每一个交通信号灯图像样本的标签包括:交通信号灯的类型,以及交通信号灯的感兴趣区域的位置,所述交通信号灯的类型包括颜色灯和倒计时灯;在所述交通信号灯检测模型的训练过程中,不同颜色和显示状态的颜色灯作为一个交通信号灯类型对所述交通信号灯检测模型进行;
对应关系确定单元,用于获取无人驾驶车辆当前所处位置对应的地图;基于所述地图上记载的交通信号灯的位置,以及所述无人驾驶车辆在所述地图中的位置,确定所述地图中所述无人驾驶车辆的拍摄装置的可见交通信号灯;
数量比较单元:用于确定可见交通信号灯的总数量,与当前图像中交通信号灯的总数量是否相同;
对应关系确定单元,还用于若数量比较单元的比较结果为是,基于所述可见交通信号灯在所述地图上的位置、所述无人驾驶车辆在所述地图中的位置、以及所述当前图像中交通信号灯的感兴趣区域,确定所述可见交通信号灯与所述当前图像中各感兴趣区域的交通信号灯的对应关系;
识别单元,用于通过各类型交通信号灯对应的交通信号灯状态识别模型,分别对所述当前图像中各类型交通信号灯的感兴趣区域中的内容进行识别,以确定所述当前图像中各交通信号灯表示的交通信号;
地图交通信号确定单元,用于基于交通信号灯状态识别模型的识别结果以及所述可见交通信号灯与所述当前图像中各感兴趣区域的交通信号灯的对应关系,确定所述地图上的所述可见交通信号灯对应的交通信号;
其中,所述识别单元包括:颜色灯识别单元和倒计时灯识别单元;
所述颜色灯识别单元,用于通过颜色灯状态识别模型,对当前图像中颜色灯的感兴趣区域中的内容进行识别,以确定当前图像中处于点亮状态的颜色灯显示的颜色;
所述倒计时灯识别单元,用于对于当前图像中各倒计时灯的感兴趣区域,通过倒计时灯状态识别模型对感兴趣区域的内容进行识别,以确定感兴趣区域中的倒计时灯表示的倒计时值;
其中,若数量比较单元确定所述可见交通信号灯的总数量,与当前图像中交通信号灯的总数量不相同,则本次对所述当前图像的检测失败,结束对所述当前图像的检测,进入下一帧图像的交通信号检测过程。
7.一种车辆导航设备,其特征在于,所述车辆导航设备包括权利要求6项所述的交通信号识别装置。
8.一种无人驾驶车辆,其特征在于,所述无人驾驶车辆包括驱动系统、控制系统和导航系统;
所述导航系统,用于执行权利要求1至5任一项所述的交通信号识别方法以确定无人驾驶车辆当前行驶道路上的交通信号,并基于所述交通信号对车辆进行导航;
所述控制系统,用于在所述导航系统的导航下,对所述驱动系统进行控制;
所述驱动系统,用于在所述控制系统的控制下,驱动所述车辆运动。