利索能及
我要发布
收藏
专利号: 2019108661448
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉及深度学习的无人驾驶系统,其特征是,包括:

感知模块,远程信息处理模块,车载信息处理模块,车辆运动执行模块;

其中,所述感知模块用于获取实时环境图像,以供模块识别,以及获取行车环境中所涉及交通要素的距离信息;所述感知模块包括车载单目摄像头及超声波传感器,单目摄像头用于获取实时环境图像,超声波传感器用于获取行车环境中所涉及交通要素的距离信息;

所述单目摄像头通过支架固定在车体上,该支架为鱼竿式伸缩结构支架,通过控制伸缩结构支架,根据需要控制摄像头的高低,通过该方式满足对视角范围内信息的采集,避免存在视角盲区;

所述车载信息处理模块接收远程信息处理模块下发的深度学习模型,接收感知模块所获取的实时图像,并利用该模型进行图像识别;

所述远程信息处理模块实时接收车载信息处理模块获取的基于物体的轮廓信息确定物体的类别,依据物体不同的分类进行对应分类的模型训练;云端服务器中存储大量按轮廓进行分类的数据集,用于训练深度学习模型;远程信息处理模块接收车载信息处理模块传输的物体轮廓信息,选取对应的数据集进行深度学习模型的训练;将已经训练好的深度学习模型下发至车载信息处理模块,并对下一帧及后续帧的图像中所出现的同类别物体进行物体识别,实现深度学习模型的实时训练;

所述车辆运动执行模块用于接收车载信息处理模块发送的运行控制指令,完成对车体的运动控制;所述车辆运动执行模块为基于RC小车的移动平台;Raspberry Pi平台连接舵机和油门控制板,发送指令控制小车运动;

所述车载信息处理模块选取单片Raspberry Pi平台做为车载信息处理模块,所述感知模块采集的图像数据经Raspberry Pi平台传至远程信息处理模块,所述车载信息处理模块搭载云端发送的深度学习模型进行物体细分类识别;所述Raspberry Pi平台利用Open cv的sobel算子进行图像边缘检测,提取轮廓特征,进行粗分类识别,传输至远程信息处理模块进行分类深度学习模型的训练,并通过4G模块接收训练好的深度学习模型。

2.如权利要求1所述的一种基于视觉及深度学习的无人驾驶系统,其特征是,所述车辆运动执行模块采用双电源供电,锂电池供电于小车,移动电源输出电源为Raspberry Pi平台供电。

3.一种基于视觉及深度学习的无人驾驶方法,基于权利要求1‑2任一所述的一种基于视觉及深度学习的无人驾驶系统,其特征是,包括:获取车体前方环境当前帧的图像及车体前方标志物距离信息,进行图像处理;

获取环境当前帧的图像数据后,在图像候选区域上利用扫描窗口进行扫描;

对扫描后的图像进行预处理:包括彩色图像灰度化、图像几何变换、图像增强及特征提取,框选出图中物体轮廓候选区域;

实时接收获取的基于物体的轮廓信息确定物体的类别,依据物体不同的分类进行对应分类的模型训练;利用已经训练好的深度学习模型对下一帧及后续帧的图像中所出现的同类别物体进行物体识别;

对车体实现自身位置的定位;

基于物体识别结果及车辆自身位置利用路径规划算法进行车辆的自主导航;采用sobel算子对图中物体进行边缘检测提取轮廓,通过计算所获得的图中物体梯度与所设阈值进行比较,当大于这一阈值时,则认为该点为边缘点,实现物体的粗分类识别。

4.如权利要求3所述的一种基于视觉及深度学习的无人驾驶方法,其特征是,深度学习模型的网络结构采用Yolo_v3网络架构,通过卷积神经网络对输入图像提取特征,将目标检测作为回归问题,空间上分离边界框和相关的类概率。