利索能及
我要发布
收藏
专利号: 2019100363012
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于TensorFlow和OpenCV的车道线识别方法,其特征在于,包括如下:步骤1.图像数据集的制作:制作图像数据集的原始图像数据来源于车前CCD相机采集到的彩色道路图像,利用这些图像生成用于神经网络训练的图像数据集;

步骤2.神经网络模型的设计:采用卷积神经网络模型;

所述卷积神经网络模型包含8层,分别为卷积层1、卷积层2、卷积层3、最大池化层、反最大池化层、反卷积层3、反卷积层2、反卷积层1;所述卷积层1的过滤器尺寸为2×2,过滤器深度为32,过滤器移动步长为1×1;所述卷积层2的过滤器尺寸为2×2,过滤器深度为64,过滤器移动步长为1×1;所述卷积层3的过滤器尺寸为3×3,过滤器深度为128,过滤器移动步长为1×1;所述最大池化层的过滤器尺寸为2×2,过滤器移动步长为2×2,使用全零填充;所述反最大池化层的过滤器尺寸为2×2,过滤器移动步长为2×2,使用全零填充;所述反卷积层3的过滤器尺寸为3×3,过滤器深度为64,过滤器移动步长为1×1;所述反卷积层2的过滤器尺寸为2×2,过滤器深度为32,过滤器移动步长为1×1;所述反卷积层1的过滤器尺寸为2×2,过滤器深度为1,过滤器移动步长为1×1;

其中,所述反卷积层3的输入等于卷积层3的输出与反最大池化层的输出的线性加权和;

步骤3.可变阈值的图像二值化:将所述卷积神经网络模型输出的具有车道线特征的图像进行二值化处理;

步骤4,提取车道线坐标点:利用OpenCV建立提取车道线坐标点算法,从经过二值化处理后的道路图像中提取出车道线坐标点;

步骤5.建立车道线拟合方程:利用提取到的车道线坐标点建立车道线拟合方程并求解该方程得到车道线识别结果。

2.根据权利要求1所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,步骤1中,所述图像数据集的制作包括:图像标注、图像处理和生成图像数据集;

所述图像标注通过手工进行图像标注,利用LabelMe标注软件将道路原始图像中的车道线区域框选出来,输出的标注图像为二值图像;

所述图像处理是将标注图像和原始图像分别经过处理后生成神经网络模型训练所需要的两种图像,包括训练时的神经网络输入图像和计算交叉熵时的输入图像;具体地:所述图像处理用于处理所述图像标注的输出图像时包括图像裁剪、图像缩放和图像二值化过程,用于处理所述彩色道路图像时包括图像裁剪、图像缩放和图像灰度化过程;所述图像裁剪是从图像高度方向按照固定的大小将待处理图像中的非车道区域去除,图像的宽度则保持不变;所述图像缩放使用的是双线性插值法将所述图像裁剪后输出图像的大小缩放至固定的尺寸,图像缩放后其宽度和高度相等;所述图像二值化是将图像缩放后输出图像的像素值与阈值比较,并根据比较结果修改像素值,当图像的像素值小于阈值时,其将被设定为

0,否则被设定为255;所述图像灰度化是将图像缩放后输出图像的颜色转换为灰度;

所述生成图像数据集是利用TensorFlow的图像数据集格式TFRecord,将图像处理中的两种图像打包成图像数据集。

3.根据权利要求2所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,所述道路原始图像中的车道线区域包括车道虚线、车道实线、车道双虚线和车道双实线;

所述图像处理的输出图像包括对所述图像标注的输出图像经过预处理后的输出图像,和对所述彩色道路图像经过预处理后的输出图像。

4.根据权利要求1所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,步骤3中,二值化处理:将待处理图像中的像素点的值与可变阈值比较,如果像素点值大于阈值,所述像素点值将设置为255,否则设置为0;所述可变阈值与待处理图像的像素点之和具有一次函数关系。

5.根据权利要求1所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,步骤4的具体实现包括:先设定一个中间值,然后进行图像的行扫描和列扫描,行扫描的增量为8,列扫描的增量为1;图像行扫描的过程中,如果像素点的值满足以下两种情况,将不再扫描下两列数的两个像素点的值,并记录下一列数的一个像素点作为车道线的坐标点:(a)像素点所在列数小于或等于中间值,像素点的像素值大于100,相同行向x轴正方向偏移1列像素点的像素值大于100,相同行向x轴正方向偏移4列像素点的像素值小于100;

(b)像素点所在列数大于中间值,像素点的像素值大于100,相同行向x轴负方向偏移1列像素点的像素值大于100,相同行向x轴负方向偏移4列像素点的像素值小于100。

6.根据权利要求5所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,所述车道线坐标点为图像扫描坐标系中的点;所述图像扫描坐标系的建立,以图像左上角作为坐标系的原点,右方向作为坐标系的x轴正方向,下方向作为坐标系y轴的正方向;所述图像扫描坐标系中的图像像素点的值用P(x,y)表示,其中x表示图像像素点所在的行数,y表示图像像素点所在的列数。

7.根据权利要求6所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,所述利用OpenCV在所述图像扫描坐标系中提取车道线坐标点的具体步骤如下:步骤1:设置中间值;

步骤2:设置y的值为0;

步骤3:设置x的值为0;

步骤4:如果x小于或等于中间值,则进入步骤5,否则进入步骤8;

步骤5:如果P(x,y)大于100,则进入步骤6,否则进入步骤14;

步骤6:如果P(x+1,y)大于100,则进入步骤7,否则进入步骤14;

步骤7:如果P(x+4,y)小于100,则进入步骤:11,否则进入步骤14;

步骤8:如果P(x,y)大于100,则进入步骤9,否则进入步骤14;

步骤9:如果P(x‑1,y)大于100,则进入步骤10,否则进入步骤14;

步骤10:如果P(x‑4,y)小于100,则进入步骤11,否则进入步骤14;

步骤11:x=x+1;

步骤12:记录P(x,y)作为提取到的车道线坐标点;

步骤13:x=x+1;

步骤14:x=x+1;

步骤15:如果x大于100,则进入步骤16,否则返回步骤4;

步骤16:y=y+8;

步骤17如果y大于100,则扫描结束,否则返回步骤3。

8.根据权利要求1所述的基于TensorFlow和OpenCV的车道线识别方法,其特征在于,步骤5中采用多项式函数作为车道线拟合方程的基本形式,每条车道线拟合方程建立时,其未知量的个数与在该车道线上提取到的坐标点的个数相等。