利索能及
我要发布
收藏
专利号: 2023103820961
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种车道线预测和车道线缺陷检测方法,其特征在于包括如下步骤:

步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图,对图片中的车道线进行准确的标注,构成训练数据集,并对训练数据集进行数据增强;

步骤2、模型搭建,在编码器中设计MBMA注意力模块,获得车道线特征信息特征图,在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测;

步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练;

步骤4、模型训练完成后,测试模型,取超过设定阈值的模型进行封装部署,将部署好的模型用于车道线预测和缺陷检测。

2.根据权利要求1所述车道线预测和车道线缺陷检测方法,其特征在于,所述的步骤1包括,步骤11、通过PLC控制器控制灰点工业相机进行拍照,同时PLC控制器实时读取GPS中的经纬度位置信息后上传到上位机,上位机通过调用地图接口生成车道位置信息 ,根据微调函数  的计算结果,其中 表示相机的视场角角度,控制PLC中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角,以保证能够拍摄到远端和完整的正视图车道线作为数据集来源;

其中定义同向车道最外面两侧的宽度为1,其中  为上位机返回的车辆到左侧同向车道的距离,同时车辆距离右侧通向车道的距离为1‑  ;定义左侧距离和右侧距离的差值作为车辆在同向车道中的位置,当  ,  时,车辆在车道的中间位置,将相机角度调整到135°和45°;当  ,  时,车辆在车道的最左侧位置;当 ,  时,车辆在车道的最右侧位置;

步骤12、对正视图中的车道线进行分析取舍以及标注,生成josn标签格式的数据集,然后对采集到的正视图调整大小为720×1280,为了提高泛化能力,对缩放后的图像采用随机旋转、移动和翻转相结合的增强方法,用于模型的训练。

3.根据权利要求1所述车道线预测和车道线缺陷检测方法,其特征在于,所述步骤2包括,步骤21、选择轻量级的CSP‑Darknet骨干网络进行特征的提取,在其中嵌入设计的MBMA注意力模块,用于对正视图中的细长车道线语义信息的捕捉和关注到车道线区域;

步骤22、MBMA注意力模块通过两个分支去捕获通道的信息和空间位置感知信息,输入为B×C×H×W的特征图,其中B、C、H和W分别表示其图片批量数、通道数、高度和宽度;代表坐标水平方向的编码通道;是代表坐标竖直方向的编码通道,将特征图在通道上均分为双分支  为C/2×H×W和  为C/2×H×W,其中通道分支中使用了LayerNorm正则化函数中样本特征的归一化权重因子α来生成注意力权重,将  首先经过5×5的卷积来获取大的感受野,然后将特征调整为H×W×C/2并输入到LayerNorm中通过逐通道的计算样本特征内部的均值和标准差,再经过一个  线性映射,把归一化的特征通过可学习的参数α和β映射出到新的特征分布上  ,最后使用注意力权重生函数  计算出每个通道样本的得分,与  相乘得到注意通道注意力权重  ,其中c代表通道分支;空间分支首先经过3×3的卷积来获取与通道分支不同感受野的特征信息,再分别经过自适应最大池化和自适应平均池化以分别对空间H和W两个方向进行空间位置信息的编码,使尺寸变为C×H×

1和C×W×1,得到这两个方向的特征信息  ,其中s代表空间分支;将两个特征信息相加后,经过1×1卷积层调整通道数并进行特征融合;经过一层正则化函数和非线性激活函数对特征信息进行一个空间映射;将其沿着H和W两个空间维度方向分解为两个单独的特征层,经过两个1×1的卷积调整尺度后使用Sigmoid激活函数,最终得到行和列的分支注意力权重 和  ,将三个权重相乘得到最终的注意力权重乘到输入特征  得到最终的注意力特征图  ;

步骤23、将从解码器模块中输出的最后一层特征图加入注意力模块进行特征加权增强后经过卷积和上采样送入到检测器中,其尺寸为80×80×256;

步骤24、车道线解耦检测器包括并行的车道线分割检测头和车道线缺陷检测头:车道线分割头是把最近邻插值上采样后的输出特征作为输入  ,经过1×1的卷积层、正则化层和Hardswish激活函数再经过一层1×1的卷积层来对像素级的特征和边缘信息进行融合,最后的结果作为输出;

车道线分割检测头采用下式:

步骤25、车道线缺陷检测头,首先通过一个全连接层,然后通过两个1×1级联的卷积层来融合空间位置信息和深层特征信息,同时使用了正则化函数和激活函数,防止模型更新时梯度消失,加速模型的收敛,有助于做缺陷检测;

车道线缺陷检测头的公式如下:  。

4.根据权利要求3所述车道线预测和车道线缺陷检测方法,其特征在于,MBMA注意力模块计算公式如下:;

;其中mean代表通道中每个样本的平均值;std代表通道中每

个样本的方差, 代表坐标水平方向的编码通道;α是代表可学习的归一化权重因子参数;β为可学习的偏执参数,  逐元素相乘,σ 代表Sigmoid激活函数;

;其中σ 代表Sigmoid激活函数;Conv是1×1的卷积,i

代表坐标水平方向的编码通道;j是代表坐标竖直方向的编码通道;  为初始输入特征, 逐元素相乘。

5.根据权利要求1所述车道线预测和车道线缺陷检测方法,其特征在于,所述步骤3包括,步骤31、将数据预处理后的车道线正视图输入到模型中,以1E‑3初始化的学习率,使用Adam优化算法使得复合损夫函数最小来训练模型,其动量为0.937,批量大小为16,训练迭代次数为300;

步骤32、复合总损失函数为  ,其中  为总损失函数,  为车

道线缺陷检测损失函数,  为车道线分割预测的损失函数 , 为损失系数;车道线分割预测损失函数为:  。

6.根据权利要求1所述车道线预测和车道线缺陷检测方法,其特征在于,为分割损失,使用交叉熵损失函数:,其中,  是模型对于标签  =1的预测概

率, ∈[0,1]是平衡因子;  为回归损失, 为损失系数;车道线缺陷检测总损失函数为:  ,其中 为车道线缺陷检测的总损失函数:  为分类损失,  为置信度损失,   为回归损失,使用CIoU损失函数, 为损失系数;

其中,  ∈[0,1]是模型对于标签y=l的预测概率, ∈[0,1]是平衡因子,(1‑p)是样本难度权重调制因子。

7.根据权利要求1所述车道线预测和车道线缺陷检测方法,其特征在于,所述步骤4中,步骤41:把原始车道线正视图大小调整为720×1280,后输入到模型中并加载好预训练权重,得到车道线预测和缺陷检测结果;

步骤42: PLC控制器会控制灰点工业相机进行拍摄,同时为了能够拍摄到远端和完整的正视图车道线,PLC控制还调整相机角度,当上位机接收到相机传来采集正视图完成的信号后,上位机会调用部署好的模型,检测完成过后,检测结果通过USB串口以数据流的方式传到PLC控制器,同时PLC控制器通过串口读取GPS中实时位置信息并返回给上位机,当上位机收到位置信息后会将缺陷图片数据和位置信息数据通过HTTP协议上传到服务器。