利索能及
我要发布
收藏
专利号: 2022105085797
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述方法包括:实时获取高速公路上的摄像头拍摄的高速公路雾天情况的图像数据;

将所述高速公路雾天情况的图像数据输入到训练好的双分支分类网络模型的行道线检测分支和深度神经网络视觉特征提取分支,对应输出行道线检测标签和道路区域的视觉特征;

所述训练好的双分支分类网络模型的融合分类模块根据所述行道线检测标签计算高速公路可见区域的长度特征,并融合所述道路区域的视觉特征进行分类,确定所述摄像头拍摄的高速公路对应的雾天能见度等级;

所述双分支分类网络模型的训练方式为:

获取不同时段、不同角度摄像头下的高速公路雾天情况监控图像集;

根据能见度距离将所述高速公路雾天情况监控图像集中的图像数据分为4个能见度等级,并将每个能见度等级中的图像数据按照预设比例划分出训练集和测试集;

构建结合行道线检测算法的双分支分类网络模型,所述双分支分类网络模型包括行道线检测分支、深度神经网络视觉特征提取分支以及融合分类模块;

采用损失函数优化所述双分支分类网络模型;

预设所述双分支网络模型的训练超参数,并导入行道线检测分支预先训练好的权重参数;

将所述训练集中的图像数据输入所述双分支分类网络模型中,根据损失函数,采用Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新,直至双分支分类网络模型收敛,获得初步双分支分类网络模型;

将所述测试集中的图像数据输入所述初步双分支分类网络模型中进行测试,确定所述初步双分支分类网络模型的精度,当精度达到预设值时,获得训练好的双分支分类网络模型。

2.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述行道线检测分支包括resnet18、第一全连接层和第二全连接层;

图像数据输入resnet18进行行道线深度视觉特征提取,获得行道线深度视觉特征;

所述行道线深度视觉特征经第一全连接层和第二全连接层进行检测,输出行道线检测标签。

3.根据权利要求2所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述深度神经网络视觉特征提取分支包括残差块、金字塔池化模块和路面区域注意力模块;

所述图像数据输入残差块、金字塔池化模块输出雾天图像的深度视觉特征;

所述雾天图像的深度视觉特征和所述行道线深度视觉特征输入所述路面区域注意力模块突出道路区域,获得道路区域的视觉特征。

4.根据权利要求3所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述路面区域注意力模块包括第一卷积层、ReLU层、第二卷积层和第三卷积层;

将所述雾天图像的深度视觉特征和所述行道线深度视觉特征在通道维度进行concatenate操作后,依次通过所述第一卷积层、所述ReLU层、所述第二卷积层和Sigmoid进行卷积操作,得到空间注意力图;

将所述雾天图像的深度视觉特征输入所述第三卷积层进行卷积,获得非线性视觉特征图;

将所述空间注意力图与所述非线性视觉特征图相乘进行特征的自适应学习后,与非线性视觉特征图进行像素求和,得到道路区域的深度视觉特征。

5.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述融合分类模块包括第三全连接层、第四全连接层和第五全连接层:对所述行道线检测标签进行切片去除非行道线标签得到128×28×4大小的第一特征向量;

将所述第一特征向量在通道范围上求和,得到28×4大小的第二特征向量;

将所述第二特征向量输入所述第三全连接层进行长度计算,得到4条行道线的长度特征向量,所述长度特征向量大小为1×4;

所述道路区域的视觉特征输入所述第四全连接层后,与所述长度特征向量进行concatenate操作,再经过所述第四全连接层输出所述图像数据中的高速公路对应的雾天能见度等级。

6.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述损失函数包括行道线检测损失函数和分类损失函数;

所述行道线检测损失函数为:

其中, 表示交叉熵损失, 表示第i 条行道线穿过图像像素点的第j行的预测标签值, 表示第i条行道线穿过图像像素点的第j行的真实标签值, 表示行道线检测损失函数,C表示行道线总条数,h为图像像素点的总行数, 为需要优化的参数;

所述分类损失函数为:

其中, 为第p个类别的真实值,yp为第p个类别的预测值,yq为第q个类别的预测值,G为类别的总数,e为自然数, 为分类损失函数。

7.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,将所述训练集中的图像数据输入所述双分支分类网络模型中,根据损失函数,采用Adam优化器实现所述深度神经网络视觉特征提取分支的权重参数的迭代优化与更新,直至双分支分类网络模型收敛,获得初步双分支分类网络模型的步骤,包括:所述行道线检测分支采用预先训练好的权重参数,对所述深度神经网络视觉特征提取分支的权重参数进行初始化;

随机选取所述训练集中S个图像数据 送入到双分支分类网络模型中,并得到相应的输出预测结果 ;

通过反向传播算法,更新所述深度神经网络视觉特征提取分支的权重参数,,其中,Adam为Adam优化器,t为时间步初始化为0, 为时间步为t+1的权重参数, 为时间步为t的权重参数, 为双分支分类网络模型学习率,为时间步为t的权重参数的梯度;

返回所述随机选取所述训练集中S个图像数据 送入到双分支分类网络模型中,并得到相应的输出预测结果 的步骤进行循环迭代训练,直至双分支分类网络模型收敛,获得初步双分支分类网络模型。

8.根据权利要求1所述的联合行道线几何先验的高速公路雾天能见度检测方法,其特征在于,所述双分支分类网络模型的表达式为:其中, 为深度神经网络,A()为路面区域注意力模块, 为行道线检测分支,F()为融合分类模块,f()为全连接层,S1为经路面区域注意力模块得到的道路区域的深度视觉特征,S2为行道线检测标签,y为最终分类结果。