利索能及
我要发布
收藏
专利号: 2021102634726
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法,其特征在于,包括车道线的检测与分类,车辆的车尾检测与分类,设计实现交通违章检测方法,关于车道线的检测与分类,首先使用基于对抗生成网络的数据增强方法对原数据集进行数据增强,增加弱光照场景下的数据,再使用残差因子分解网络改进目标语义分割网络分割出车道线的概率图,并采用霍夫线拟合;再使用传统算法对车道线点区域进行裁切,把裁切出来的图片使用基于残差结构的分类网络对车道线进行分类,分为白虚线、黄虚线、白实线、白虚线、无、马路路边六类;关于车辆的车尾检测与分类,首先采用目标检测网络,检测出车辆的整体位置区域,然后将该整体位置区域裁剪出来用目标检测回归网络回归检测车头和车尾部分,并对车头车尾成功分类;进而在交通违章识别方法里判断车辆行为是否违章;具体步骤如下:(1)车道线分割训练集增强:对公开数据集采用对抗生成网络进行数据增强,自动实现白天到夜晚的转换,生成弱光照场景下的图片;

(2)设计一个用于车头车尾目标检测的训练数据集:根据图像中目标车辆车尾和车头的所在位置,在原始训练集中裁剪出真实目标区域图像,裁剪出的图像对构成了训练数据集用于车头车尾目标检测;

(3)采用残差因子分解网络改进目标语义分割网络实现车道线语义分割,并通过霍夫线拟合提高车道线分割准确率,采用分类网络对每条检测出来的车道线进行分类;具体如下:(3.1)改进目标语义分割网络确定目标定位信息:利用基于残差因子分解网络的改进型目标语义分割网络实现车道线的语义分割,提取图像的类别信息,并将车道线类别图像记为研究区域;将研究区域与背景用二值数据区分,同条车道线使用相同数值标记;利用图像分割技术将原图转化为区分前景、背景的二值图像;其中规定在208高度的二值图像中找特定高度的18行:0,12,24,48,60,70,82,94,106,118,130,142,154,166,178,190,202,

207,并找到每行的像素最大值,这些位置的坐标就是检测到的车道线的位置坐标;再根据这些位置坐标找到一条适合的霍夫线离这些坐标最近,最后利用霍夫线的首尾两个点的坐标直线拟合提取最合适的边缘线,其中三次样条插值为量化直线合适度的依据;最终由坐标点确定研究区域的位置信息,即组成一条车道线;

(3.2)利用残差结构的分类网络确定目标分类信息:将检测出来的车道线在原图上表示出来,通过最小外接矩阵分别把4条车道线以矩形的形式旋转后裁剪出来,再通过基于残差结构的分类网络对裁出来的车道线图像进行分类,分为白实线、白虚线、黄实线、白虚线、无、马路边这六类;

在改进目标语义分割网络结构中,从RGB图像到像素类别概率;RGB图像即编码器的输入,像素类别概率即解码器的输出;算法从1到20的层构成了编码器,由残差块和降采样块组成,比改进前的目标分割网络的16层增加了4层Non‑bt‑1D层,通过加深特征提取网络深度来增加目标特征信息;Non‑bt‑1D网络是一种交织着空洞卷积的残差网络,Non‑bt‑1D网络按照由上往下顺序看是由1个3*1卷积、1个1*3卷积、1个3*1卷积和1个1*3卷积的设计组成;为了保持良好的平衡,执行了三个下采样:在第1、2和8层;解码器部分由21到27层组成,解码器通过微调细节来对编码器的输出进行上采样;该网络结构不使用max‑unpooling操作进行上采样;本目标分割网络体系结构包括具有步幅2的简单反卷积层;

(4)车头车尾语义目标约束下的交通违章行为判断:首先检测出整体车辆区域,然后针对车辆区域采用一个改进的目标检测网络得到车头车尾的位置区域坐标,最终根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为;其中,使用目标检测网络来检测车辆作为单目标的bounding box,等待检测出整体车辆的目标位置后,再用目标检测回归网络来回归检测车头和车尾这两类的网络;具体如下:(4.1)目标检测确定大目标的定位信息:利用基于目标检测网络结构进行大目标的定位,将图像中的车辆目标全部检测出来;目标检测网络进行了三个尺度的检测,分别是在32倍降采样,16倍降采样,8倍降采样时进行检测;在基本的图像特征提取方面,该目标检测网络采用了含有53个卷积层的网络结构;

(4.2)目标检测确定精确目标的定位信息:其中训练车头车尾检测回归网络包括如下:

(i)初始化训练参数设置:将数据集的图像统一设置大小为32的倍数的224*224,该类图像作为精确目标的回归神经网络的输入;对回归神经网络设置初始学习率η,初始迭代次数,批处理数据量batch_size;网络参数迭代时使用随机梯度下降法,另外设置动量参数momentum与权重衰减率参数γ;

(ii)确定回归网络结构:回归网络的网络层包含24层,只有一个7层的conv+max网络来提取特征,嫁接网络采用的是13*13、26*26的分辨率探测网络;每层对应有3个anchors,总共有6个anchors值;还有一个1x1的卷积层,该层的输入和输出部分保持width,height以及channels不变;其卷积公式为:output=(input+padding‑kernel_size)/stride+1,padding=0;

(iii)模型训练:基于模型训练所需的参数,训练时借鉴BP神经网络误差反向传播的思想,利用随机梯度下降法更新各层参数,直到迭代次数达到上限,或网络参数的更新速率小于预设阈值时结束网络训练;

(4.3)目标检测确定精确目标的定位信息:利用回归网络进行精确目标的定位,将步骤(4.1)中提取到的图像中大目标输入到训练好的车头车尾检测模型中,会对大目标中进行精确的车头车尾定位;

(4.4)根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为;

其中,所述的交通违章行为类别包括压线、逆行、高速公路上违停;压线、逆行、高速公路上违停的判断方法分别如下:

(I)针对高速公路路段违停行为判断:默认高速公路为3车道,并且找到距离车尾的bounding box的下底边的中心最近的两条车道线,如果这两条车道线都在这个中心坐标的左边,说明该车辆行驶或违停在高速公路应急车道上,判断为违停违章行为;后期需靠执法人员确认,该车辆是否为故障而停靠,或其他原因停靠,可做调节;

(II)压线行为判断:如果检测到的车尾的bounding box的下底边的这段线段中与车道线有交点,可以认为疑似压线,需要进一步判断;首先设置一个阈值,阈值设置公式为:thresh=(820‑|centerx‑820|)/1640

如果线越靠图像两端,阈值就越小,它到框下边中点要更近,才能算压线,如果线越靠近图像中间,阈值就越大,它到框下边中心算压线的范围就越宽;

(III)逆行行为判断:如果检测到车头的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的右边,或者检测到车尾的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的左边,都判断为逆行。

2.根据权利要求1所述的一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法,其特征在于:所述步骤(1)中,对车道线分割训练集的数据进行数据增强,根据公开数据集CULane,利用基于对抗生成网络的数据增强方法实现场景转换,生成弱光照场景下的图片;自动实现白天到夜晚的转换,实现数据增强。

3.根据权利要求2所述的一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法,其特征在于:所述的对抗生成网络由两个生成器和两个鉴别器组成,每个生成器带有一个鉴别器,当生成器在生成图像的时候,对应的鉴别器用来鉴别该生成器生成的图像是否真实;其中,生成器包括两个步长为2的卷积层、9个resnet残差块和两个步长为1的卷积层;为了让编码器能适用于不同分辨率的输入图像,在编码时,自动记录比例的变化情况,并在解码时将其映射到相应的卷积层中;使用5层卷积层作为鉴别器网络,包括3个步长为2的卷积层和2个步长为1的卷积层,其初始通道数为3个通道;鉴别器用来判断生成器生成的图像是否真实,然后把结果反馈给生成器。

4.根据权利要求1所述的一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法,其特征在于:所述步骤(2)自制车头车尾数据集时,利用CULane、COCO、自制拍摄的图像数据集,并且利用labelImg对图像中车辆的车头和车尾进行标注;利用随机的方式抽选部分数据作为训练集,其余数据作为测试集。