1.一种基于改进YOLO v4的轻量级行人车辆检测方法,其特征在于,所述方法包括以下步骤:
1)将数据集划分为训练集、验证集和测试集,分别用于模型的训练和测试;
2)对数据集标签中的真实目标框进行聚类分析,分别得到9种不同的先验框尺寸;
3)利用主干网络提取数据集的视觉特征,过程如下:
利用Ghost模块构造Bottleneck,使用Bottleneck搭建主干网络,所述Ghost模块包含卷积操作和线性操作,特征图输入Ghost模块后,依次经过卷积层、归一化层和激活层后获得中间特征图,将所述中间特征图送入线性分支后与所述中间特征图堆叠后输出,每个Bottleneck包括Ghost模块、BN层和激活函数,共同构成网络参数θ,主干网络可表征为函数Fθ,将高为H,宽为W的样本数据输入主干网络,分别在网络第5、第11、第16个Bottleneck后分批次输出三组不同尺寸的特征图,该过程公式如下:feat1=Fθ1(x) (1)feat2=Fθ2(feat1) (2)feat3=Fθ3(feat2) (3)
3×H×W
式中x为输入图像,且x∈R ,feat1、feat2、feat3分别代表输出的三组特征值,其中
40×H×W 112×H×W 160×H×W
feat1∈R ,feat2∈R ,feat3∈R ;
4)对提取到的特征进行特征聚合,过程如下:
将步骤3)提取到的三组特征,分别输入到三个不同扩张率的空洞卷积层中,通过变化感受野,提升模型的多尺度感知能力,feat1对应的空洞卷积扩张率为1,负责感知特征图中的小尺寸目标;feat2对应的空洞卷积扩张率为2,负责感知特征图中的中尺寸目标;feat3对应的空洞卷积扩张率为3,负责感知特征图中的大尺寸目标,各层扩张率与感受野的关系如下式:R=k+(k‑1)×(d‑1) (4)式中,R为感受野尺寸,k为卷积核尺寸,d为扩张率;
将空洞卷积层输出的特征送入特征聚合网络,对特征图进行降采样、升采样、拼接、卷积和BN操作,其中卷积层由卷积模块和DBM模块构成,以进一步缩减模型参数量,输出三组聚合后的特征图用于最终的检测;
所述DBM模块结构为:特征图输入模块,依次经过一个逐通道卷积层,一个批次归一化层,一个ReLU6激活层,一个逐点卷积层,一个批次归一化层,再经过ReLU6激活函数后输出;
5)将聚合后的特征输入YOLO检测头,对目标的位置和类别进行预测;利用损失函数训练模型;
6)将测试集图像输入训练得到的网络模型进行检测,输出目标的检测结果。
2.如权利要求1所述的一种基于改进YOLO v4的轻量级行人车辆检测方法,其特征在于,所述步骤1)的操作为:将KITTI数据集划分为最终的训练集、验证集和测试集,其具体步骤为:合并、删除数据集中的部分类别,最终的类别包括行人、汽车;将数据集按照VOC数据集的文件路径存放;将数据集的注释文件由txt格式转换为xml格式;将数据集按照8:1:1的比例划分为训练集、验证集、测试集。
3.如权利要求1或2所述的一种基于改进YOLO v4的轻量级行人车辆检测方法,其特征在于,所述步骤2)的操作为:利用k‑Means算法对数据集标签中的真实目标框进行聚类分析,其中,采用框与框之间的交并比IoU构建距离度量函数S,函数S如下:S=1‑IoU(box1,box2) (5)。
4.如权利要求1或2所述的一种基于改进YOLO v4的轻量级行人车辆检测方法,其特征在于,所述步骤5)的操作为:将步骤4)聚合得到的特征图分别输入三个yolo检测头,对目标的位置和类别进行预测,各分支分别输出一组形式为N×N×3×(4+1+C)的向量,N表示该分支下的特征图尺寸,3表示该分支下的预测框数量,4和1分别表示预测框的坐标和置信度,C表示数据的类别数量;
利用损失函数对模型进行训练,损失函数采用Complete‑IoU Loss,如下式:gt gt
式中,LCIoU为预测框的位置损失,B,B 分别为预测框和真实框,b,b 分别为预测框和真2
实框的中心点坐标,ρ ()表示欧氏距离,c包含预测框与真实框的最小矩形的对角线长度,α为权重函数,v函数用于度量长宽比的相似性,α,v函数的定义分别如下:gt gt
式(9)中,w ,h 分别表示真实框的宽和高,w,h分别表示预测框的宽和高;
设置网络模型参数型输入图像的尺寸、9个先验框尺寸、识别种类的数量和标注的各种类名称、初始学习率以及学习率调整策略,对模型进行训练;训练过程中使用验证集进行验证,训练至网络模型收敛后保存最终的权重文件。
5.如权利要求1或2所述的一种基于改进YOLO v4的轻量级行人车辆检测方法,其特征在于,所述步骤6)的操作为:加载所述步骤5)训练得到的模型权重,将测试集输入网络,进行特征提取及特征聚合后,由检测头得到可能包含行人、车辆目标的边界框坐标、置信度和类别概率,利用非极大值抑制去除冗余的检测框,产生最终的检测结果。