利索能及
我要发布
收藏
专利号: 2019111734745
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Faster R‑CNN改进算法的车辆检测方法,包括如下步骤:A1,采集车辆数据集,车辆数据集包含物体Ground Truth框即GT框的多幅图像I,物体* * * * * * * *对象为车辆,GT框数据为(c ,x ,y ,w ,h),c表示GT框内物体的类别,x ,y分别表示GT框内* *中心点的x坐标和y坐标,w,h分别表示GT框的高和GT框的宽;

A2,使用维度聚类方法对GT框的宽和高进行聚类,生成聚类后的锚框宽和高的尺寸;

所述A2具体为:

A2‑1,聚类输入的原始数据是GT框数据,数据中每行都包含 j∈(1,

2,…,N), 是GT框的中心点, 分别是第j个GT框的宽和GT框的高,j表示GT框的序数,N是所有GT框的个数;

A2‑2,首先初始化k个聚类中心即centroid(Wi,Hi),i∈(1,2,…,k),k即为需要生成的锚框个数,Wi和Hi分别是聚类中心的宽和高的尺寸,i表示锚框的序数;

A2‑3,通过计算GT框与聚类中心的距离,把GT框划分到与之最近的一个簇中,计算GT框box与聚类中心距离d时,选用两者之间的交并比值作为距离指标,距离计算公式为:d(box,centroid)=1‑IOU(box,centroid);

A2‑4,所有GT框划分完毕后,对每个簇重新计算聚类中心,更新聚类中心的值(Wi,Hi),更新为当前簇中的所有GT框的宽和GT框的高的均值,计算方式为Na是第a个簇的GT框个数,a表示簇的序数;Wi′为当前簇中的所有GT框的宽的均值,H′i为当前簇中的所有GT框的高的均值;

A2‑5,重复A2‑3和A2‑4步骤,直到聚类中心改变量收敛,得到k个聚类中心(Wi,Hi),即得到k个锚框的宽和高的尺寸;

A3,特征融合:将图像I输入到基本单元为深度可分离卷积的轻量级卷积网络MobileNet中进行特征提取得到不同尺度的特征图,将不同尺度的特征图相融合;

A4,利用A3中得到的特征图,输入到RPN网络进行候选框预测;

A4‑1,用滑动窗口在A3中得到的特征图上进行卷积,滑动窗口的中心为锚点,以每个锚点作为框的中心且以A2中获得的锚框的宽和高的尺寸作为框的尺寸,生成若干个框并将每个框作为一个锚框,每个滑动窗口卷积后生成一个固定维度的特征;

A4‑2,将A4‑1中生成的特征输入到两个全连接层,一个全连接层输出是图像中车辆的预测概率p,另一个全连接层通过边框回归的方法输出候选框及其相对于锚框的位置偏移量t;

*

A4‑3,标签和偏移量设定:锚框的真实值标签设为p ,将不同尺寸的锚框,通过计算锚框*和GT框之间的交并比,根据交并比确定锚框为正样本还是负样本而设置真实值标签p ;把*标定为正样本的锚框与GT框之间的偏移量设为t;

A4‑4,建立预测网络模型的损失函数;

A4‑5,基于A4‑2中得到的预测概率p,对候选框按照预测概率p按由高到低的顺序进行排序,输出排序高的若干候选框;

A5,利用A3中得到的特征图和A4‑4中得到的候选框输入到检测网络中进行检测;

所述A5具体为:

所述的检测网络由ROI Pooling层和全连接层构成,首先将A3中得到的特征图和A4‑5中得到的候选框输入到ROI Pooling层,将每个候选框映射到特征图中,得到每个候选框对应特征图中的候选区域,经过ROI Pooling层将特征图上大小不一的候选区域转变为大小统一的特征向量,送入到两个全连接层,一个全连接层是对候选框的内容进行分类,并计算出候选框在该分类下的类别置信度;另一个全连接层是对候选框进行边框回归,调整候选框的坐标,以更好的逼近目标,最后输出候选框的类别置信度分数及其候选框的位置坐标;

A6,重复步骤A3~A5,将图像I输入到由RPN网络和检测网络组成的Faster R‑CNN改进模型中,通过梯度下降最小化损失函数进行训练,使得预测的候选框和GT框相匹配;针对未知物体GT框的待测图像,输入到训练后的Faster R‑CNN改进模型中,得到候选框的类别置信度分数及其候选框的位置坐标,作为车辆物体的检测结果。

2.根据权利要求1所述的一种基于Faster R‑CNN改进算法的车辆检测方法,其特征是:所述A3具体为:

A3‑1,特征提取网络是MobileNet,对输入图片进行多次卷积和池化操作,将最大尺度特征图通过池化减小维度,将最小尺度特征图通过反卷积增大维度;

A3‑2,将处于尺度最大、中间和最小的特征图进行特征叠加融合。

3.根据权利要求1所述的一种基于Faster R‑CNN改进算法的车辆检测方法,其特征是:所述A4‑3中,当锚框与GT框的交并比大于0.7或者锚框与GT框的交并比为最大值时,认为该*锚框为物体,标签p为正样本;当锚框与GT框的交并比小于0.3时,认为该锚框为背景,标签*p为负样本。

4.根据权利要求1所述的一种基于Faster R‑CNN改进算法的车辆检测方法,其特征是:所述步骤A4中,建立预测网络模型的损失函数,损失函数是由分类损失函数和回归损失函数组成;

分类损失函数为:

其中,i是锚框的索引,pi是第i个锚框是物体的预测概率, 是第i个锚框的真实值标签,Lcls是分类损失,Ncls为分类样本数量;

回归损失函数为:

其中,ti是预测候选框与锚框的偏移量,是GT框与锚框的偏移量,Nreg为偏移量的数据总数,Lreg是回归损失, R表示具有鲁棒性的Smooth L1损失函数;

总损失函数为:

其中,λ为比例系数。