1.一种基于改进fasterR‑CNN的物流车辆特征定位的方法,包括如下步骤:步骤一,物流车辆图像增强处理;
引入数据增强的手段,通过按照多尺度等比例缩放、图像旋转和增强饱和度的操作对物流车辆图像进行处理,从而增加其场景多样性,以便用于进一步的识别定位;
1.1)对物流车辆进行多尺度等比例缩放操作;
本着不破坏原始图像中物流车辆特定长宽高比例的原则,对物流车辆图像进行多种尺度的缩放,使得定位网络能够学习到特定比例的目标特征;
假设某物流车辆缩放前的像素坐标记为A0(x0,y0),缩放后的坐标记为A1(x1,y1),则A0与A1满足关系式:(x1,y1)=(μx0,μy0) (1)其中,μ表示缩放因子;上式对应于图像缩放矩阵中,表示为如下矩阵:其中,当μ>1时,表示图像放大操作;当μ<1时,表示图像缩小操作;
1.2)对物流车辆图像进行旋转操作;
由于摄像头拍摄快速行驶中的物流车辆时,会导致抓拍到的图像角度差异极大的现象,为了适应不同角度的识别定位,须将抓取获得的物流车辆图像进行旋转变换,从而产生多种角度的车辆特征信息;
设定物流车辆图像的中心作为旋转中心O(0,0),其逆时针旋转角度记为θ,当图像中的任意一像素点P(x,y)经过旋转变换后变为P1(x1,y1),则通过下式来表示旋转过程:上式为极坐标变换公式,对应于图像旋转矩阵中,表示为如下矩阵:
1.3)对物流车辆图像进行饱和度增强操作;
为了增加数据样本的多样性,使得特征定位网络能够适用于复杂光照环境,对物流车辆图像的饱和度进行调整;
调整图像饱和度的具体流程如下:
(S1)计算物流车辆图像上的像素点极值;
其中,rgbMax表示像素最大值,rgbMin表示像素最小值;
(S2)饱和度计算;
饱和度S计算公式如下:
delta=(rgbMax‑rgbMin)255 (6)value=(rgbMax+rgbMin)/255 (7)L=value/2 (8)(S3)调整物流车辆图像饱和度;
设定一个饱和度参数β用以调整光照强度,其计算流程如下所示:
1.若参数β≥0,则先求出中间变量 的值:
更新 的值:
调整饱和度:
2.若参数β<0,则:
将经过缩放处理、旋转操作及饱和度增强的物流车辆图像应用到如下步骤,以便对物流车辆特征进行精确的定位;
步骤二,构建基础网络模型;
采用VGGNet‑16基本网络作为特征提取网络,用于对不同车型的物流车辆进行分类;同时为了实现对物流车辆的定位,在VGGNet‑16的第五个卷积层第三个卷积分层中的特征提取模块后加入了一个RPN网络的目标检测定位模型;
构建基础网络模型的步骤如下:
(T1)第一阶段:首先输入经过步骤一处理的W*H*3大小的图像;然后经过两个连续的64通道的卷积层对物流车辆图像进行卷积操作,其卷积核大小为3*3、卷积步长为2;随后,经过一个64通道的最大池化层对卷积后的图像进行降维,其池化核大小为2*2,步长为2;此阶段输出一张 大小的特征图;
(T2)第二阶段:流程与第一阶段相同,即将第一阶段得到的图像输入至第二阶段网络中,然后经过卷积、池化操作得到新的特征图;但与第一阶段不同的是第二阶段的卷积和池化通道均变为128,其他参数均与第一阶段相同;
(T3)第三阶段:首先将第二阶段输出的图像输入至第三阶段的网络中;然后经过三个连续的256通道的卷积层对该图像进行卷积操作,其卷积核大小为3*3、卷积步长为2;随后,经过一个256通道的最大池化层对卷积后的图像进行降维,其池化核大小为2*2,步长为2;
(T4)第四阶段:流程与第三阶段相同,即将第三阶段得到的图像输入至第四阶段网络中,然后经过卷积、池化操作得到新的特征图;但与第三阶段不同的是第四阶段的卷积和池化通道均变为512,其他参数均与第三阶段相同;
(T5)第五阶段:该阶段由三个卷积层组成,每个卷积层有512个通道,其卷积核大小为
3*3、卷积步长为2;在此阶段输出的特征图大小为 (T6)第六阶段:首先连接一个卷积核大小为3*3、卷积步长为2、卷积通道为512的卷积层;然后连接一个二分类损失函数和一个边框回归损失函数,回归判定属于物流车辆或背景的边框信息和分类信息,其中分类信息即图像展示的物流车辆最有可能为某种车型的概率;
(T7)第七阶段:首先连接两个4096通道的全连接层;然后连接一个总的损失函数;最后输出精确的物流车辆定位边界框及其对应车型的概率;
在上述基础网络结构中,涉及到激活函数、损失函数的参数的设计,具体包括:(P1)在VGGNet‑16基本网络中,关于全部卷积层后连接的激活函数,均使用ReLu激活函数:ReLu(x)=max(0,x) (14)(P2)在第六阶段中,使用到分类损失函数和边框回归损失函数:分类损失Lrpn_cls表示为:
其中,pi表示边框为物流车辆或背景的概率; 表示边框所对应真实框为物流车辆或背景的概率,若为前景则记为1,否则记为0;
边界框回归损失Lrpn_box表示为:
其中,ti代表预测边框i的四维位置信息,记为ti(xi,yi,wi,hi);代表真实框的四维位置信息,记为 函数表示如下:(P3)在第七阶段中,总的损失函数设计原则为:边框回归损失采用逻辑回归映射的方法;分类损失采用梯度下降法;在损失函数下降过程中,使用Adam梯度下降法对其进行优化,其对应的参数设定为α=0.001、β1=0.9、β2=0.999及ε=10E‑8;
(P4)在训练过程中,学习速率调整策略采用多阶段衰减的方法;
步骤三,使用非极大值抑制算法对物流车辆目标的筛选;
物流车辆图像经过步骤二的基本网络模型处理后得到的同一物流车辆上的边界框有多个,因此需要引入一种方法对多余的边界框进行筛除;其具体操作流程如下:(Q1)根据预测边界框的四维位置信息(xi,yi,wi,hi)可以求得物流车辆图像中每辆车的所有预测边框的面积Si;
Si=wi*hi (18)(Q2)在基本网络模型的第六阶段,经过回归判定出属于物流车辆或背景的边框信息和分类信息;对于每一辆真实的物流车辆其对应的边界框有多个,对其按照概率从大到小进行排序,并筛选出概率最大的一个边界框;
(Q3)循环计算筛选出的边界框与其余边界框的面积交并比I,如若I大于预设的阈值,则认定该边界框与步骤(Q2)中筛选出的边界框重度重合,然后将其删除即可,直至将步骤(Q2)中所有的边界框处理完毕为止;
当且仅当满足条件
时,交并比I的计
算公式为:
当且仅当满足条件
时,交并比I的计
算公式为:
上述式(19)‑(20)及其约束条件中的下标均可由 同时必须 以式(19)中的约束为例,其变为如下形式:
如若式(19)中的约束改变为式(21)的形式,则其式(19)中的下标也必须做相应的改变;
当式(19)及式(20)中的约束条件均满足时,交并比I的计算公式为:否则,I=0,也就意味着两个边界框不相交,则都保留;
式(19)‑(22)中,max代表最大边界框,其面积记为Smax;oti代表其余任意一个边界框,其面积记为Soti;两个边界框之间的交叉面积记为Sovp;
(xmax,ymax,wmax,hmax)表示筛选出的最大边界框的四维位置信息,即中心坐标、框宽及框高;(xoti,yoti,woti,hoti)表示其余任意一个边界框的四维位置信息;
步骤四,对物流车辆目标特征进行统一归一化;
为了解决因非极大值抑制后的边界框边特点不同所导致后续连接层维度不匹配的问题,在第六阶段的损失函数之后,连接了一个感兴趣区域池化层,对边特点不同的边界框进行统一的归一化;其具体操作流程如下:(M1)将步骤三所得物流车辆图像上的边界框四维位置信息量化为整型数组坐标;
(M2)将量化后的边界框平均分割成4*4、2*2、1*1的最大池化,形成固定长度的数据维度;
将得到的固定维度数据的特征图传入到基本网络模型的第七阶段即可求得精确的物流车辆定位边界框及其对应车型的概率。
2.如权利要求1所述的一种基于改进faster R‑CNN的物流车辆特征定位的方法,其特征在于:步骤(Q3)所述的面积交并比I的阈值为0.7。
3.如权利要求1所述的一种基于改进faster R‑CNN的物流车辆特征定位的方法,其特征在于:步骤1.1)中设置缩放因子μ=0.84,且当短边像素小于100pix时,停止缩放。