1.一种实时车辆检测方法,其特征在于,包括如下步骤:获取车载摄像头的视频数据,并逐帧切割成图像;
将所述图像尺寸调整为统一格式并输入训练好的改进的Swin‑Transformer网络模型,利用所述训练好的改进的Swin‑Transformer网络模型对所述图像进行特征提取和目标检测,生成车辆识别框和类别置信度,输出所述车辆识别框的位置坐标和类别置信度;根据所述车辆识别框的左上角与右下角XY位置坐标对所述图像中的车辆进行截取,得到所述车辆识别框中的单个车辆图像;对所述单个车辆图像进行灰度化处理,得到单个车辆图像的灰度图;将所述单个车辆图像的灰度图输入训练好的增量式宽度学习系统,利用所述训练好的增量式宽度学习系统对所述单个车辆图像的灰度图进行特征提取和分类预测,得到所述单个车辆图像的具体类别;
获得所述训练好的改进的Swin‑Transformer网络模型的方法包括:在现有的Swin‑Transformer网络模型的基础上,简化了子网络块的堆叠个数,使用2‑
4‑2堆叠策略,并将多头注意力机制中的Softmax激活函数更改为Relu函数,得到改进的Swin‑Transformer网络模型;
建立训练集和测试集,所述训练集和测试集中的图像包括车载摄像头拍摄到的不同时间、不同道路类型的图像;
利用所述训练集对所述改进的Swin‑Transformer网络模型进行训练,利用所述测试集对所述改进的Swin‑Transformer网络模型进行测试,利用损失函数调整所述改进的Swin‑Transformer网络模型的网络结构的参数,以得到训练好的改进的Swin‑Transformer网络模型;
将所述车辆识别框和所述单个车辆图像的具体类别逐帧映射回所述视频数据,得到实时车辆检测结果。
2.根据权利要求1所述的实时车辆检测方法,其特征在于,利用损失函数调整所述改进的Swin‑Transformer网络模型的网络结构的参数的方法具体包括:损失函数包括矩形框回归损失函数和置信度损失函数;
矩形框回归损失函数为:
其中,Lreg为矩形框回归损失值;R为:
其中,ti包含tx,ty,th,tw四个参数,其计算方法为:其中,x,y,w,h是预测框的中心坐标和宽高,xa,ya,ha,wa为锚框的中心坐标和宽高;
其中, 包含 四个参数,其计算方法为:
* * * *
其中,x,y,w ,h是真实标注框的中心坐标和宽高,xa,ya,ha,wa为锚框的中心坐标和宽高;
类别置信度损失函数为:
Ld为类别置信度损失值,m为样本个数,yi为第i个样本的真实值,y′为第i个样本的预测值;
利用所述矩形框回归损失函数和类别置信度损失函数计算预测的矩形框回归损失值和类别置信度损失值并相加,得到最终的损失值;得到最终损失值后,通过反向梯度传播算法来更新改进的Swin‑Transformer网络模型参数;当最终损失值趋于无穷小或满足指定的训练轮次后,预测的矩形框与真实框坐标和预测的类别置信度趋于相同,完成模型的参数调整,从而得到训练好的改进的Swin‑Transformer网络模型。
3.根据权利要求1所述的实时车辆检测方法,其特征在于,将所述图像输入训练好的改进的Swin‑Transformer网络模型,利用所述训练好的改进的Swin‑Transformer网络模型对所述图像进行特征提取和目标检测,生成车辆识别框和类别置信度,输出所述车辆识别框的位置坐标和类别置信度的方法具体包括:通过预处理过程对输入的所述图像进行调整放缩,将所述图像的尺寸统一调整为Ni×Mi×J,得到放缩后图像;其中,Ni代表图像的长度尺寸,Mi代表图像的宽度尺寸,J代表图像的RGB通道个数;
将放缩后Ni×Mi×J尺寸的图像输入改进的Swin‑Transformer网络中的卷积层,经卷积层提取到尺寸为Np×Mp×Jp的特征图,并将尺寸为Np×Mp×Jp的特征图进行展平,得到尺寸为NpMp×Jp的特征向量;
利用Swin‑Transformer中的多头注意力机制对所述尺寸为NpMp×Jp的特征向量进行特征融合,得到尺寸为NcMc×Jc的特征向量;
将得到的尺寸为NcMc×Jc的特征向量串行通过两个全连接层,随后再并行经过两个全连接层分别得到预测框的坐标与预测的类别置信度。
4.根据权利要求3所述的实时车辆检测方法,其特征在于,对输入的所述图像进行放缩,将所述图像的尺寸统一调整为Ni×Mi×J,得到放缩后图像的方法具体包括:输入的所述图像的原始尺寸为N×M×J,其中N代表图像的原始长度尺寸,M代表图像的原始宽度尺寸,J代表图像的通道数量;
计算自适应缩放的比例,所述图像的原始尺寸为N×M,自适应缩放的原始目标尺寸为N1×M1,缩放系数Z1,Z2通过如下公式计算;
当Z1<Z2时,选择Z1作为最终的缩放系数Z;当Z1≥Z2时,选择Z2作为最终的缩放系数Z;
计算自适应缩放后的尺寸,使用原始图像的长宽和缩放系数Z相乘得到待填充图像的长宽N2和M2;
当N2=N1时,选择M2作为待填充位置;当N2≠N1时,选择N2作为待填充位置;
计算黑边填充数值,以M2作为待填充位置为例,计算原本需要填充的高度,再计算图片两端需要填充的数组a,将数组a填充到图片两端来得到最终缩放后的图像;图像缩放后的尺寸Ni和Mi的计算方法如下:Ni=N1=N2
5.根据权利要求1所述的实时车辆检测方法,其特征在于,获得所述训练好的增量式宽度学习系统的方法具体包括:建立训练集和测试集,所述训练集和测试集中的图像包括多张不同类别的单个车辆的图像的灰度图;
利用所述训练集对所述宽度学习系统进行训练,利用所述测试集对所述宽度学习进行测试,使用增量学习策略对所述宽度学习系统进行优化,以得到训练好的增量式宽度学习系统。
6.根据权利要求5所述的实时车辆检测方法,其特征在于,利用所述训练集对所述宽度学习系统进行训练的方法具体包括:将训练集中单个车辆的图像的灰度图X作为所述宽度学习系统的输入;其中,X是一个R*E的矩阵;R代表输入数据的样本数量,E代表每个样本数量的维数;
s
将X在宽度学习系统中进行特征映射,并得到全部映射特征Z;其中,用如下公式对输入数据X进行非线性特征映射Z:其中, 和 均为随机生成的矩阵;将得到s个不同的Z组合起来得到s组特征节点,sZ=[Z1,Z2,Z3,...,Zs],代表通过网络映射从输入X中提取的全部映射特征;
l
根据Zs,随机生成的矩阵 和 计算对应的增强节点H;
用如下公式计算增强节点H;
和 依然是我们随机生成的矩阵,通过上式我们得到的Hj也是矩阵形式,将不同1
的H组合在一起我们可以得到最终的一组增强节点H=[H1,H2,H3,...,Hl],它代表我们从映射特征中得到的所有增强节点;
s l
将映射特征Z 和增强节点H合并在一起成为一个矩阵,将合并后矩阵和送入宽度学习系统计算输出Y;
Y是一个R*P的矩阵,P代表样本的类别数量;
s l
将映射特征Z和增强节点H合并后矩阵与网络连接的权值相乘就可以得出最后的输出Y;
输出Y的表达式为:
s l
Y=[Z|H]W=PW (9)
s l s 1
其中P为Z和H合并后的矩阵P=[Z|H],W作为连接网络的权重,它可以表示为:T ‑1
其中,γ→0,I为单位矩阵,limγ→0(γI+PP) PT计算矩阵P的伪逆(matrix),P的伪逆乘以输出矩阵Y得到网络的连接权重W,将计算得到的代入(9)中即可得到网络最终的输出Y,通过Y中包含的所有车辆类别的类别置信度,选取类别置信度最高的车辆类别作为最终的车辆具体类别。
7.根据权利要求6所述的实时车辆检测方法,其特征在于,使用增量学习策略对所述宽度学习系统进行优化的方法具体包括:添加新的增强节点,再次随机生成矩阵 和 计算对应的新增加的增强节点Hj+k,其中Hj+k的计算公式为:
l+1
其中,j为宽度系统原始增强节点数量,不断的增加新的增强节点,最终得到H =[Hj+1,Hj+2,Hj+3,...,Hj+k],k=1,2,3,...,其代表了新增加的一组增强节点;
l+1 s 1 s
将新增加的增强节点H 与映射特征Z 和增强节点H合并,得到新的矩阵,其表示为[Z
1 l+1
|H,H ],这里将新增加的一组增强节点合并入原始的合并矩阵中;
将新合并的矩阵送入并更新宽度学习系统,计算输出Y′,其Y′的表达式如下:s l l+1
Y′=[Z|H,H ]W′=P′W′ (12)s l l+1 s l l
其中P′为映射特征Z,增强节点H 和新增加的增强节点H 合并后的矩阵P=[Z |H,H+1],W′作为连接网络更新后的权重;
由于模型增加了新的节点,需要对权重W重新优化,训练新增加的增强节点的权重来得到更新后的权重W′,权重W′的表达式如下:s l T
其中D为新增加的增强节点与[Z|H]的伪逆相乘,B表示为:m s l
其中A为[Z|H],C表示为:
l+1 m
C=H ‑AD (15)
通过式(13)、(14)和式(15)可以计算得到更新后的权重W′,将权重带入式(12)就可以求出更新后的最终输出Y′,随后选取Y′中类别置信度最高的车辆类别作为最终输出的车辆具体类别。
8.根据权利要求1所述的实时车辆检测方法,其特征在于,将所述车辆识别框和所述单个车辆图像的具体类别逐帧映射回所述视频数据,得到实时车辆检测结果的方法具体包括:利用所述车辆识别框和所述单个车辆图像的具体类别对所述图像进行标记,得到标记后的图像;
将标记后的图像进行逐帧合并,合成视频并返回显示系统中。