1.一种面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,包括如下步骤:
步骤S1:收集车辆行驶道路的检测数据集,将其划分为训练集、验证集和测试集,并对输入图像进行数据增强;
步骤S2:将数据集中的数据根据检测场景中的不同类型进行注释;
步骤S3:搭建多任务网络模型,构建损失函数,所述多任务网络模型包括:
特征提取编码器网络,所述特征提取编码器网络支持特征传播和特征重用,采用CSP‑Darknet结构提取输入图像的特征,生成包含多个尺度和多个语义级别信息的特征,设计构建多局部金字塔结构模块重构特征提取网络,通过局部小范围的拼接特征增强模型特征提取能力,帮助模型准确检测出图像中尺度不一致的目标;
特征融合网络,所述特征融合网络融合不同语义层次的特征,根据不同任务的特征需求,为检测分支分配特征图;用幻影卷积模块取代了普通卷积模块,设计构建联合动态卷积模块使动态卷积和幻影卷积并联执行,通过联合动态卷积模块重构特征融合网络;
目标检测解码分支,所述目标检测解码分支采用基于锚框的多尺度检测方案,根据数据集的边界框大小和图片目标大小的匹配度自适应设置锚框,预测位置的偏移量、缩放后的宽高、每个类别的概率值和对应的置信度,根据加权二进制交叉熵处理样本不平衡问题;
两个分割解码分支,所述两个分割解码分支设计了一种特征对齐策略,以两次上采样且特征融合后的单个特征图作为输入,结合不同链路的相同尺度特征图实现特征增强,有效判断每个像素是目标区域还是背景区域的概率;构建边缘细化模块,使模型获得更健壮的特征来关注细节层次的边界像素,从而使检测结果获得更清晰的边界轮廓;
步骤S4:根据不同需求选择不同训练方法训练多任务网络模型,迭代多轮后得到收敛的最佳模型;
所述不同训练方法包括道路信息同步检测法和单分支独立训练法,可以根据预定义设置模型同时训练多个任务,也可以对模型中的单分支任务进行训练;
步骤S5:加载最佳模型参数,输入待检测目标数据,获取模型检测结果和评估结果;
步骤S6:模型优化后导出;
通过将模型的参数设置为不可训练或固定参数的方式实现冻结模型,冻结模型后可以将其导出保存;也可以将最优模型根据应用设备转换为适合目标框架或设备的格式投入车辆检测应用。
2.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述步骤S1中的数据使用公开的BDD100K数据集以及数据标注,其中涵盖不同时间、不同天气条件和不同驾驶场景;
所述数据集中的车道线图像需要进行数据增强,数据增强包括:平移、旋转、垂直位移、Mosaic和Mixup策略。
3.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述特征提取编码器网络包括五个Conv + BN + SiLU层、四个CSP模块和一个多局部金字塔结构模块,其中Conv表示普通卷积,BN表示BN归一化,SiLU表示激活函数。
4.根据权利要求3所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述CSP模块将输入分给两个分支进行同步操作,上分支包括一个单独的Conv + BN + SiLU结构,一个3×3卷积核的卷积和多个残差结构模块,其中每个残差结构模块包含两个Conv + BN + SiLU结构;下分支包括一个3×3卷积核的卷积,上下分支拼接后再经过一层Conv + BN + SiLU结构完成该CSP模块的操作。
5.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述特征融合网络包括四个幻影卷积、四个联合动态卷积模块和两次上采样操作,将特征提取编码器的后三层特征图作为输入,将不同尺寸的特征图经过加工处理后转换为相同尺度,并进行拼接,将大感受野模糊特征图逐步拼接到小感受野清晰特征图中,有助于像素分类;而增大感受野,反向将小感受野特征拼接到大感受野特征中有助于大目标检测。
6.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述联合动态卷积模块包括三个普通卷积、两个幻影卷积和一个动态卷积。
7.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述两个分割解码分支结构以特征融合网络中经过两次上采样后拼接起来的特征图和特征提取网络的第二层特征图作为输入,两个尺度大小相同的特征图进行加和操作。
8.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述边缘细化模块包括两个卷积核大小为3×3的卷积、三层空洞卷积、一个卷积核大小为1×1的卷积、一层全局平均池化层和一个Sigmoid激活函数操作。
9.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法,其特征在于,所述损失函数包含车辆检测损失、可行驶区域分割损失和车道线分割损失;
车辆检测损失是分类损失、目标对象损失和边界框损失的加权和,可行驶区域分割损失使用交叉熵损失函数来缩小分割出的结果和真实标签之间的差异,车道线分割损失不仅有交叉熵损失还因其预测类别方面的有效性而具有额外的SIoU损失,模型的整体损失函数是三部分的加权和。