利索能及
我要发布
收藏
专利号: 202510190179X
申请人: 石家庄铁道大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于包括如下步骤:

S1:获取车道线检测数据集,并输入到骨干网络中获取网络后三层级的特征图,表示为Fi,其中i表示特征的层级, ;

S2:利用多尺度协同增强模块,对不同层级的特征图通过一个自上而下的空间补偿路径与一个自下而上的语义填充路径进行空间信息增强和语义信息交互聚合,改善特征网络所提取特征图的特征信息,该模块包含由GSConv卷积层构建的软性上采样组合子模块SUpCom和用于特征提取的GSConv卷积组合子模块GSConvCom;

所述自上而下的空间补偿路径将特征图 通过软性上采样组合子模块SUpCom将尺寸调整至特征图 大小并与特征图 进行通道拼接对多尺度信息进行建模获得特征图 ,调整至特征图 大小获得特征图 来补充传播中丢失的语义信息,将特征图 通过GSConv卷积组合子模块GSConvCom提取聚合后的多尺度特征信息并通过软性上采样组合子模块SUpCom将调整至特征图 大小并与特征图 和特征图 进行通道拼接生成特征图 ,从而在保留高层级语义信息的同时,增强了低层级特征的细节信息;自下而上的语义填充路径将特征图 通过GSConv卷积组合子模块GSConvCom捕获更多上下文和语义信息,从而得到特征图 作为第三层级的特征输出并向上传递;将特征图 通GSConv卷积生成的特征图与经过GSConv卷积组合子模块GSConvCom生成的特征图 进行通道拼接并生成特征图,将特征图 通过GSConv卷积组合子模块GSConvCom得到的特征图 作为第四层级的特征输出并往上传递,将特征图 ,特征图 ,特征图 通过GSConv卷积捕获到丰富的空间信息并与特征图 进行通道拼接生成特征图 ,将特征图 经过GSConv卷积组合子模块GSConvCom生成的特征图 作为最后层级的特征输出,实现语义信息向底层的逐级传递;

S3:利用混合场景语义补偿模块,通过自适应路由选择传播路径并通过递进补偿提取层提取补偿语义信息,并与改善后的特征图进行融合,以增强不同场景下的特征鲁棒性,提高特征图的场景适应能力,该模块包含自适应路由子模块和递进补偿提取层子模块;

S4:将改善场景鲁棒性效果后的特征传入到边界校正引导模块,通过空间与通道维度进一步关注特征中重要信息,细化车道线特征信息,改善车道线边界检测效果,该模块包含改进空间注意力子模块与通道注意力子模块;

S5:将细化后的不同层级特征图通过检测头Ha,其中a表示特征的层级, ,并将预制的先验车道锚Pc,其中c表示优化次数, ,传递给第一个检测头H1;

S6:通过逐级向下调整先验车道锚Pc参数,最终,先验车道锚经过最后一个检测头的调整后输出优化后的锚P3,作为车道线的预测输出结果。

2.如权利要求1所述的基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于,利用所述的多尺度协同增强模块对提取的不同层级的特征图进行空间信息增强和语义信息交互聚合;所述多尺度协同增强模块,包含基于GSConv卷积层构建的软性上采样组合子模块SUpCom,GSConv卷积组合子模块GSConvCom和搭建的自上而下的空间补偿路径和自下而上的语义填充路径组成,从而得到包含更丰富语义和细节特征信息的特征图;所述GSConv卷积层通过标准卷积层Conv捕获图像特征,并对特征图进行通道划分,获得特征图X1和X2,随后分别对特征图X1进行卷积和X2进行通道关系建模,而后将特征图进行通道拼接与通道重排;所述软性上采样组合子模块SUpCom包含C3k2,C2fGS2和SNI子模块,其中C3k2为C3k卷积层替代C2f中的Bottleneck模块的卷积层,C2fGS2为GSConv卷积层替代C2f中的Bottleneck模块的卷积层,SNI为上采样层与影响因子的加权,能够有效的保留梯度信息并交互不同层级的特征信息避免上采样过程中的特征丢失;所述GSConv卷积组合子模块GSConvCom包含C3k2卷积层和C2fGS2卷积层子模块。

3.如权利要求1所述的基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于,所述的混合场景语义补偿模块,包含自适应路由子模块与递进补偿提取层子模块,通过自适应路由输出样本合适的路径权值,加权到递进补偿提取层子模块所提取的特征图上,从而得到丰富的场景特征信息来改善场景鲁棒性效果。

4.如权利要求1所述的基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于,所述的边界校正引导模块,通过改进空间注意力机制、引入通道注意力机制来有效地优化特征细节信息。

5.如权利要求3所述的基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于,所述混合场景语义补偿模块用于改善不同场景下的上下文与语义信息弥补特征提取过程中丢失的特征信息;自适应路由,将输入特征图 通过卷积层进行特征提取并结合通道注意力CA对特征进通道建模生成多尺度特征 ,以增强特征间的全局关联性;

随后,通过全局平均池化GAP、线性映射Linear与均匀噪声Noise处理,生成特征选择的概率输出 ,其中n表示块数, ,以确定最优的语义补偿路径;所述语义补偿路径为递进补偿提取层,包括两个共享块 ,其中m表示层数, 和多个独立块 ,其中K表示块数,m表示层数, , ,以构建两层递进式增强机制;第一层包含一个共享块 ,和若干独立块 ,其中1表示第一层,K表示块数, ,包含K组由CBR和C3k2组成的残差块,第二层包含一个共享块 和若干独立块 ,其中K表示块数,,包含一组CBR和C3k2组成的卷积块;将输入特征图通过第一层获得不同深度的特征图 ,其中下标bi表示第i个block块,上标1表示第一层,并将不同深度的特征图进行通道拼接,而后与共享块所提取的特征信息 进行特征相加得到特征信息 ,以增强不同路径的基础特征,并补偿其他不同深度路径的信息丢失;将第一层所提取的特征信息传递给第二层来捕获多尺度的特征信息,由 表示,并与自适应路由所生成的路径概率加权融合,从而获得样本相关性最高的补充语义信息Z。

6.如权利要求4所述的基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于,所述边界校正引导模块用于细化车道线特征信息,改善车道线边界检测效果;改进空间注意力机制,将输入特征图 通过通道划分成r组,将每组的特征图,记作 ,其中r表示组数,通过一个 轴平均池化分支和一个 轴平均池化分支,而后对两个分支的输出,记作 与 ,其中x表示X轴方向或水平方向,y表示Y轴方向或垂直方向,进行通道拼接,生成具有水平维度和垂直维度的特征图,并通过多核一维卷积模块提取重要空间特征,将所提特征拆分并恢复至水平维度和垂直维度特征图形状,并通道拼接每组的特征图后经过Sigmoid层获得水平维度和垂直维度的空间权重,而后与输入特征图进行点乘获得水平方向和垂直方向上空间增强后的特征图X2;将输入特征图X通过3×3卷积层生成特征图S并与经过组归一化GroupNorm和全局平均池化GAP后的特征图X2进行乘积获得空间权重W1;将经过组归一化GroupNorm后的特征图X2与经过全局平均池化GAP的特征图S进行乘积获得空间权重W2;将空间权重W1与空间权重W2进行相加并通过Sigmoid获得叠加空间权重,而后加权到特征图X2生成空间增强后的特征图T,从而通过跨空间交互增强网络对不同空间位置之间的相关性;引入通道注意力机制,将输入特征X通过幻影卷积层GhostConv获得通道维度的响应并通过部分自注意力机制PSA对通道关系建模生成通道维度的注意力权重并逐通道加权到特征图中生成经过通道关注的特征图C,而后将通过空间和通道维度关注的特征图相加生成最终的特征图Q。

7.如权利要求1所述的基于多尺度协同增强和语义补偿的复杂环境车道线精准检测方法,其特征在于,训练好的车道线检测网络的训练步骤包括:

构建车道线检测网络;

构建训练集,所述训练集为视频帧序列及其车道线真值坐标序列;

将训练集输入到车道线检测网络中,进行训练;

车道线检测网络输出车道坐标预测序列;

将预测序列与真值坐标序列计算差异并反向传播;

当损失值达到最小时,模型收敛,停止训练,得到训练好的车道线检测网络。