1.一种基于多源特征融合的视频车道线检测方法,其特征在于,包括以下步骤:S1.构建大雾天气车道线检测数据集VIL‑hazing67;
S2.构建相位分支模块,相位分支通过相位编码器提取数据集中视频当前帧经快速傅立叶变换得到相位图特征,使用空间注意力模块将相位图特征细化为相位‑去雾特征和相位‑车道线检测特征;具体步骤如下:S2‑1.相位分支模块中的相位编码器提取当前帧 经快速傅立叶变换得到相位图 的相位特征 ,公式表示如下:,
,
其中, 表示快速傅立叶变换, 表示相位编码器;
S2‑2.相位特征 经过相位分支模块中的两个空间注意力模块分别得到相位‑去雾特征 和相位‑车道线检测特征 ,公式表示如下:,
,
其中, 表示相位分支模块中用于获得相位‑去雾特征 的空间注意力模块,表示相位分支模块中用于获得相位‑车道线检测特征 的空间注意力模块;
S3.构建颜色‑去雾分支模块,颜色‑去雾分支提取当前帧的颜色‑去雾特征,并将其与所述相位‑去雾特征进行拼接和降维,将降维后的相位‑去雾特征分解为颜色‑去雾‑去雾特征和颜色‑去雾‑车道线特征;具体步骤如下:S3‑1.颜色‑去雾分支模块中的编码器提取当前帧 的原始颜色‑去雾特征 ,所述原始颜色‑去雾特征 经过颜色‑去雾分支模块中的空间注意力模块得到的颜色‑去雾特征 ,公式表示如下:,
,
其中, 表示颜色‑去雾编码器, 表示颜色‑去雾分支模块中的空间注意力模块;
S3‑2.将所述相位‑去雾特征 和颜色‑去雾特征 进行拼接,得到拼接特征,使用1×1的卷积核对所述拼接特征进行降维,得到降维后的特征 ,公式表示如下:其中, 表示特征拼接操作, 表示卷积核为 的卷积操作;
S3‑3.将降维后的特征 分解为颜色‑去雾‑去雾特征 和颜色‑去雾‑车道线特征;
S4.构建颜色‑车道线分支模块,颜色‑车道线分支提取过去n帧有序视频序列的特征并拼接,使用1×1卷积对进行融合和降维,最后将空间注意力模块应用于该融合和降维后的特征,得到颜色‑车道线特征;
S5.构建掩码自注意模块,通过掩码自注意模块用所述相位‑车道线检测特征和所述颜色‑去雾‑车道线特征来增强所述颜色‑车道线特征,进而得到车道线检测结果。
2.根据权利要求1所述的基于多源特征融合的视频车道线检测方法,其特征在于,步骤S1具体包括:S1‑1.根据现有公开数据集VIL‑100,所述VIL‑100共有100个视频,包含晴天、阴天、夜晚、大雾和拥挤交通等不同的场景,去除VIL‑100中有明显阴影的场景,然后去除3个没有无雾场景标签的有雾场景,得到符合条件的67个视频;
S1‑2.构建大气散射模型,通过robust_cvd方法获得所述67个视频场景的深度图,对所述深度图中的每个干净视频通过调整大气散射模型中的环境光A和散射因子β生成不同浓度的有雾视频,得到最终的VIL‑hazing67数据集,所述环境光A和散射因子β分别设置在[1.0,1.5]和[1.8,2.4]之间。
3.根据权利要求2所述的基于多源特征融合的视频车道线检测方法,其特征在于,步骤S4包括以下具体步骤:S4‑1.颜色‑车道线分支模块中的编码器提取过去n帧有序视频序列的相邻特征,并将相邻特征顺序地拼接到一起,得到过去n帧有序视频序列的拼接特征 ,公式表示如下:,
,
,
,
其中, 表示颜色‑车道线编码器, 表示特征拼接操作;
S4‑2.使用1×1的卷积核对所述过去n帧有序视频序列的拼接特征 进行融合,并降维得到特征 ,公式表示如下:,
其中, 表示卷积核为 的卷积操作;
S4‑3.所述特征 经过颜色‑车道线分支模块中的空间注意力模块得到颜色‑车道线特征 ,公式表示如下:,
其中, 表示颜色‑车道线分支模块中的空间注意力模块。
4.根据权利要求3所述的基于多源特征融合的视频车道线检测方法,其特征在于,步骤S5包括以下具体步骤:S5‑1.将所述相位‑车道线检测特征 、颜色‑去雾‑车道线特征 和颜色‑车道线特征 作为掩码自注意模块模块的输入特征;
S5‑2.所述输入特征经过掩码自注意模块模块动态的自适应的生成S个tokens,记为[];
S5‑3.根据颜色‑车道线特征 内在的自相似性、 和 以及 和 之间跨模态的相似性,掩码Mask设置为: ,进行相似度的计算,然后得到由S个tokens组成的特征,公式表示如下:,
其中, = ;
S5‑4.将所述S个tokens组成的特征输入到修改后的TokenFuser模块中进行复原,得到复原后的特征;
S5‑5.将复原后的特征送入解码器进行车道线结果的预测。
5.根据权利要求4所述的基于多源特征融合的视频车道线检测方法,其特征在于,步骤S5‑4所述修改后的TokenFuser模块,去掉了TokenFuser模块中线性层之前和之后的层归一化操作。