利索能及
我要发布
收藏
专利号: 202210012751X
申请人: 中南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法,其特征在于包括以下步骤:

(1)获取数据集与对应标签,具体包括以下步骤:(1‑a)从自动驾驶图像公开数据集获取道路图像作为正样本,从自然场景图像公开数据集获取非道路图像作为负样本,组成分类样本数据集,并制作对应的二分类标签;

(1‑b)获取自动驾驶图像公开数据集,从其原始标签中提取出可行域边界标注信息,制作对应的分割标签;

(2)训练集数据处理,具体包括以下步骤:(2‑a)对步骤(1‑a)获取的数据集图像缩放后进行随机裁剪与水平翻转;

(2‑b)对步骤(2‑a)获取的图像采取底部裁剪策略,将图像高度裁剪为m像素大小,其中m为正整数,取值范围为[20,224];

(2‑c)将步骤(2‑b)获取的图像进行归一化操作;

(3)构建道路分类模型,具体包括以下步骤:(3‑a)构建分类基础网络,共包括五组卷积层,将步骤(2)得到的训练集图像依次经过c

这五组卷积层,得到高语义特征图X ;第一组卷积层包括一个卷积模块;第二、三组卷积层各包括三个残差卷积模块,每个残差卷积模块内包括三个卷积模块;第四组卷积层包括六个残差卷积模块,每个残差卷积模块内包括三个卷积模块;第五组卷积层包括五个膨胀卷积残差模块,第一、二、三个膨胀卷积残差模块内包括一个卷积模块和两个膨胀卷积模块,第四个和第五个膨胀卷积残差模块内包括三个卷积模块和一个膨胀卷积模块;

(3‑b)在步骤(3‑a)描述的分类基础网络之上,增加目标分类模块,目标分类模块包括c

一个全局平均池化模块和一个1×1卷积模块,将步骤(3‑a)得到的高语义特征图X作为目c

标分类模块的输入;全局平均池化模块的作用是对X各特征通道进行空间信息压缩,其输c c

出为特征向量V ,1×1卷积模块的作用是进行维度变换,利用分类权重矩阵W将V特征空间映射到类别标签空间;

(4)训练道路分类模型:

利用步骤(2)得到的训练集数据训练步骤(3)构建的道路分类模型,使用交叉熵作为分类模型的损失函数得到损失值,并使用随机梯度下降算法优化分类模型每一层的模型参数,更新分类权重矩阵W,直到损失值不再下降,得到训练好的道路分类模型;

(5)获取道路全局空间权重,具体包括以下步骤:(5‑a)生成类别空间权重图,将步骤(1‑b)获取的自动驾驶图像输入到步骤(4)得到的训练好的道路分类模型中,自动驾驶图像通过步骤(3‑a)构建的分类基础网络得到高语义s

特征图X ,并与步骤(4)中学习到的分类权重矩阵W进行通道加权求和,获取自动驾驶图像对于每个类别的类别空间权重图;

(5‑b)对步骤(1‑b)获取的自动驾驶图像进行超像素分割;

(5‑c)对步骤(5‑a)获取的类别空间权重图进行归一化操作并上采样到输入图像大小,将步骤(5‑b)得到的超像素分割结果映射到可行域类别的类别空间权重图上,对超像素内部各像素的权重进行平均,获取道路全局空间权重;

(6)提取超像素区域级特征,具体包括以下步骤:(6‑a)构建特征提取器,其中共包括八组卷积层,步骤(1‑b)获取的自动驾驶图像依次

1 2

经过八组卷积层,在第七、八组卷积层分别输出得到中间特征图F 、F ;第一组卷积层包括一个卷积块和一个残差卷积模块,第二组卷积层包括一个残差卷积模块,第三、四、五、六组卷积层各包括两个残差卷积模块,第七、八组卷积层各包括一个膨胀卷积残差模块;其中的所有卷积层中残差卷积模块都包括三个卷积模块,膨胀卷积残差模块都包括一个卷积模块和两个膨胀卷积模块;

1 2

(6‑b)将步骤(6‑a)得到的中间特征图F 和F 上采样到原图大小,通过拼接操作得到密des des

集特征图F ,利用步骤(5‑b)得到的超像素分割结果对F 进行超像素池化,提取每个超像素的区域级特征;

(7)融合空间先验和区域级特征的自适应加权聚类:基于步骤(5‑c)获取的道路全局空间权重与步骤(6‑b)提取的超像素区域级特征,进行自适应加权聚类,得到可行域掩膜;

(8)车辆可行域图像分割:

通过步骤(1‑b)得到的自动驾驶图像,使用步骤(7)得到的可行域掩膜作为伪标签,训练车辆可行域分割网络,用训练好的分割模型对测试数据集中的每个自动驾驶图像进行分割,得到可行域最终分割结果。

2.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法,其特征在于,所述步骤(5‑a)中的类别空间权重图,该权重图的作用是提供道路空间s

先验信息,获取图像中每个空间位置对目标类别的重要程度;以高语义特征图X和步骤(4)中学习到的分类权重矩阵W作为输入,进行通道加权求和,其计算公式为:j s

其中M表示第j个类别的类别空间权重图,j=0,1, 表示高语义特征图X 在第l个通道上的特征图, 表示第j个类别的分类权重矩阵在第l个通道上的权重值。

3.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法,其特征在于,所述步骤(6‑b)中的超像素区域级特征,该特征的提取是通过对密集特des region

征图F 进行超像素池化操作,为每个超像素生成一个全局描述符f ,从而将超像素底层结构特征和神经网络高级语义信息相结合,其计算过程如下:des

其中 表示第i个超像素的区域级特征,Pi表示图像中第i个超像素,F (x,y)表示des

密集特征图F 对应于超像素Pi内部空间位置(x,y)上的激活值,符号Pool表示全局池化操作。

4.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法,其特征在于,所述步骤(7)中融合空间先验和区域级特征的自适应加权聚类,聚类阶段根据步骤(5‑c)获取的道路全局空间权重的中值对所有超像素的所属类别簇进行随机初始化,具体过程可表示为:

其中Classi表示第i个超像素所属类别簇,wi表示第i个超像素的道路全局空间权重,K为聚类类别数,K为正整数且取值范围为[2,10],符号median表示求中值操作,unif表示从区间内随机生成一个整数;根据得到的超像素初始类别,计算每个类别簇的聚类中心:其中ck表示第k个类别簇的簇中心,k为整数,且0≤k

5.如权利要求1所述的一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法,其特征在于,所述步骤(6‑a)中的特征提取器,该特征提取器使用预训练模型,不更新模型参数。