利索能及
我要发布
收藏
专利号: 2023102149132
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于联合多任务模型的路面抛洒物检测方法,其特征在于,包括:步骤一:通过车载检测设备获取路面视频数据;

步骤二:将视频帧输入多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息;所述路面掩码信息和干扰物掩码信息为语义分割头的部分预测结果,干扰物位置信息为目标检测头的预测结果;

所述干扰物包括道路上的汽车、自行车、行人、围栏、车道标识、井盖,以及裂缝、坑洼、修补容易误识别的道路病害;

步骤三:对路面掩码信息进行解码,得到值在0‑255之间的8位第一图像,再对视频帧进行灰度处理,根据步骤二中的掩码信息提取灰度图像的路面区域,得到第二图像;具体的,步骤三包括:将路面掩码区域像素值设置为1,与视频帧转化的灰度图像进行异或操作,得到的图像只有路面区域,其他位置像素值为0,记为第二图像;

将第一图像中路面区域,即所有灰度值不为0的像素设为255,得到第一连通图,连通图中路面区域为255,其他区域为0;

对第一连通域进行反转操作,用255减去所有像素灰度值,得到干扰物连通域,记为第二连通图;

在第一连通域中拿到所有连通域边缘,并通过边缘区域拿到所有连通域面积,默认最大面积的连通域为路面区域,将该区域填充得到没有孔洞的路面连通域,记为第三连通图;

步骤四:根据第一图像提取抛洒物疑似区域,根据第二图像提取抛洒物疑似区域;

步骤五:从抛洒物疑似区域的连通域中确定最终抛洒物区域。

2.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法,其特征在于,步骤二中所述多任务联合模型为卷积神经网络,所述上述卷积神经网络包括骨干网络、加强特征提取网络和检测头部分,其中检测头分为目标检测头和语义分割头两个分支;

多任务联合模型由道路病害数据集和城市分割数据集联合训练得到。

3.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法,其特征在于,步骤四中所述根据第一图像提取抛洒物疑似区域,包括:使用图像分割方法提取抛洒物,并对得到的连通域进行腐蚀膨胀操作去除颗粒噪声,得到抛洒物疑似区域;

所述抛洒物疑似区域应至少包含一个连通域。

4.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法,其特征在于,步骤五中所述从抛洒物疑似区域的连通域中确定最终抛洒物区域,包括:设定区别抛洒物和非抛洒物的阈值;

计算抛洒物疑似区域中的连通域依次与第二连通图的重合比例,根据阈值剔除属于非抛洒物的连通域;

判断第二连通图中所有连通域的中心点在第三连通域中是否为255,且在第一图像中的值是否在需要剔除的类别之内,不符合则删除该连通域;

从联合多任务模型目标检测分支输出的路面病害结果中计算预测框的中心点位置,删除中心点在抛洒物疑似区域的连通域;

其余连通域作为最终抛洒物区域。

5.根据权利要求2中所述的一种基于联合多任务模型的路面抛洒物检测方法,其特征在于,所述加强特征提取网络,是从骨干网络中提取三种不同尺度的特征层,经过上采样特征融合和下采样特征融合得到三种尺度的有效加强特征层,并输入三个检测头中分别做预测,并在最大尺度的特征层后连接语义分割头进行区域划分。

6.根据权利要求1、2、4任意一项所述的一种基于联合多任务模型的路面抛洒物检测方法,其特征在于,还包括步骤七:对最终抛洒物区域中的连通域计算外接矩形,记录边界框信息,并将这些信息结合目标检测输出结果作为网络的最终输出。