1.一种基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,该方法包括以下步骤:
S1、采集弓网红外受电弓数据并进行数据预处理,将数据划分为训练样本集和测试样本集,构建受电弓目标数据库;
S2、搭建受电弓检测网络,利用主干网络提取受电弓多尺度特征图,通过预测头和掩码头获得受电弓的类别信息、位置坐标和粗粒度分割结果,并提出一种边缘修复方法对受电弓粗粒度分割结果进行精细化修复;
S3、将训练样本集的数据加载至受电弓检测网络中,反复迭代训练,并进行参数调整,获得优质受电弓检测模型;
S4、加载优质受电弓检测模型,将测试样本集的数据输入模型,评价受电弓检测分割结果。
2.根据权利要求1所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S1具体包括:
S11、通过红外相机采集弓网红外受电弓数据,并对数据进行解码和场景分类;
S12、对数据进行预处理,并分配训练样本集和测试样本集,构建目标数据库。
3.根据权利要求2所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S11具体包括:
通过安装在受电弓前的车载接触网运行状态检测装置中的红外相机进行弓网红外视频素材拍摄,并将视频进行解码,获得图像10000帧;采集到的弓网红外受电弓图像的场景包括山体、桥梁、隧道、铁架桥,天气状况包括和阴雨、大雾、阳光照射、大雪,满足受电弓检测数据的多样性,并将所有图片保存至指定路径的弓网红外图像文件夹。
4.根据权利要求3所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S12具体包括:
统计10000张弓网红外图像中受电弓标定框的四个坐标点横纵坐标,并对横纵坐标值分别取并集,构成的最大区域即为受电弓所在范围;为防止受电弓在行驶过程中可能出现上下起伏的现象并提升鲁棒性,将受电弓所在范围对应的标定框上下边界扩大一定的像素值,并分别从原图像中裁剪出固定尺寸的子图像,进而构建受电弓模板数据库;利用深度学习开源标注工具LabelMe对受电弓模板数据库中的10000张图像进行标注,分配6000张图像作为训练集,其余4000张图像作为测试集,且训练数据和测试数据没有重复图像,进而成功构建受电弓目标数据库。
5.根据权利要求1所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S2建立受电弓检测网络具体包括:S21、主干网络Backbone使用残差网络ResNet101和特征金字塔网FPN提取受电弓多尺度特征图;
S22、运用区域推荐网络RPN来提议候选窗口区域Proposals;检测头RCNN Head对RPN产生的每个候选区域进行感兴趣区域对齐RoIAlign操作;
S23、针对RoIAlign后的特征图,通过一系列卷积层、全连接层对候选区域的受电弓目标进行分类和边界框回归操作;
掩码头Mask Head用于获得实例像素级的特征,经过6层卷积操作实现特征图的上采样和通道维度的改变,并生成对应的预测掩码;
掩码交并比头MaskIoU Head使用预测掩码的输出和感兴趣区域对齐后RoIAlign的特征作为输入,经过4个卷积层实现特征图的降采样,并连接3个全连接层,最后一层输出C个类别的MaskIoU得分,并与检测头RCNN Head中的类别分数相乘获得更准确的掩码得分;
S24、掩码边缘修复头对掩码头Mask Head获得的粗粒度掩码与真值掩码计算交并比,匹配训练集中最佳的受电弓边界,并获得受电弓边界精细化修复结果。
6.根据权利要求5所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S21具体包括:
采用ResNet101和FPN作为主干网络,对受电弓特征进行多尺度提取;ResNet101是一个自下而上的结构,经过残差网络输出四层特征图,定义为C2、C3、C4和C5;FPN是一种自上而下的结构,结合ResNet101各层输出进行横向连接,获得的P2、P3、P4和P5四层融合的特征图;
所述步骤S22具体包括:
主干网络输出的各层特征图经过一个3*3的卷积产生两个分支,一个分支经过Reshape‑Softmax‑Reshape操作区分预先设定锚点框的正负,另一个分支通过1*1的卷积获得锚点框的偏移量,进而获得候选区域;
对RPN产生的Proposals采用RoIAlign实现候选区域与特征图的对齐,主要使用双线性插值算法进行特征图扩展,并进行最大池化操作将Proposals调整到统一大小;
RCNN Head经过将RoIAlign后的特征图经过全连接层输出为1024维,并对特征进行分类和回归操作输出受电弓类别和坐标信息;
所述步骤S23具体包括:
Mask Head使用RoIAlign后的特征经过6个卷积操作实现特征图的上采样和通道维度的改变,并生成对应的预测掩码;同时,使用预测掩码的输出与原始RoIAlign后的特征作为MaskIoU Head输入,经过4个卷积层实现特征图的降采样,并连接3个全连接层,最后一层输出C个类别的MaskIoU得分;将预测的MaskIoU得分SMaskIoU和RCNN Head的分类置信得分SClass相乘,获得最终的掩码分数SMS,用来表示掩码准确的分割得分;计算公式为:SMS=SMaskIoU·SClass所述步骤S24具体包括:
精细化边缘修复方法通过计算受电弓粗粒度掩码分割区域与训练集中标注的受电弓区域的交并比交并比作为一个全新的层级加入到受电弓分割的学习推理中,获得与训练集中最佳匹配的受电弓区域,并利用该区域对受电弓提取结果进行精细化边界修复;其中,训练集中标注的受电弓区域图像为受电弓目标数据库图像,受电弓边缘修复交并比可计算为:
其中,S表示训练数据中标注的受电弓的真值,P表示受电弓的粗粒度分割结果,are(S)表示受电弓粗粒度分割结果和真值的交集面积,are(P)表示受电弓粗粒度分割结果和真值的并集面积。
7.根据权利要求5所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S3具体包括:
使用S1得到的训练样本集数据库,输入到步骤S2建立的受电弓检测网络进行训练,得到优质受电弓检测模型;
加载数据集中分辨率为194*36的训练样本图片6000张到网络中,并在MS‑COCO数据集的预训练模型上初始化网络参数,同时使用主干网络进行预训练,用于提取数据集中目标的特征;
对RPN产生的锚点框采用非极大抑制算法得到评分前100的候选窗口区域,并利用RoIAlign模块将所有候选窗口区域归一化到特定尺寸进行空间尺寸对齐;
使用一系列卷积层和全连接层对候选区域的目标进行分类和回归操作,并对候选区域的目标进行像素级别的粗粒度掩码分割;
采用RPN中IoU大于0.5的Proposals作为训练样本对MaskIoU Head进行训练,获得真实的掩码分数;
计算粗粒度掩码分割区域与训练集中标注掩码区域的交并比,获得最佳匹配的受电弓区域,并利用该区域对受电弓分割边界进行修复;
上述整个过程采用分类损失、检测框回归损失以及掩码损失三大损失进行训练,计算为:
其中,分类损失函数 是目标与非目标两个类别的对数损失,选用交叉熵损失; 是目标与非目标两个类别的对数损失,ki表示把锚点框预测为目标的概率, 表示锚点框是负标签, 表示锚点框为正标签,TClass为归一化参数;
边界框回归损失函数 其中,ni表示锚点框测量偏移量, 表示真值标签偏移量;采用smoothL1函数作为边界框回归损失;smoothL1函数优势在于降低误差增长率,减少误差带来的惩罚,将其表示成分段函数如下:其中,σ用于控制区域的平滑度;
掩码损失函数 旨在回归深度神经网络分割得到掩码与真值掩模交并比得分,使用L2损失回归交并比的评分;
训练网络类别参数设置为2,主要包括受电弓目标和背景,批处理Batch size设置为
100,迭代次数设置为20000,动量因子设置为0.9,权值衰减系数设置为0.001,初始学习率设置为0.001。
8.根据权利要求1所述的基于Mask Scoring R‑CNN网络的受电弓检测方法,其特征在于,所述步骤S4具体包括:
对受电弓的分割结果作出评价,采用查准率、查全率计算出平均准确率来进行评价:其中,FP为正确的正例,FP为错误的正例,FN为错误的反例,Pre为查准率,Rec为查全率,mAP为平均准确率;在测试阶段,当预测框与标定框重叠面积达到标记外围框的90%以上时,视为检测成功。
9.一种基于Mask Scoring R‑CNN网络的受电弓检测系统,其特征在于,该系统包括以下模块:
数据预处理模块,用于采集弓网红外受电弓数据并进行数据预处理,将数据划分为训练样本集和测试样本集,构建受电弓目标数据库;
受电弓检测网络构建模块,用于搭建受电弓检测网络,利用主干网络提取受电弓多尺度特征图,通过预测头和掩码头获得受电弓的类别信息、位置坐标和粗粒度分割结果,并提出一种边缘修复方法对受电弓粗粒度分割结果进行精细化修复;
网络训练模块,用于将训练样本集的数据加载至受电弓检测网络中,反复迭代训练,并进行参数调整,获得优质受电弓检测模型;
网络评估模块,用于加载优质受电弓检测模型,将测试样本集的数据输入模型,评价受电弓分割结果。
10.一种电子设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的一种基于Mask Scoring R‑CNN网络的受电弓检测方法的步骤。