1.基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于,包括以下步骤:步骤一、构建桥梁裂缝数据集
1)将采集的桥梁裂缝图像进行归一化处理,归一化为256×256分辨率的桥梁裂缝图像;
2)采用几何变换、线性变换、图像滤波算法对归一化后的桥梁裂缝图像样本数量进行扩增;
3)将扩增后的桥梁裂缝数据划分为训练集、测试集和验证集;
步骤二、标注训练样本
对步骤一划分的训练集样本进行标注;
步骤三、搭建改进Faster R‑CNN的桥梁裂缝实例分割模型
1)添加裂缝掩膜分支;
2)用感兴趣区域对齐替代感兴趣区域池化;
3)添加预测裂缝掩膜交并比分支
步骤四、对步骤三搭建的实例分割模型进行训练
用步骤二中标注后的训练样本训练步骤三搭建好的Faster R‑CNN的桥梁裂缝实例分割模型;
步骤五、对步骤四训练后的实例分割模型进行测试
训练完成后,用步骤一中的测试集样本测试训练完成后的Faster R‑CNN的桥梁裂缝实例分割模型,用于验证改进后的Faster R‑CNN的桥梁裂缝实例分割模型的鲁棒性;
步骤六、实际检测
将待识别的桥梁裂缝图像输入到经测试后的Faster R‑CNN的桥梁裂缝实例分割模型中,判别该图像是否为桥梁裂缝图像,如果是桥梁裂缝图像就框出裂缝的位置,并生成桥梁裂缝分割掩膜。
2.根据权利要求1所述的基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于:所述步骤三中1)具体过程为:裂缝掩膜分支是应用于每个裂缝感兴趣区域的小型全卷积网络,以像素到像素的方式预测桥梁裂缝分割掩膜,它将感兴趣区域分类器选择的正区域作为裂缝掩膜分支网络的输入;
然后生成相对应的由浮点数表示的软掩膜,且与Faster R‑CNN模型中用于裂缝分类分支和边界框回归分支并行。
3.根据权利要求1所述的基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于:所述步骤三中2)具体过程为:首先不对感兴趣区域或空间单元进行任何量化,避免提取的特征与输入之间的偏离;
然后采用双线性插值方法计算每个感兴趣区域单元中四个规则采样位置的输入特征的准确值;
最后采用最大值或平均值方式计算最终结果。
4.根据权利要求1所述的基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于:所述步骤三中3)具体过程为:预测裂缝掩膜交并比分支模型是利用预测的裂缝掩膜与其真实标注的裂缝掩膜之间的像素级交并比来描述初始裂缝分割质量;使用感兴趣区域对齐层的特征和预测的裂缝掩膜连接作为预测裂缝掩膜交并比模型部分的输入,输出是预测的裂缝掩膜与其匹配的真实标注的掩膜之间的交并比;
在连接时,使用内核大小为2且步幅为2的最大池化层,以使预测的裂缝掩膜具有与感兴趣区域相同的空间大小特征;
预测裂缝掩膜交并比分支模型部分由4个卷积层和3个完全连接层组成,对于4个卷积层,在掩膜基本框架基础上并将所有卷积层的内核大小和过滤器数目分别设置为3和256,对于3个完全连接层,采用区域卷积神经网络的基本框架并将前两个完全连接层的输出设置为1024,将最后一个完全连接层的输出设置为类的数量。
5.根据权利要求1所述的基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于:所述步骤三中桥梁裂缝实例分割模型总的损失函数公式如下:L=Lcls+Lbox+Lmask (1)其中,Lcls是分类分支的损失,Lbox是边界框回归的损失,Lmask是裂缝掩膜分支的损失。
6.根据权利要求1所述的基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于:所述步骤四的训练过程具体为:
1)将步骤二中标注后的训练样本送入到步骤三搭建好的Faster R‑CNN的桥梁裂缝实例分割模型中,首先经过主干网络处理,主干网络为残差网络101,用于初步提取裂缝特征;
2)将初步提取的裂缝特征结果输入到特征金字塔网络进一步处理,以便能够在多个尺度上表示裂缝的能力增强;
3)接着是区域生成网络处理,它是一个小型的神经网络,利用滑动窗口的方式来处理图像,找到图像中有目标存在的区域,生成目标候选框,然后通过softmax函数判断候选框是前景还是背景,再通过边界框回归进行修正锚框,也就是进一步确定候选框,最后根据区域生成网络的候选框,选出准确地包含了裂缝的边界框,并对其位置和尺寸进行精调,以得到检测结果的目标候选框,同时完成向后传递;
4)最后使用感兴趣区域对齐以从每个候选框中提取特征,并利用网络的裂缝分类分支执行裂缝分类、边界框回归分支生成裂缝边界框、裂缝掩膜分支生成裂缝掩膜,最终完成桥梁裂缝的实例分割。
7.根据权利要求1所述的基于Faster R‑CNN的桥梁裂缝实例分割方法,其特征在于:所述步骤一数据集的划分比列为训练集:测试集:验证集=10:1:1。