1.一种基于Mask RCNN的饲料外包装缺陷分级检测方法,其特征在于,包括如下步骤:S1:采集饲料外包装图像,组建饲料外包装图像数据集;
S2:运用图像标注工具Labelme对数据集中的图像进行标注,在数据集的每一张图像中标注出不同种类的外包装缺陷及对应缺陷等级;
S3:将标注完成的数据集输入Mask RCNN网络中,采用交叉验证方法对Mask RCNN网络进行训练,训练时将batch_size设定为1,将epoch设定为120,Mask RCNN网络训练完后,保存Mask RCNN网络模型参数文件;
S4:工业相机采集饲料外包装图像后,将图像传输至工控机,由工控机中利用保存好的Mask RCNN网络模型参数文件加载Mask RCNN网络,按采样周期输入图像,对图像进行处理评判,若检测到缺陷,则输出检测出的缺陷类别及相应缺陷等级,控制声光报警装置发出警告信息,用以重新包装;
所述Mask RCNN网络包括RepVGG网络和FPN网络构成的backbone网络、RPN网络和图像预测网络,标注完成的数据集中的图像输入Mask RCNN网络后,由RepVGG网络对输入图像的特征进行提取,当RepVGG网络对输入图像的特征提取完成后,将提取的特征输入FPN网络进行特征金字塔特征提取,FPN网络输出输入图像的最终特征图后,将最终特征图输入RPN网络生成候选框,RPN网络输出各最终候选框对应的ROI区域后,图像预测网络通过多任务损失函数计算RPN网络输出的各候选框的损失;
其中,总损失函数 :
,
为缺陷识别边界框回归损失函数, 为候选框不同缺陷类别分类损失函数,为候选框内缺陷部分掩膜生成损失函数;
为衡量缺陷等级的损失函数:
,
其中 为图像中ROI总个数; 为二值指示变量,当第 个候选框属于缺陷等级时, ,反之,则为0; 表示深度神经网络输出的第 个候选框属于缺陷等级 的概率,L为总缺陷等级数;
计算 的相应神经网络结构包括2层全连接层,RPN网络输出的包含最终候选框的特征图依次输入激活函数为tanh的全连接层和激活函数为softmax的全连接层后,输出每个候选框属于各缺陷等级的置信度。
2. 根据权利要求1所述的一种基于Mask RCNN的饲料外包装缺陷分级检测方法,其特征在于, 为缺陷识别边界框回归损失函数:,
其中, 表示缺陷类别 预测出的候选框的坐标位置,表示标注出的边界框的真实坐标位置; 表示缺陷类别 预测出的第 个候选框的坐标位置,为候选框序号,其中 和 表示候选框的中心点坐标, 和 表示候选框的宽和高; 表示标注出的第 个候选框的真实坐标位置;
为候选框不同缺陷类别分类损失函数:
,
其中 表示网络输出的候选框属于各类别及背景的概率,为真实缺陷类别标注信息, 候选框属于真实缺陷类别 的概率;
为候选框内缺陷部分掩膜生成损失函数:
,
其中 为掩膜总个数, 表示RPN网络生成的第 个ROI区域, 表示相应标注真值。