1.基于CTPN的布匹缺陷检测方法,其特征在于,包括以下步骤:
S1:布匹数据集图像信息的获取:利用摄像头采集到多张布匹缺陷图片;
S2:布匹数据集图像样本的划分;
S3:布匹数据集图像的特征提取;
S4:布匹数据集基于CTPN的模型构建:
(1)图像预处理模块:工业仪表的预处理模块针对强光、暗光等不同光的情况,将整张图片的明暗度进行平均处理,使用直方图均衡化的方法,将明暗度调整成统一水平;
(2)网络框架优化:针对算法部署落地端要求,对网络框架进行进一步的优化,由原始的VGG16更换为Mobilenetv2的网络作为特征提取器;
(3)使用双向LSTM:CTPN算法使用于文本框检测,将CTPN算法迁移到布匹的缺陷检测中,主要考虑到双向LSTM对时序特征检测起到关键性作用;
(4)特定anchor设计模块:将CTPN算法中的垂直方向anchor设置应用在布匹检测中,采用了一组10个等宽度的anchors用于定位布匹缺陷的位置;
(5)后处理模块:用于缺陷检测,一张布匹的缺陷检测图通过图像的直方图均衡化预处理,然后加载训练后的模型,模型输出分类分支、缺陷框的垂直坐标和side‑refinement的偏移量训练;
S5:布匹数据集的缺陷检测:
(1)对图片进行直方图均衡化,布匹的缺陷更加明显,有于模型的训练;
(2)将图片输入CTPN算法的主干网络,进行特征提取,生成N×C×H×W特征图,在特征图中滑动进行3×3卷积,然后进行im2col操作,然后每次滑动都得到一个3×3×C的特征向量,最后生成一个新的N×9C×H×W特征图,然后输入BLSTM中进行序列特征提取,再传入全连接层中进一步提取特征,全连接层后接3个全连接层分支,分别预测垂直坐标回归、分类得分、水平平移量回归,最后使用基于图的文本构造的算法,得到细长的矩形框;
所述S4中,特征提取器输出的最后一层的特征图宽高是输入图像的宽高的1/16,同时将该层特征图拉成一列向量,用于后续的BLSTM的训练,而BLSTM的输出传入到全连接层中,通过网络输出的三个预测量和真实值误差来学习布匹检测的模型。
2.根据权利要求1所述的基于CTPN的布匹缺陷检测方法,其特征在于,所述S2中,采取随机抽样的方式将所收集的图片按照一定比例分为独立且不重复的验证集和测试集。
3.根据权利要求1所述的基于CTPN的布匹缺陷检测方法,其特征在于,所述S4中,Mobilenetv2采用卷积核为1x1xC1并带有LSTM的卷积,将Mobilenetv2输出的特征图经过特定设计的CONVLSTM卷积,产生的特征图等待输入RPN网络中进行学习。
4.根据权利要求1所述的基于CTPN的布匹缺陷检测方法,其特征在于,所述S4中,双向LSTM的主要实现方法为:底层使用VGG16特征,由一个W∗H∗C的Conv5的featuremap,使用大小为3∗3的空间窗口,在最后一层卷积(VGG16的Conv5)的featuremap上滑动窗口,每行中的顺序窗口通过BLSTM循环连接,其中每个窗口的卷积特征(3x3xC)作为BLSTM的输入,再实现双向BLSTM,增强关联序列的信息学习,再将VGG最后一层卷积层输出的featuremap转化为向量的形式,用于接下来的BLSTM训练。
5.根据权利要求1所述的基于CTPN的布匹缺陷检测方法,其特征在于,所述S4中,后处理模块的阶段训练模型分为三阶段:第一阶段数据预处理,第二阶段是网络框架的训练,采用Mobilenetv2框架作为特征提取器,第三阶段是特定anchor的训练。
6.根据权利要求5所述的基于CTPN的布匹缺陷检测方法,其特征在于,后处理模块在训练好布匹缺陷检测模型后,部署这些模型时,需调用流程步骤如下:A.从摄像头采集到一张RGB布匹缺陷图片;
B.图片预处理;
C.送入到改进的mobilenetv2的网络框架中;
D.将输出送入到BLSTM模块中,学习布匹的时序特征;再将输出的特征输入到全连接层中,最终输出模型输出分类分支、缺陷框的垂直坐标和side‑refinement的偏移量。