利索能及
我要发布
收藏
专利号: 202311651583X
申请人: 太原科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.A/O池泡沫线位置实时检测方法,其特征在于,包括以下步骤:

S1.获取A/O池现场图像,现场图像应清晰包含有A/O池边沿与泡沫线;

S2.对获取的原始图像进行剪切—旋转—拼接的预处理后,采用数据增强的方法获得训练集样本与测试集样本;其中,所述剪切是在原始图像的剪切点(X0,0)处剪切并将剪切形成的右部分图像定义为泡沫线呈现趋于水平状态的图像;所述旋转与拼接是将右部分图像顺时针旋转25‑45度后与左部分图像相拼接;

S3.对获得的训练集样本与测试集样本进行数据标注,以获得分别代表泡沫线与A/O池边沿的矩形标注框;

S4.构建优化后的深度学习模型;

基于YOLOv5x的架构,将SE注意力机制与骨干网络Backbone中C3结构内的BottleNeck相结合,构成C3SE模块,有效提升泡沫线的检测精度;同时在Backbone中,采用SPPCSPC结构加强浅层信息与深层信息的融合,以提升模型的感知程度;此外,在YOLOv5x的架构中,添加定位损失函数Focal_GIOU LOSS,以减小预测框与标定框的误差,既减少了计算量,又能提高检测速度与精度,至此,优化后的深度学习模型构建完成;

S5.将训练集样本输入到优化后的深度学习模型中,所述训练集样本的图像在YOLOv5x的Backbone中经过多次卷积,深度学习模型提取到更深层次的图像特征信息,在YOLOv5x的Neck中融合浅层与深层的信息,经过损失函数,在输出层输出目标的类别及置信度,至此,完成对优化后深度学习模型的训练;

S6.利用训练后的深度学习模型,对测试集样本图像中的A/O池边沿进行检测与位置提取,对提取到的A/O池边沿的坐标采取多项式回归方法分段拟合曲线,由此获得最佳A/O池边沿拟合曲线函数如公式(1)所示,并将此拟合曲线作为判断泡沫线是否溢出的参考基准;

其中,最佳A/O池边沿拟合曲线函数如下:

,公式

(1)

其中Ma是测试集样本图像中横坐标的最大值;

S7.利用训练后的深度学习模型,对测试集样本图像中的泡沫线进行检测与位置提取,从而获得一条完整泡沫线的实际坐标值,并对左、右两部分的泡沫线利用以下公式来预测泡沫在某一时刻t0下发生溢出的趋势:S71.对测试集样本图像中左、右两个部分图像中的泡沫线进行检测与位置提取,从而获得左、右两部分的泡沫线,最后通过拼接左、右部分泡沫线,获得一条完整泡沫线的实际坐标值;

S72.针对左部分图像中的泡沫线,利用以下公式(2)来计算泡沫线与A/O池边沿的距离;

,公式(2)

针对右部分图像中的泡沫线,利用以下公式(3)来计算泡沫线与A/O池边沿的距离hr;

,公式(3)

其中,α是右部分图像的旋转角度,x0是剪切点的横坐标,(x1, y1)是实际泡沫线的坐标,(x2, y2)是x1在A/O池边沿拟合曲线上对应的坐标;

S73.假设在被检测图像上某一时刻t0,某点(x1, y1)上泡沫堆积的高度超出A/O池边沿H个像素,泡沫溢出时与A/O池边沿的交集宽度为W个像素;如果区间(x1,x1+W)内泡沫均超出A/O池边沿H个像素,且对于连续时刻t1∈[t0,t0+T],该区间也能一直保持该超出状态,则认为点x1在时刻t0+T一定会发生溢出,判断公式如公式(4)所示:,公式(4)。

2.根据权利要求1所述的A/O池泡沫线位置实时检测方法,其特征在于,所述对获取的原始图像进行剪切—旋转—拼接的预处理过程,具体包括以下过程:将原始图像中泡沫线呈现趋于水平状态的点记为剪切点,该剪切点的坐标记为(X0,0),然后在该剪切点处剪切,剪切之后图像分为左、右两个部分且定义右部分图像为泡沫线呈现趋于水平状态的图像;

随后对右部分图像顺时针旋转25‑45度,使得左、右两个部分的图像都相对水平方向均具有一相同的倾斜角度;

最后将左、右两个部分的图像在剪切点对应的A/O池边沿与泡沫线之间距离的中间位置处进行拼接,以完成对获取的图像进行预处理操作。

3.根据权利要求2所述的A/O池泡沫线位置实时检测方法,其特征在于,所述采用数据增强的方法获得训练集样本与测试集样本,具体过程为:对预处理后的图像进行数据增强以扩大训练样本,所述数据增强包括但不限于椒盐噪声、高斯模糊、昏暗、增亮、向下平移与左右翻转,从而得到训练集样本与测试集样本,且训练集样本的图像数量大于测试集样本的图像数量。

4.根据权利要求3所述的A/O池泡沫线位置实时检测方法,其特征在于,所述对获得的训练集样本与测试集样本进行数据标注,以获得分别代表泡沫线与A/O池边沿的矩形标注框,具体包括如下的过程:利用图像标注工具对样本图像进行人工标注,即取样本图像中一段泡沫线区域内的最低点与最高点,令最低点坐标为名义上的第一个坐标;最高点坐标为名义上的第二个坐标,以最高点为右下角坐标;取最高点垂直对应的A/O池边沿上的点,并令这个点为第三个坐标;取最低点垂直对应的A/O池边沿上的点为标注框的左上角坐标,令标注框左上角坐标为名义上的第四个坐标,以这四个点构成一个标注框,标签为“paomo”,随即对图像上剩余的泡沫线分区域标注;

然后在图像标注工具生成的.json文件中,修改相邻两个标注框的坐标值,令后一个标注框的第一、第四个坐标值等于前一个标注框的第二、第三个坐标值,以保证所有标注框的连续性,从而减少误差;

最后将.json文件转换成深度学习模型需要的.xml文件,在.xml文件中,将偶数个标签修改为“Pled”,这样待检测的标签就会有两种,分别是“paomo”与“Pled”,分别代表泡沫线与A/O池边沿的标注框。

5.根据权利要求4所述的A/O池泡沫线位置实时检测方法,其特征在于,所述定位损失函数Focal_GIOU LOSS采用如下公式来计算:,

其中,γ是控制异常值抑制程度的参数,C表示真实框与预测框的最小外接矩形的面积,A表示真实框,B表示预测框。

6.根据权利要求5所述的A/O池泡沫线位置实时检测方法,其特征在于,所述步骤S5中对优化后的深度学习模型进行训练的过程中,设置迭代批量大小为300,来平衡训练速度和深度学习模型的收敛速度;设置动量因子为0.999,帮助优化深度学习模型在更新参数时考虑之前的梯度更新方向,并使得参数在更新过程中更加平稳,减少震荡,从而加速收敛;设置初始学习率及学习率调整因子,加快深度学习模型收敛的速度,使深度学习模型更快地学习到数据的特征和模式,更好地收敛到全局最优点或局部最优点,其中,初始学习率设置为0.01,学习率调整因子设置为0. 001。

7.根据权利要求6所述的A/O池泡沫线位置实时检测方法,其特征在于,所述对测试集样本图像中左、右两个部分图像中的泡沫线进行检测与位置提取,从而获得左、右两部分的泡沫线,具体包括以下的过程:针对左部分图像的检测框,采用如下的坐标变换公式进行处理后获得左侧图像实际的连续泡沫线;

其中,坐标(m1, n1)与(m2, n2)分别是检测框的左上角与右下角坐标,(m3, n3)与(m4, n4)分别是实际泡沫线检测框的右下角与左上角坐标,x0是剪切点的横坐标;

针对右部分图像的检测框,直接连接左上角和右下角坐标,即构成右侧图像实际的连续泡沫线。

8.根据权利要求1‑7任意一项所述的A/O池泡沫线位置实时检测方法,其特征在于,该检测方法的准确率达到98.9%,每秒检测帧数为26.2帧。

9.A/O池泡沫线位置实时检测系统,用于实现权利要求1‑7任意一项所述的A/O池泡沫线位置实时检测方法,其特征在于,包括:图像获取模块;用于获取A/O池现场的图像,所述图像中清晰包含有A/O池边沿与泡沫线;

样本获取模块;对获取的图像进行剪切—旋转—拼接的预处理后,采用数据增强的方法获得训练集样本与测试集样本;

数据标注模块;对获得的训练集样本与测试集样本进行数据标注,以获得分别代表泡沫线与A/O池边沿的矩形标注框;

模型构建模块;基于YOLOv5x的架构,将SE注意力机制与骨干网络Backbone中C3结构内的BottleNeck相结合,构成C3SE模块;同时在Backbone中,采用SPPCSPC结构加强浅层信息与深层信息的融合;此外,在YOLOv5x的架构中,添加定位损失函数Focal_GIOU LOSS,以减小预测框与标定框的误差;

模型训练模块;将训练集样本输入到优化后的深度学习模型中,所述训练集样本的图像在YOLOv5x的Backbone中经过多次卷积,深度学习模型提取到更深层次的图像特征信息,在YOLOv5x的Neck中融合浅层与深层的信息,经过损失函数,在输出层输出目标的类别及置信度;

基准曲线拟合模块;利用训练后的深度学习模型,对测试集样本图像中的A/O池边沿进行检测与位置提取,对提取到的A/O池边沿的坐标采取多项式回归方法分段拟合曲线,并将此拟合曲线作为判断泡沫线是否溢出的参考基准;

溢出预测模块;利用训练后的深度学习模型,对测试集样本图像中的泡沫线进行检测与位置提取,从而获得一条完整泡沫线的实际坐标值,并对左、右两部分的泡沫线利用以下公式来预测泡沫在某一时刻t0下发生溢出的趋势。

10.计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,即可实现权利要求1‑7任意一项所述的A/O池泡沫线位置实时检测方法。