利索能及
我要发布
收藏
专利号: 2021115694617
申请人: 江西省水利科学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进YOLO模型的堤防管涌险情智能识别方法,包括改进和训练YOLO模型和堤防管涌识别两个过程;其特征在于,所述改进和训练YOLO模型的具体步骤如下:步骤S11、数据采集:使用携带热红外传感器的无人机巡检堤防获取得的堤防的热红外图像数据,包含有堤防管涌热红外图像以及无堤防管涌热红外图像;

步骤S12、制作样本:包括数据标注整理和堤防管涌样本生成两步;

步骤S13、图像去背景处理;

步骤S14、模型改进和训练:改进的YOLO模型由CBL模块、跨阶段局部融合网络模块、空间金字塔池化模块组成;跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块;YOLO模型的输入是经过去背景处理后的640*640热红外图像;第一个输入端连接一个CBL模块和跨阶段局部融合网络CSP1_4模块,得到特征图A;跨阶段局部融合网络CSP1_4模块后连接第二个CBL模块和第一个跨阶段局部融合网络CSP1_12模块,第一个跨阶段局部融合网络CSP1_12模块输出特征图B;第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL模块和第二个跨阶段局部融合网络CSP1_12模块,第二个跨阶段局部融合网络CSP1_12模块输出特征图C;第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块,跨阶段局部融合网络CSP2_1模块输出特征图D;跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块,第一个上采样模块的输出与特征图C跨接形成新的特征图E;特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL模块和第二个上采样模块,第二个上采样模块的输出与特征图B跨接,形成新的特征图F;将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块,第三个上采样模块的输出与特征图A跨接,形成新的特征图G;特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层,得到模型的输出;

所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接,再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块;

所述跨阶段局部融合网络CSP2_1模块和跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接,再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

2.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,所述空间金字塔池化模块包含一个CBL层,3个最大池化层,然后将3个最大池化层的输出进行跨接并连接一个CBL层。

3.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,步骤S12中数据标注整理过程为:对采集到的热红外图像数据集进行标记,将特征明显的热红外图像挑选出来,将其中难以识别或已经检修后的无效数据剔除,并将选择挑选后的热红外图像,使用640*640的像素大小对整张的堤防热红外图像进行分割,然后将分割完成的数据集,使用Labelme软件标出所有堤防管涌的特征,使用矩形框进行标注,以“leakage”作为堤防管涌标识,获得一组与热红外图像对应的标注集;另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。

4.根据权利要求3所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,步骤S12中堤防管涌样本生成过程为:采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增样本;所有的样本统一缩放为640*640像素;将生成的样本和采集到的样本按照

8:2:1随机划分为训练集、验证集、测试集;使用K‑means算法对训练集中标注的候选框进行聚类以优化预测框的大小。

5.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,步骤S13中图像去背景处理过程为:将彩色热红外图像转化成灰度图像,利用统计方法确定阈值τ,该阈值为水体灰度值的上限,通过公式(1)对图像进行二值化:式中,x表示水体灰度值;然后通过形态学腐蚀、膨胀操作,减少噪声和空洞的影响,得到彩色热红外图像的前景区域和背景区域;

根据公式(2)对彩色热红外图像进行处理,

当p位于背景区域,其灰度xp设置为0,否则,将其灰度xp设置为255‑xp。

6.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法,其特征在于,所述堤防管涌识别的步骤如下:步骤S21、获取图像:通过携带热红外传感器的无人机获取堤防的热红外图像;

步骤S22、划分窗口:建立划分窗口的规则,将热红外图像分成具有20%重叠的窗口,以

480像素为滑动步长,采用640*640大小的滑动窗口,遍历整个输入图像;最后将高度和宽度不足640像素的窗口,通过将左上角坐标向上和向左移动,使窗口大小保持640*640像素;

记录每一窗口图像块在原始大图中对应的编号和左上角坐标,记为(R,C,X,Y),其中R为行数,C表示列数,X,Y是对应的左上角坐标;

步骤S23、图像处理与堤防管涌识别:将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理,并将其输入到已经训练好的改进YOLO模型,设置置信度阈值,得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度;根据下式计算预测框在原始大图中的真实位置:i i

其中, 是第k个预测框中心点在原始图像中的位置;(X ,Y)是预测框所在当前窗口的左上角坐标, 是第k个预测框中心点在当前窗口图像中的位置;

步骤S24、输出最终识别结果:当所有窗口识别完成后,在原始大图上得到多个预测框,再利用加权非极大抑制剔除重叠预测框,得到最终识别结果。