1.基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法,其特征在于:包括改进和训练UNet模型、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程;
改进和训练UNet模型,具体步骤如下:
步骤S1,数据采集:利用无人机获取堤坝的热红外图像数据和可见光图像数据;
步骤S2,制作样本:手工选取热红外图像数据和可见光图像数据的一些区域,利用数据标注工具对手工选取的一些区域的数据进行标注,包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物;
步骤S3,生成样本和划分数据集:对手工选取的一些区域的数据进行扩增,并建立训练集、验证集和测试集;
步骤S4,改进UNet模型:在UNet模型上增加注意力门、空间注意力模块和残差模块,同时在UNet模型上引入小目标检测任务、RGB图像识别任务、多尺度检测任务三个辅助任务,构建三个辅助任务相应的三个损失函数;
步骤S5,训练改进的UNet模型:采用损失函数通过自适应运动估计优化算法Adam对改进的UNet模型不断优化,使损失函数误差不断减小,直到改进的UNet模型收敛,损失函数包括Dice Loss损失函数和通过三个辅助任务构建相应的三个损失函数;
步骤S4中改进UNet模型,由基础Unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成;具体如下:首先,尺寸为320*320输入图像经过第一个残差模块,得到尺寸为320*320*64的特征图A;
接着,特征图A经过2*2最大池化的输出经过第二个残差模块,得到尺寸为160*160*128的特征图B;
接着,特征图B经过2*2最大池化的输出经过第三个残差模块,得到尺寸为80*80*256的特征图C;
接着,特征图C经过2*2最大池化的输出经过第四个残差模块,得到尺寸为40*40*516的特征图D;
接着,特征图D经过一次2*2上采样的输出与特征图C跨接在一起,并经过第五个残差模块,得到尺寸为80*80*256的特征图E;
接着,特征图E通过1*1的卷积得到识别结果3;
接着,特征图E经过一次2*2上采样的输出与特征图B跨接在一起,并经过第六个残差模块,得到尺寸为160*160*128的特征图F;
接着,特征图F通过1*1的卷积得到识别结果2;
接着,特征图F经过一次2*2上采样的输出G与特征图A跨接在一起,并经过AG注意力门和SAM空间注意力模块得到320*320*64的特征图H;
接着,特征图H并经过第七个残差模块,得到尺寸为320*320*64的特征图I;
接着,特征图I通过1*1的卷积得到识别结果1;
根据识别结果1利用公式(1)计算RGB直方图损失函数RGBL:(1);
其中, 分别是欧式距离, 分别是预测值区域的三个通道的灰度值分布直方图, 分别是实际值检测为水体的区域对应的RGB颜色直方图;通过计算检测区域与水体模板;
利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪,将裁剪的图像分别通过公式(2)的交叉熵损失函数计算小目标检测损失,并调整权重为面积的反比;
(2);
其中, 是小目标检测损失,coe为固定系数,用于控制小目标检测损失 的数量级,CEL为交叉熵损失函数,为真实值第i个矩形框内的特征值,为第i个矩形框内预测值相同位置的特征值,为第i个矩形框内的面积;小目标的面积越小,则占 的比重越高;
接着,利用识别结果1根据交叉熵损失函数计算尺度1损失CEL1;
接着,利用识别结果2根据交叉熵损失函数计算尺度2损失CEL2;
接着,利用识别结果3根据交叉熵损失函数计算尺度3损失CEL3;
通过3个尺度的结果构建多尺度损失;
接着,通过公式(3)计算总的损失函数
(3);
其中,为总的损失函数, ,并且 ; 为各损
失函数调节系数,是一个可学习参数,通过模型训练自动获取;
接着,利用总的损失函数 和自适应运动估计优化算法Adam对UNet模型进行优化,通过不断循环迭代,直到模型趋于稳定,完成模型的训练。
2.根据权利要求1所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法,其特征在于:利用改进和训练UNet模型的堤坝渗漏险情检测,具体步骤如下:步骤S6,堤坝渗漏险情的确定:通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像;
步骤S7,堤坝渗漏险情检测:将无人机获取堤坝的热红外图像和可见光图像输入到步骤S5训练好的Unet模型,设置置信度阈值,得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度;再利用加权非极大抑制剔除重叠预测框,得到最终检测结果。
3.根据权利要求2所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法,其特征在于:步骤S1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本,相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。
4.根据权利要求3所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法,其特征在于:步骤S2中制作样本,具体过程为:步骤S21,从数据采集到的热红外图像数据中选取包含渗漏相似的区域进行标注,选择的区域像素大小为320*320;
步骤S22,利用数据标注工具标出所有疑似区域,使用矩形框进行标注,获得一组与热红外图像对应的标注集;
步骤S23,最后选取一些没有险情的常见的堤坝热红外图像作为负样本。
5.根据权利要求4所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法,其特征在于:步骤S2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。
6.根据权利要求5所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法,其特征在于:步骤S3中生成样本和划分数据集,具体过程为:采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本;所有的样本统一缩放为320*320像素;将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集;使用聚类分析算法对训练集中标注的候选框进行聚类以优化预测框的大小。