利索能及
我要发布
收藏
专利号: 2024117643168
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种桥梁道路裂缝识别的改进型语义分割网络构建方法,其特征在于,该方法通过改进UNet网络中的卷积块、下采样层以及上采样层,引入空间‑通道注意力机制,保留UNet网络中的跳跃连接和U型结构,构建出改进型语义分割网络,进行裂缝识别;具体包括以下步骤:S101,PConv轻量化卷积重构卷积层:将U‑Net的二维卷积中的用于特征提取的第二个卷积操作替换为PConv轻量化卷积,提高空间特征,通过控制变量,仅在改变卷积层的状况下,提高UNet网络运算速度;

S102,引入SCSA空间‑通道注意力机制:基于PConv轻量化卷积,针对裂缝边缘部位出现的模糊,通过将通道注意力机制加入到U‑Net模型的下采样、上采样以及跳跃连接当中,将不同层次之间的图像特征信息结合起来,提高对裂缝的关注度;

S103,重构下采样层:在裂缝分割过程中,裂缝边缘纹理的特征信息领域细小,引入SCSA空间‑通道注意力机制,采用HWD小波下采样层替换最大池化层,提高U‑Net网络对于裂缝边缘、细纹处特征的保留;

S104,重构上采样层:引入SCSA空间‑通道注意力机制,利用新型的上采样器DySample重构上采样层,构建完成改进型语义分割网络构建,基于改进型语义分割网络完成图像分割,实现裂缝结构恢复;

在步骤S104中,重构上采样层,包括:

(a)输入尺寸为H×W×C的特征图,通过生成动态的权重因子S,输出sH×sW×sC的特征图,该特征图的采样集由权重因子S决定的,利用采样点生成器,输入特征由栅格采样函数重新采样,保证该特征图是动态的,再与原特征图进行拼接,输出尺寸为sH×sW×C的特征图,实现DySample上采样;

(b)上采样器提供两种生成动态的权重因子S的方法,输出权重因子S;

步骤(b)中,两种生成动态的权重因子S的方法,包括:

第一种,将输入的尺寸为H×W×C的特征图输出到线性连接层,输出尺寸为H×W×2gS2的特征图,并缩小到原来的0.25倍,将缩小后的O特征图作为偏置,并与g特征图进行拼接,输出权重因子S;

第二种,对两个尺寸为H×W×2gS2的特征图,其中一个缩小到原来的0.5σ并与另一个尺寸为H×W×2gS2的特征图进行拼接,再进行偏置,生成O特征图与g特征图进行拼接,生成权重因子S。

2.根据权利要求1所述的桥梁道路裂缝识别的改进型语义分割网络构建方法,其特征在于,在步骤S101中,PConv轻量化卷积重构卷积层,包括:(1)将输入特征图进行划分,输入特征图通道数为32,提取8个通道数与卷积核进行卷积,剩余24个通道上保持不变,输出8个通道的输出特征图像;

(2)将卷积操作输出得到的8通道的特征图与剩余的24个通道的输入特征图进行拼接,获得完整的卷积操作。

3.根据权利要求1所述的桥梁道路裂缝识别的改进型语义分割网络构建方法,其特征在于,在步骤S102中,引入SCSA空间‑通道注意力机制,包括:第一步,输入尺寸为B×C×H×W大小的特征图,运用1D卷积对输入特征图沿着高度和宽度维度进行分解,并对每一维应用全局平均池化,通过Spilt操作将特征图进行分解,得到两个不同方向的4个子特征;

第二步,将两个不同方向的4个子特征,分别输入到卷积核为3、5、7、9的一维卷积当中,进行不同尺度的卷积操作,提取不同尺度的信息;

第三步,将提取的两个不同方向的多尺度特征,分别进行通道拼接,再进行组内归一化,经过sigmoid激活函数后,将两个不同方向特征进行融合,结合残差结构将输入特征与输出特征进行特征融合,完成构建SMSA模块;

第四步,将SMSA模块输出的特征图进行全局平均池化,再进行一个组的归一化操作,保证每一个子特征的独立性;

第五步,将归一化后的特征图分别与不同维度的1×1卷积核进行卷积操作,获得不同通道数的V、K、Q特征图像,并将V、K、Q分别输入到自注意力机制中进行特征融合,获得特征图像后进行全局平均池化以及sigmiod函数,与输入特征图融合,输出最终的特征图,完成SCSA空间‑通道注意力机制。

4.根据权利要求1所述的桥梁道路裂缝识别的改进型语义分割网络构建方法,其特征在于,在步骤S103中,重构下采样层,包括:第1步,输入特征图经过Haar小波变换模块HWT,以降低特征图的分辨率,同时保留特征图所有信息,Haar小波变换通过分解图像高频、低频信息生成四个方向的细分分量,使得通道数变成了四倍,将部分信息从空间维度编码到信道维度,获得小波变换的特征图;

第2步,将小波变换的特征图传入到特征学习模块,该特征学习模块由卷积层、激活函数以及批量归一化组成,完成对于输入图像的尺寸的下采样。

5.根据权利要求1所述的桥梁道路裂缝识别的改进型语义分割网络构建方法,其特征在于,该方法还包括:(1)裂缝图像输入,经过DoubleConv卷积层,用于提取特征信息,DoubleConv由一个二维卷积和一个Pconv、激活函数和BN层组成;

(2)经过DoubleConv卷积层输出的特征图,输入到SCSA注意力机制当中,用于保留裂缝特征信息,输出的特征层一部分输入到HWD进行下采样,一部分保留经过跳跃连接输入到对应层的解码器当中;

(3)特征图经过HWD小波下采样后,通道数翻倍,尺寸缩小至原来的一半,DoubleConv、SCSA、HWD共同构成编码器的每一层,特征图的输入经历过四层编码器之后,完成对图像信息的特征提取;

(4)完成信息提取过后的特征图,有着小尺寸和高通道数的特性,在经过DySample后,完成对特征图尺寸的翻倍,通道数保持不变;

(5)经过DySample输出的特征图,在经过1×1的卷积层,完成通道数的压缩,输出的特征图是原特征图尺寸的两倍,通道数的一半;

(6)经过1×1的卷积层输出的特征图,将输入到SCSA注意力机制当中,用于提取特征图主干信息,特征图尺寸和通道数均保持不变;

(7)经过SCSA输出的特征图,将输入到DoubleConv卷积层中,完成特征的提取以及通道数的压缩;

(8)经过DoubleConv的卷积层输出的特征图与最下层编码器输出的特征图进行通道拼接,两个特征图的尺寸和通道数均一致,经过拼接之后,特征图通道数翻倍,并输入到上一层的解码器当中;

(9)每一层的解码器由DySample、1×1Conv、SCSA以及DoubleConv组成,在经历四次解码器的尺寸和通道数还原之后便完成了图像分割任务。

6.一种桥梁道路裂缝识别的改进型语义分割网络构建系统,其特征在于,该系统实施如权利要求1‑5任意一项所述桥梁道路裂缝识别的改进型语义分割网络构建方法,该系统具体包括:PConv轻量化卷积重构卷积层模块,用于将U‑Net的二维卷积中的用于特征提取的第二个卷积操作替换为PConv轻量化卷积,提高空间特征,通过控制变量,在仅改变卷积层的状况下,提高UNet网络运算速度;

引入SCSA空间‑通道注意力机制模块,用于基于PConv轻量化卷积,针对裂缝边缘部位出现的模糊,通过将通道注意力机制加入到U‑Net模型的下采样、上采样以及跳跃连接当中,将不同层次之间的图像特征信息结合起来,提高对裂缝的关注度;

重构下采样层模块,用于针对在裂缝分割过程中,裂缝边缘纹理的特征信息领域细小,基于引入SCSA空间‑通道注意力机制,采用HWD小波下采样层替换最大池化层,提高U‑Net网络对于裂缝边缘、细纹处特征的保留;

重构上采样层模块,用于基于引入SCSA空间‑通道注意力机制,利用新型的上采样器DySample重构上采样层,构建完成改进型语义分割网络构建,基于改进型语义分割网络完成图像分割,实现裂缝结构恢复。