利索能及
我要发布
收藏
专利号: 202311293764X
申请人: 江苏理工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的建筑物裂缝检测方法,其特征在于,首先采集建筑物裂缝图像,然后利用轻量化的裂缝检测网络模型对采集建筑物裂缝图像进行建筑物裂缝检测;

所述轻量化的裂缝检测网络模型包括:特征提取网络、特征聚合网络和预测网络;

所述的特征提取网络处理过程如下:

输入层先经过一个3×3的卷积块,再接入一个最大值层对输入的图像进行下采样,获得下采样后的特征图像;然后针对获得下采样后的特征图像,再使用三组改进的ShuffleNetV2网络提取网络特征;

每组改进的ShuffleNetV2网络包括一个基本单元SN_2和多个基本单元SN_1;

SN_2:输入分别接入两个分支,第一分支依次通过3×3的深度可分离卷积和1×1的组卷积;第二分支依次通过1×1的组卷积、3×3的深度可分离卷积和1×1的组卷积,接着对两个分支进行Concat拼接,然后进行通道整合;

SN_1:将输入进行通道拆分,经过Channel Split操作后变为两路分支,第一分支接入一个3×3最大值池化操作;第二分支依次接入步长为1的三个卷积,依次为1×1的组卷积、3×3的深度可分离卷积以及1×1的组卷积;接着对两个分支Concat拼接操作,然后进行通道整合;

三组改进的ShuffleNetV2网络提取网络分别记为第二层至第四层,第二层至第四层进行特征提取的过程如下:将下采样后的特征图像输入第二层,第二层先接入SN_2,再接入α1个SN_1,将输出记为第二层的输出;将第二层输出的特征传输到第三层,同时将输出传输到特征聚合网络的第一支路,特征聚合网络的第一支路首先采用改进的Coordinate Attention模型处理;

第三层先接入SN_2,再接入α2个SN_1,得到第三层的输出;第三层输出的结果接入第四层,同时将输出传输到特征聚合网络的第二支路,特征聚合网络的第二支路首先采用改进的Coordinate Attention模型处理;

第四层先接入SN_2,再接入α3个SN_1,将输出接着接入SN_1,再将输出接入SN_1,第四层的输出结果接入特征聚合网络的第三支路的SPPCSPC模块,再送入改进的Coordinate Attention模型处理;

特征聚合网络的处理过程如下:

特征聚合网络的第一至第三支路改进的Coordinate Attention模型分别连接一个卷积层;其中,改进的Coordinate Attention模型的输入特征分别按照h方向和w方向进行最大值池化操作,然后对池化后的特征进行Concat拼接,拼接后针对行进行1×1的2d卷积操作,然后进行归一化和非线性处理,将处理完的特征接着分成h方向和w方向并分别进行2d卷积操作,然后在各自的方向上进行sigmoid处理得到坐标的权重系数,将所述的坐标权重系数与原输入特征进行相乘,得到加权特征;

特征聚合网络的第三支路中改进的Coordinate Attention模型对应的卷积层输出送入第一上采样层,经过上采样之后与特征聚合网络的第二支路改进的Coordinate Attention模型对应的卷积层输出进行Cat处理,然后送入第一ELAN‑H层;

第一ELAN‑H层的输出经过改进的Coordinate Attention模型和卷积层处理后送入第二上采样层,经过上采样之后与特征聚合网络的第一支路改进的Coordinate Attention模型对应的卷积层输出进行Cat处理,然后送入第二ELAN‑H层,第二ELAN‑H层的输出送入第一MP‑2层处理的同时还送入预测网络的第一预测分支处理;

第一MP‑2层的输出与第一ELAN‑H层的输入进行Cat处理,然后送入第三ELAN‑H层,第三ELAN‑H层的输出送入第二MP‑2层处理的同时还送入预测网络的第二预测分支处理;

第二MP‑2层处理的输出与第三支路的SPPCSPC模块输出进行Cat处理,然后送入第四ELAN‑H层,第四ELAN‑H层的输出送入预测网络的第三预测分支处理;

预测网络的处理过程如下:

预测网络包括三个并行的预测分支,每个分支包括REP模块和CBM层;在检测阶段的REP模块包括一个1×1的卷积层和一个BN层;CBM模块包括一个卷积层,一个BN层以及一个sigmoid层;

预测网络包括三个并行的预测分支共同处理,检测不同尺寸大小的裂缝。

2.根据权利要求1所述的一种基于深度学习的建筑物裂缝检测方法,其特征在于,特征提取网络中第二层至第四层对应的改进ShuffleNetV2网络分别包括3个SN_1、7个SN_1、3个SN_1,即α1、α2和α3分别为3、7、3。

3.根据权利要求1或2所述的一种基于深度学习的建筑物裂缝检测方法,其特征在于,所述的ELAN‑H层处理过程如下:首先进行通道拆分,将输入分为两个分支,短分支接入步长为1的1×1的CBS模块,长分支则先接入一个步长为1的1×1的CBS模块,再依次接入4个步长为1的3×3的CBS模块,然后对短分支和长分支共计6个CBS模块每个模块的输出进行Cat处理,然后再经过一个1×1的CBS模块处理。

4.根据权利要求3所述的一种基于深度学习的建筑物裂缝检测方法,其特征在于,所述的MP‑2层处理过程如下:将输入进行通道拆分,分为两个分支,其中一个分支先进行Maxpool操作,然后接入步长为1的1×1的CBS模块,另一个分支则依次接入一个步长为1的1×1的CBS模块和步长为1的3×3的CBS模块,然后对两个分支的输出进行Cat处理。

5.根据权利要求4所述的一种基于深度学习的建筑物裂缝检测方法,其特征在于,检测阶段的REP模块与训练阶段的REP模块结构不同,检测阶段的REP模块是基于训练阶段的REP模块确定的,训练阶段的REP模块由三个分支构成,第一分支首先接入一个步长为1的1×1的卷积层,然后接入BN层;第二分支则先接入一个1×1的卷积层,然后接入BN层;第三分支则只接入一个BN层,然后将三个的分支的结果进行add相加;完成训练后,在测试阶段保留第一分支的1×1的卷积层和BN层作为测试阶段的REP模块。

6.一种基于深度学习的建筑物裂缝检测系统,其特征在于,包括图像采集单元和裂缝检测单元;

图像采集单元:用于获取建筑物裂缝图像;

裂缝检测单元:将获取的建筑物裂缝图像输入轻量化的裂缝检测网络模型,对建筑物裂缝图像进行建筑物裂缝检测;

所述轻量化的裂缝检测网络模型包括:特征提取网络、特征聚合网络和预测网络;

所述的特征提取网络处理过程如下:

输入层先经过一个3×3的卷积块,再接入一个最大值层对输入的图像进行下采样,获得下采样后的特征图像;然后针对获得下采样后的特征图像,再使用三组改进的ShuffleNetV2网络提取网络特征;

每组改进的ShuffleNetV2网络包括一个基本单元SN_2和多个基本单元SN_1;

SN_2:输入分别接入两个分支,第一分支依次通过3×3的深度可分离卷积和1×1的组卷积;第二分支依次通过1×1的组卷积、3×3的深度可分离卷积和1×1的组卷积,接着对两个分支进行Concat拼接,然后进行通道整合;

SN_1:将输入进行通道拆分,经过Channel Split操作后变为两路分支,第一分支接入一个3×3最大值池化操作;第二分支依次接入步长为1的三个卷积,依次为1×1的组卷积、3×3的深度可分离卷积以及1×1的组卷积;接着对两个分支Concat拼接操作,然后进行通道整合;

三组改进的ShuffleNetV2网络提取网络分别记为第二层至第四层,第二层至第四层进行特征提取的过程如下:将下采样后的特征图像输入第二层,第二层先接入SN_2,再接入α1个SN_1,将输出记为第二层的输出;将第二层输出的特征传输到第三层,同时将输出传输到特征聚合网络的第一支路,特征聚合网络的第一支路首先采用改进的Coordinate Attention模型处理;

第三层先接入SN_2,再接入α2个SN_1,得到第三层的输出;第三层输出的结果接入第四层,同时将输出传输到特征聚合网络的第二支路,特征聚合网络的第二支路首先采用改进的Coordinate Attention模型处理;

第四层先接入SN_2,再接入α3个SN_1,将输出接着接入SN_1,再将输出接入SN_1,第四层的输出结果接入特征聚合网络的第三支路的SPPCSPC模块,再送入改进的Coordinate Attention模型处理;

特征聚合网络的处理过程如下:

特征聚合网络的第一至第三支路改进的Coordinate Attention模型分别连接一个卷积层;其中,改进的Coordinate Attention模型的输入特征分别按照h方向和w方向进行最大值池化操作,然后对池化后的特征进行Concat拼接,拼接后针对行进行1×1的2d卷积操作,然后进行归一化和非线性处理,将处理完的特征接着分成h方向和w方向并分别进行2d卷积操作,然后在各自的方向上进行sigmoid处理得到坐标的权重系数,将所述的坐标权重系数与原输入特征进行相乘,得到加权特征;

特征聚合网络的第三支路中改进的Coordinate Attention模型对应的卷积层输出送入第一上采样层,经过上采样之后与特征聚合网络的第二支路改进的Coordinate Attention模型对应的卷积层输出进行Cat处理,然后送入第一ELAN‑H层;

第一ELAN‑H层的输出经过改进的Coordinate Attention模型和卷积层处理后送入第二上采样层,经过上采样之后与特征聚合网络的第一支路改进的Coordinate Attention模型对应的卷积层输出进行Cat处理,然后送入第二ELAN‑H层,第二ELAN‑H层的输出送入第一MP‑2层处理的同时还送入预测网络的第一预测分支处理;

第一MP‑2层的输出与第一ELAN‑H层的输入进行Cat处理,然后送入第三ELAN‑H层,第三ELAN‑H层的输出送入第二MP‑2层处理的同时还送入预测网络的第二预测分支处理;

第二MP‑2层处理的输出与第三支路的SPPCSPC模块输出进行Cat处理,然后送入第四ELAN‑H层,第四ELAN‑H层的输出送入预测网络的第三预测分支处理;

预测网络的处理过程如下:

预测网络包括三个并行的预测分支,每个分支包括REP模块和CBM层;在检测阶段的REP模块包括一个1×1的卷积层和一个BN层;CBM模块包括一个卷积层,一个BN层以及一个sigmoid层;

预测网络包括三个并行的预测分支共同处理,检测不同尺寸大小的裂缝。

7.根据权利要求6所述的一种基于深度学习的建筑物裂缝检测系统,其特征在于,所述的ELAN‑H层处理过程如下:首先进行通道拆分,将输入分为两个分支,短分支接入步长为1的1×1的CBS模块,长分支则先接入一个步长为1的1×1的CBS模块,再依次接入4个步长为1的3×3的CBS模块,然后对短分支和长分支共计6个CBS模块每个模块的输出进行Cat处理,然后再经过一个1×1的CBS模块处理。

8.根据权利要求7所述的一种基于深度学习的建筑物裂缝检测系统,其特征在于,所述的MP‑2层处理过程如下:将输入进行通道拆分,分为两个分支,其中一个分支先进行Maxpool操作,然后接入步长为1的1×1的CBS模块,另一个分支则依次接入一个步长为1的1×1的CBS模块和步长为1的3×3的CBS模块,然后对两个分支的输出进行Cat处理。

9.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并运行权利要求6至8任意一项所述的一种基于深度学习的建筑物裂缝检测系统。

10.一种基于深度学习的建筑物裂缝检测设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由处理器加载并运行权利要求6至8任意一项所述的一种基于深度学习的建筑物裂缝检测系统。