1.一种基于显著检测网络的非规则幕墙板材识别方法,其特征在于,该方法具体包括以下步骤:S1:使用深度相机采集目标区域内幕墙板材的RGB图像和深度图;
S2:制作幕墙板材的跨模态显著性检测数据集;
S3:构建面向非规则幕墙板材精准识别与定位的基于通道‑空间联合的显著检测网络,包括通道过完备分支和空间欠完备分支;所述通道过完备分支包括通道过完备架构和SC模块;所述空间欠完备分支包括空间欠完备架构和MC模块;所述通道过完备架构用于捕获幕墙板材的低层特征;所述空间欠完备架构用于提取高层特征;所述SC模块用于校正多尺度特征的空间分歧;所述MC模块用于校正跨模态特征的模态分歧;其中,SC表示空间校正,MC表示模态校正;
所述通道过完备架构包括CS操作、ACS操作和ECR块;所述CS操作是将输入特征在空间上拆分,然后在通道中进行有序拼接;所述ACS操作是通道切片操作的反向操作;所述ECR块是将输入特征映射到更高的通道维度,使用深度卷积独立地从每个通道提取特征,融合并还原通道特征;其中,CS表示通道切片,ACS表示反通道切片,ECR表示扩张通道残差;
所述空间欠完备架构包括基于ConvNeXt的编码器和基于非扩张通道残差块的基本解码块;所述空间欠完备分支的数学表达为:其中, 和 表示空间欠完备分支的编码器和解码
器的输出;F表示RGB图和深度图的联合输入,σg(·)和δl(·)分别表示GELU激活函数和层归一化,CNi(·)表示ConvNeXt块,δd(·)表示使用最大池层的下采样操作,MCi(·)表示模态校正模块, 表示基本解码块; 表示具有核大小为k×j×j的卷积;
表示解码器中的四个ECR块的输出;S4:使用三种公开的显著性数据集构
建检测网络的训练集,并使用该训练集输入通道‑空间联合显著检测网络进行训练,以获取最优参数;
S5:使用训练好的网络及参数来预测幕墙板材显著性图像。
2.根据权利要求1所述的非规则幕墙板材识别方法,其特征在于,步骤S2中,制作数据集的标签图使用的黑白分割标签;在深度图中,距离观测者越近的场景越偏向于黑色,距离观测者越远的场景越偏向于白色;在标签图中,显著性的板材是白色,非显著性的背景是黑色。
3.根据权利要求1所述的非规则幕墙板材识别方法,其特征在于,步骤S3中,所述CS操作具体包括:考虑显著性对象中心对称的原则,将输入特征图按照“十”字型拆分成均等大小的4份;然后将拆分后的4份特征按顺时针拼接在通道维度中以保证通道特征按照中心距离从小到大排列;每经过一次通道切片操作,输入特征高度和宽度减半,通道数放大4倍;
所述ACS操作具体包括:从通道维度将特征拆分成4份,并在空间维度进行拼接,是通道切片操作的反向操作;每经过一次反通道切片操作,输入特征高度和宽度放大2倍,通道数缩减为原来的1/4;
所述ECR块具体包括:首先使用1×1×1卷积将输入特征映射到C×i的尺寸,C表示输入通道数,i表示扩张比率值;通道扩张的比率值i对应于给定的一组输入 和输出 其次使用3×3×3的深度卷积分别从每个通道提取特征;使用1×1×1卷积融合提取的通道特征,并映射到与输入特征相等的尺寸;最后通过残差链接将融合的通道特征与输入特征进行逐像素相加并输出;
所述通道过完备分支的编码器中四个ECR块的输出表示为 其尺寸
分别为输入图像的{1,1/2,1/4,1/8};解码器中的四个ECR块的输出表示为其对应于编码器具有相同的分辨率;所述空间欠完备分支的编码器和解码器的输出分别表示为 和 所述通道过完备分支的数学表达为:
其中,F表示RGB图和深度图的联合输入,ECRi(·)表示扩张通道残差块,SCi(·)表示空‑1间校正模块, 表示具有核大小为k×j×j的卷积;S(·)和S (·)分别表示通道切片和反通道切片操作。
4.根据权利要求3所述的非规则幕墙板材识别方法,其特征在于,步骤S3中,所述通道‑空间联合显著检测网络中使用4个共享权重的SC模块,每个SC模块均采用3×7×7的三维大卷积和Sigmoid激活函数从来自空间欠完备架构的高级特征中生成权重图;使用三线性插值和合适次数的通道切片操作将权重图转换成与通道过完备架构中的特征维度相匹配的特征向量;最后使用逐像素的加法和乘法运算实现高层特征与低层特征的融合。
5.根据权利要求1所述的非规则幕墙板材识别方法,其特征在于,步骤S3中,所述通道‑空间联合显著检测网络中使用4个共享权重的MC模块;每个MC模块中,首先通过多次反通道切片操作和上采样操作将来自通道过完备架构的输入特征还原到与空间欠完备架构中的特征相匹配的维度;然后,使用视觉维度上的拆分操作将特征拆成偏向于RGB的特征V1和偏向于深度的特征V2;将特征V1和特征V2进行逐像素相减,并取其绝对值,得到模态差值特征;
将模态差值特征补偿到特征V1和特征V2以保证两种特征的原始信息分布;最后,将补偿后的两种特征拼接在视觉维度上,获得特征V3;使用两个1×1×1卷积来融合通道维度的特征,并与来自空间欠完备架构的特征进行逐像素相加。
6.根据权利要求1所述的非规则幕墙板材识别方法,其特征在于,步骤S4中,获取最优参数方法是:使用最大F‑度量、最大E‑度量、结构‑度量、平均绝对误差以及PR曲线和F‑度量曲线来综合评估所训练的结果,选择指标评估最好的结果作为最优结果。
7.一种基于显著检测网络的非规则幕墙板材识别装置,其特征在于,该装置包括:
图像采集模块,利用深度相机采集幕墙板材的RGB图像和深度图用于网络预测;
数据处理与网络训练模块,利用该模块制作跨模态的幕墙板材数据集和设置显著性训练数据集,设计并训练权利要求1~6中任意一项所述的基于通道‑空间联合的显著检测网络;
运算预测模块,用于幕墙板材数据集在基于通道‑空间联合的显著检测网络上的测试;
数据显示模块,使用小尺寸的显示屏展示对象区域的彩色图像、深度图像和显著性预测图像。