1.基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于:包括以下步骤:
步骤1、获取任务所需的训练集和测试集;
步骤2、采用双流的Swin‑transformer网络作为主干网络,提取模型训练过程中四个阶d
段的不同尺度的RGB图像特征和深度图像特征,分别记为 和fi ,i∈(1,4);
步骤3、利用交叉注意融合模块(CAFM)分别将RGB支干和深度支干中相邻层的输出特征r/d r/dfi 和 融合成Fi ,i∈(1,4);再将 和 进行跨模态特征融合得到多级的跨模态融合特征
步骤4、利用空间渐进融合模块(SPFM),将步骤3得到的跨模态融合特征 按照从低层特征到高层特征的顺序渐进式地提取低层空间信息并融入高层特征,得到最终的RGB‑D图像编码特征步骤5、通过上采样和通道压缩操作,将步骤4中所得的编码特征 与步骤3所得的阶段跨模态特征 的特征维度对齐,得到 从第三阶段开始,依次利用权重融合模块(WFM)对 和 进行通道上的加权拼接,利用差卷积模块(PCM)对拼接结果进行特征解码得到将最终的 作为显著性预测的结果。
2.根据权利要求1所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,步骤1的具体方法为:从公开的数据集NJU2K、NLPR、DUT中分别选取1485组、700组、800组,共2985组图像作为训练集,每一组图像包括RGB图像、深度图像和显著性真实图像三张图片;从公开的数据集DES、DUT、LFSD、NJU2K、NLPR、SIP中分别选取135组、400组、100组、500组、300组、929组图像分别作为对比测试集;实施中可针对特定的应用对象,更换训练和测试数据集。
3.根据权利要求1所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,步骤2的具体方法为:采用Swin‑B版本的对称的双流Swin‑Transformer作为主干网络,分别处理RGB图像和深度图像;提取模型训练过程中四个阶段的不同尺度的RGB图像特d征和深度图像特征,分别记为 和fi ,i∈(1,4)。
4.根据权利要求1所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,所述步骤3中,交叉注意力融合模块的作用是将高层特征 上采样恢复其像素,再r/d r/d r与低层的特征fi 进行拼接,第四层与自己本身拼接,从而将相邻的fi 和 融合成Fi/d
;接着,拼接 和 得到Fi i∈(1,4);对Fi计算一次空间坐标注意力,将得到坐标注意力图与Fi相乘得到坐标注意力特征 再对其计算一次空间注意力,将得到空间注意力图与Fi相乘得到多级跨模态融合特征
5.根据权利要求4所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,步骤3具体包括:交叉注意力融合模块包含坐标注意力的计算、空间注意力的计算以及拼接和卷积操作;
交叉注意力融合模块将每个阶段的RGB流和深度流的高层特征 上采样恢复其像素,r/d r/d
再与低层的特征fi 进行拼接,最高层与自己拼接,通过卷积操作得到邻层拼接特征Fi ,通过拼接操作得到初步的阶段拼接特征Fi;接着,对Fi计算坐标注意力,其具体操作是对Fih/w进行一维水平池化、一维垂直池化;将池化后的特征Fi ,i∈(1,4)进行拼接,通过卷积,提取全局特征;然后,分割全局特征,计算水平和垂直方向的注意力权重矩阵,将两矩阵相乘得到坐标注意力图,再与Fi相乘得到坐标注意力特征 接着,计算空间注意力,具体操作为对特征图进行一次全局最大池化,再通过Con7x7的卷积操作提取特征,通过sigmoid激活函数提取空间注意力图,最终与Fi相乘得到多级跨模态融合特征该步骤的公式如下:
h/w
Fi =CDAh/w(ConvBS)ph(Fi),pw(Fi))) (3)
其中ConvBR(·)为卷积、归一化和ReLu函数的级联操作,Up(·)为上采样操作,Cat(·)为拼接操作,SA(·)为空间注意力计算操作,CDAh/w(·)为水平和垂直坐标注意力图生成操作,ConvBS(·)为卷积、归一化和Sigmoid激活函数级联操作, 为逐元素乘法运算。
6.根据权利要求1所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,所述步骤4中,空间渐进融合模块从主干网络的第一阶段开始,依次将每一阶段的跨模态融合特征 下采样后计算一次空间注意力,将其空间注意力图融入到相邻的高层的跨模态融合特征 中;按这种方式渐进式地聚合全局的不同尺度的特征,得到最终的RGB‑D图像编码特征
7.根据权利要求6所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,步骤4的具体方法为:空间渐进融合模块包含空间注意力的计算、下采样和残差连接的操作,具体实现为:将低层的跨模态融合特征 下采样后计算一次空间注意力;其中空间注意力计算对特征图进行一次全局最大池化,通过卷积操作提取特征,通过Sigmoid激活函数提取空间注意力图;将从 中提取的空间注意力图通过残差连接的方式融入到 中,使用三个空间渐进融合模块串联起来,实现四个阶段跨模态融合特征的聚合,得到最终的RGB‑D图像编码特征该步骤公式如下:
其中SA(·)为空间注意力计算操作,Down(·)为下采样操作, 为逐元素乘法运算、⊕为逐元素加法运算。
8.根据权利要求1所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,步骤5中,先对步骤3所得编码特征 进行上采样和卷积将 像素和通道恢复到与第三层特征相同的特征形状,得到 再利用权重融合模块将步骤3所得第三阶段的跨模态融合特征 与之拼接,通过通道注意力计算通道权重后,再重新进行加权拼接;然后将加权拼接结果通过残差卷积模块进行特征融合得到 使用三组成对的权重融合模块和渐进卷积模块,依次将 融入 得到 将最终得到 将其作为显著性预测的结果。
9.根据权利要求8所述的基于渐进式多尺度特征融合的RGB‑D显著性检测方法,其特征在于,步骤5具体包括:权重融合模块包含通道注意力权重的计算以及拼接、卷积、归一化和激活函数的计算操作,其具体实现流程为:对步骤3所得编码特征 进行上采样和一次卷积恢复其像素和通道数到与 相同的特征形状,得到 再利用权重融合模块,将 与 拼接;通过通道注意力模块,计算其通道权重pi,i∈(1,3);对输入特征进行一次全局平均池化,通过线性映射层扩张维度,用ReLu激活函数整理数据,通过线性映射恢复维度,用Sigmoid激活函数提取通道权重;利用通道权重加权拼接 和 得到渐进卷积模块包含一个深度可分离卷积和两个点卷积操作,其具体实现流程为:对于权重融合模块得出的权重拼接特征图,通过卷积压缩通道数,通过批归一化和GeLu函数进行调整,再进行上采样恢复像素尺寸;采用深度可分离卷积提取 中每个通道的信息,再采用通道扩展和通道压缩两个点卷积提取整体的通道特征,继而得到 使用三组成对的权重融合模块和渐进卷积模块,依次将 融入 得到 将最终得到 将其作为显著性预测的结果;
公式如下:
其中CA(·)为计算通道注意力操作,Down(·)为下采样操作,ConvBR(·)卷积加批归一化加ReLu激活函数的联合操作,BR(·)为批归一化加ReLu激活函数的联合操作,Sigmoid(·)为Sigmoid激活函数,pi为通道权重, 为融合通道权重后的特征,⊕为逐元加法运算,×为矩阵乘法运算;ConvBG(·)为卷积加批归一化加GeLu激活函数的联合操作,DwConv(·)为深度可分离卷积操作,Pw1Conv(·)为扩展点卷积操作,Pw2Conv(·)为压缩点卷积操作。
10.应用权利要求1‑8之一所述的基于渐进式多尺度特征融合的RGB‑D的显著性检测方法的钢轨表面缺陷检测方法,其特征在于:使用工业RGB‑D数据集NEU‑RSDDSAUG作为任务数据集,构造并训练模型;使用训练后的模型对采集钢轨表面图像进行缺陷检测。