1.一种RGB‑D图像显著目标检测方法,其特征在于,该方法包括以下步骤:S1、提取RGB图像特征,同时提取Depth图像特征,并将Depth图像特征与RGB图像特征进行融合,形成RGBD融合特征,进一步将其分为高层RGBD融合特征和低层RGBD融合特征;
S2、利用三个Transformer增强所述高层RGBD融合特征,形成高层RGBD增强特征;
S3、三流解码所述高层RGBD增强特征,通过与低层RGBD融合特征的结合,加强显著物体边缘细节信息,形成体现全局和局部特性的RGBD细化特征;
S4、融合所述RGBD细化特征形成显著图。
2.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S1中,提取RGB图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像颜色特征,形成
类似地,提取Depth图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像深度特征,形成 其中i对应于ResNet50的层数,i取值为1至5的自然数;
所述深度过滤残差模块,首先将Depth图像与RGB图像进行级联,再经过通道注意力层,形成通道注意力掩码,通过与Depth图像特征逐元素相乘,得到通道过滤后的Depth特征;接着通道过滤后的Depth特征,经过空间注意力层,形成空间注意力掩码,通过与Depth图像特征逐元素相乘,得到空间过滤后的Depth特征;将所述空间过滤后的Depth特征以残差形式附加到RGB图像特征上,形成RGBD融合特征 所述方法描述为:所述Cat(·)表示级联和卷积操作,CA(·)操作是指论文《CBAM:Convolutional Block Attention Module》中所提出的通道注意力模块,SA(·)操作是指论文《CBAM:Convolutional BlockAttention Module》中所提出的空间注意力模块,“×”是指逐元素相乘操作,“+”是指逐元素相加操作;
根据i的不同,将 记为低层RGBD融合特征,将 记为高层RGBD融合特征。
3.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S2中,利用三个Transformer增强所述高层RGBD融合特征,形成高层RGBD增强特征;具体分为三个子步骤:尺度调整、三个Transformer嵌入、特征级联;
S2.1:尺度调整
具体分为两个阶段,第一阶段调整通道数,第二阶段调整分辨率,最终形成通道数和分辨率都相同的高层RGBD同尺度特征S2.2:三个Transformer嵌入所述高层RGBD同尺度特征 经过三个Transformer层,产生高层RGBD优化特征
其中Transformer(v)操作表示《Attention Is All You Need》中提出的Transformer;
S2.3:特征级联
所述高层RGBD融合特征与高层RGBD优化特征进行级联并卷积,产生高层RGBD增强特征
4.根据权利要求3所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S2.1:尺度调整中,具体步骤如下:
S2.1.1:调整通道数
对于所述S1步骤得到的高层RGBD融合特征 实施一个T(·)操作,得到同通道数的高层RGBD多尺度特征 具体描述为:其中T(·)操作是指对特征X进行卷积核为3×3的卷积操作,并实施ReLU激活函数:T(X)=ReLU(Conv(X))其中Conv(·)表示卷积操作,ReLU(·)表示ReLU激活函数;
S2.1.2:调整分辨率
对于所述S2.1.1步骤得到的同通道数的高层RGBD多尺度特征 经过一个逐层上采样操作PUFM(·),得到同通道数同分辨率的高层RGBD同尺度特征 具体描述为:
所述PUFM(·)操作根据i的不同有所区别,具体定义如下:
5.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S3中,三流解码所述高层RGBD增强特征,通过与低层RGBD融合特征的结合,加强显著物体边缘细节信息,形成体现全局和局部特性的RGBD细化特征 具体方法如下:
6.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S4中,融合所述RGBD细化特征形成显著图: