利索能及
我要发布
收藏
专利号: 2021107605043
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种RGB‑D图像显著目标检测方法,其特征在于,该方法包括以下步骤:S1、提取RGB图像特征,同时提取Depth图像特征,并将Depth图像特征与RGB图像特征进行融合,形成RGBD融合特征,进一步将其分为高层RGBD融合特征和低层RGBD融合特征;

S2、利用三个Transformer增强所述高层RGBD融合特征,形成高层RGBD增强特征;

S3、三流解码所述高层RGBD增强特征,通过与低层RGBD融合特征的结合,加强显著物体边缘细节信息,形成体现全局和局部特性的RGBD细化特征;

S4、融合所述RGBD细化特征形成显著图。

2.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S1中,提取RGB图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像颜色特征,形成

类似地,提取Depth图像特征的方法是使用在ImageNet上预训练的ResNet50网络提取图像深度特征,形成 其中i对应于ResNet50的层数,i取值为1至5的自然数;

所述深度过滤残差模块,首先将Depth图像与RGB图像进行级联,再经过通道注意力层,形成通道注意力掩码,通过与Depth图像特征逐元素相乘,得到通道过滤后的Depth特征;接着通道过滤后的Depth特征,经过空间注意力层,形成空间注意力掩码,通过与Depth图像特征逐元素相乘,得到空间过滤后的Depth特征;将所述空间过滤后的Depth特征以残差形式附加到RGB图像特征上,形成RGBD融合特征 所述方法描述为:所述Cat(·)表示级联和卷积操作,CA(·)操作是指论文《CBAM:Convolutional Block Attention  Module》中所提出的通道注意力模块,SA(·)操作是指论文《CBAM:Convolutional BlockAttention Module》中所提出的空间注意力模块,“×”是指逐元素相乘操作,“+”是指逐元素相加操作;

根据i的不同,将 记为低层RGBD融合特征,将 记为高层RGBD融合特征。

3.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S2中,利用三个Transformer增强所述高层RGBD融合特征,形成高层RGBD增强特征;具体分为三个子步骤:尺度调整、三个Transformer嵌入、特征级联;

S2.1:尺度调整

具体分为两个阶段,第一阶段调整通道数,第二阶段调整分辨率,最终形成通道数和分辨率都相同的高层RGBD同尺度特征S2.2:三个Transformer嵌入所述高层RGBD同尺度特征 经过三个Transformer层,产生高层RGBD优化特征

其中Transformer(v)操作表示《Attention Is All You Need》中提出的Transformer;

S2.3:特征级联

所述高层RGBD融合特征与高层RGBD优化特征进行级联并卷积,产生高层RGBD增强特征

4.根据权利要求3所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S2.1:尺度调整中,具体步骤如下:

S2.1.1:调整通道数

对于所述S1步骤得到的高层RGBD融合特征 实施一个T(·)操作,得到同通道数的高层RGBD多尺度特征 具体描述为:其中T(·)操作是指对特征X进行卷积核为3×3的卷积操作,并实施ReLU激活函数:T(X)=ReLU(Conv(X))其中Conv(·)表示卷积操作,ReLU(·)表示ReLU激活函数;

S2.1.2:调整分辨率

对于所述S2.1.1步骤得到的同通道数的高层RGBD多尺度特征 经过一个逐层上采样操作PUFM(·),得到同通道数同分辨率的高层RGBD同尺度特征 具体描述为:

所述PUFM(·)操作根据i的不同有所区别,具体定义如下:

5.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S3中,三流解码所述高层RGBD增强特征,通过与低层RGBD融合特征的结合,加强显著物体边缘细节信息,形成体现全局和局部特性的RGBD细化特征 具体方法如下:

6.根据权利要求1所述的一种RGB‑D图像显著目标检测方法,其特征在于,在步骤S4中,融合所述RGBD细化特征形成显著图: