利索能及
我要发布
收藏
专利号: 2022104693206
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的协同显著性检测方法,其特征在于,包括以下步骤:步骤一:给定一个包含N个图像的图像组 其中N个图像整体特征相似;

步骤二:通过预训练的特征提取网络提取图像组 的目标特征,得到一组图像N×C×H×W的特征图F∈R ;

N×C×H×W

步骤三:将一组图像的特征图F∈R 输入进分组注意力模块中,得到改善后的特征N×C×H×W图f∈R ;

N×C×H×W

步骤四:将特征图f∈R 输入进共识模块,得到一组图像的共同显著性目标特征共

1×C×1×1

识E∈R ;

步骤五:基于特征图f和共识E得到共同显著性目标特征图,将其与特征提取网络中不同尺度的特征图进行自上而下的迭代,得到协同显著性图;

在步骤三中,包括以下步骤:

N×C×H×W

将一组图像的特征图F∈R 依次划分为4个互斥组[F'1,F'2,F'3,F'4],然后定义为其中一个互斥小组特征,按照如下步骤进行注意力特征改善:

1 3×3,1’ 1×1

An=softmax(PW(maxpool (DW (Fn))))                  (1)f=concat([f1,f2,f3,f4])                                 (3)

3×3,1 1×1

在公式(1)中,maxpool 是3×3的最大池化核并且padding=1,DW 是1×1的DW卷1

积,PW 是只有一个滤波器的1×1卷积,采用softmax函数规范化,An是一个从一组中间特征映射F'n推断出来的注意力映射;

每一组注意力映射经过公式(2)中的特征分布后得到细化的特征映射集fn,其中 元素乘法,是 元素加法;

分组注意力模块的输出f是通过公式(3)连接每一组的特征映射集得到的;

在步骤四中,包括以下步骤:

N×C×H×W NHW

首先,对输入的特征图f∈R 采用内积进行逐像素的内积,得到亲和图Sf∈R×NHW,如公式(4)所示:

T

S=θ(f) φ(f)          (4)其中,θ和φ为线性嵌入函数;

NHW×N

然后,计算亲和图Sf中每个图像的最大值得Mf∈R ,并且平均N个图像的最大值生成NHW×1全局注意力亲和图Af∈R ;

N×(1×H×W)

使用一个softmax函数来规范Af并且改变其形式,生成注意力图As∈R ;

a N×C×H×W

再将注意力图As与原始特征图f相乘得到注意力特征图f∈R ;

a N×C×H×W

最后通过对注意力特征图f ∈R 沿批次维度和空间维度的平均池化生成图像组

1×C×1×1

的共识E∈R ;

在步骤五中,包括以下步骤:

N×C×H×W 1×C×1×1将图像组的特征图f∈R 与其共识E∈R 相乘得到图像组的共同显著性目标特征图 再用2个卷积层将其通道数将为64得步骤(2)中采用在ImageNet预训练的VGG‑16对输入的图像组进行特征提取,其分支VGG‑16_1,VGG‑16_2,VGG‑16_3,VGG‑16_4提取的特征为Fn,n∈(1,2,3,4);

然后依次按照如下步骤进行自上而下解码:其中,(·)↑为上采样,将 上采样至Fn大小;

L(·)为2个卷积层,将Fn通道数降为64,为元素加法;

E(·)是两个64核卷积层;

D(·)用于深度监督,通过两个卷积层和一个sigmoid层输出预测;最终S1为图像组的协同显著性图;

在训练过程中损失函数如下:

其中Sn是显著图预测,Gn是ground truth。