1.一种基于信息互补的双流解码器的图像显著性检测方法,包括以下步骤:步骤S1、通过扩张和侵蚀突出并计算标签图像之间的差值,来生成轮廓细节图,并采用种子填充算法寻找封闭轮廓内的区域,从而获得目标主体图;
步骤S2、对训练数据集图像做随机裁剪、随机旋转、归一化、灰度化处理以增强样本的多样性;
步骤S3、输入一个尺度为H×W的图像,使用VGG16框架预先处理,并使用一组不同维度的编码块,分别收集不同大小的图像特征;
步骤S4、对通过编码器得到的五层输出特征图输入Embedding层,进行统一维度;
步骤S5、将目标主体图编码后的特征和轮廓细节图编码后的特征,分别传入显著性支路和轮廓支路,同时在各自支路上分别用获得的主体特征图和轮廓特征图进行监督,一方面将二者的信息进行交互融合以达到信息互补,另一方面将二者分别传入各自的图像解码器以丰富特征;具体包括:每个特征融合模块包括两条支路,分别是主体支路和轮廓支路,每条支路上还会附加对应的新支路并分别用主体图与轮廓图进行监督,然后再将得到的特征进行叠加融合后,不同新支路将得到的新特征输入到对面主支路中进行特征融合;由于最后的输出以显著性目标为主,所以以主体支路为主,将结果输入到下一个特征融合模块,模块之间可进行叠加,具体步骤如下:S51.对于每个特征融合模块,需要将两个数据进行相加,两个输入源分别是来自编码器对应的特征输出层以及来自上一层的模块的输出;对于主体图的第一个特征融合模块,由于没有来自上一层模块的输入特征,将编码器中的第5层输出作为上一层解码器的输入,其中,支路中间连接的实现如下: (5)
(6)
其中, 和 分别表示主体支路和轮廓支路, 表示卷积操作, 的下标表示对应的分支, 和 代表了相关任务的预测,其中还添加了额外监督;
S52. 每个特征融合模块包括两条支路,分别是主体支路和轮廓支路,每条支路上还会附加对应的新支路并分别用主体图与轮廓图进行监督,然后再将得到的特征进行叠加融合后,不同新支路将得到的新特征输入到对面主支路中进行特征融合,直至重复叠加5次模块,将最后的输入特征进行融合后,输出主题预测图,其支路具体操作以及最终预测如下: (7)
(8)
其中, 和 分别表示上采样和连接操作;对于最终的预测,将主体支路中的所有特征进行连接,以平衡层次信息,具体表示为: (9)
(10)
其中,所有 在连接之前都上采样到输入大小,再通过在连接特征上聚合最终预测;
步骤S6、将两个主支路上所得到的目标主体特征和轮廓细节特征进行相加融合后,再通过上采样操作和最后的连接操作,得到最终的预测图像。
2.如权利要求1所述的一种基于信息互补的双流解码器的图像显著性检测方法,其特征在于:步骤S1所述扩张和侵蚀突出并计算标签图像之间的差值,来生成轮廓细节图,并采用种子填充算法寻找封闭轮廓内的区域,从而获得目标主体图,具体包括:S11.输入一个标签图像,显著性目标区域为白色部分,背景为黑色部分,尺寸无要求,令背景部分像素值为0,前景部分像素值为1;S12. 利用扩张和侵蚀突出并计算标签图像之间的差值,来生成轮廓细节图,并采用种子填充算法寻找封闭轮廓内的区域,从而获得目标主体图,计算公式如下: (1)
(2)
其中, 和 分别表示侵蚀和扩张操作,用 代表结构元素,对工作空间 中的每一点 进行相应的操作。
3.如权利要求1所述的一种基于信息互补的双流解码器的图像显著性检测方法,其特征在于:步骤S3具体包括:使用VGG16模型训练得到的预训练模型,加载参数,输入数据,除全连接层外,得到5层特征输出,并使用一组不同维度的编码块,分别收集不同大小的图像特征,分别记为 ;
为了减少特征通道和计算量,每个特征图的顶部添加了一个通道池化层,以使信息通过不同的通道进行传递,其具体定义为: (3)
(4)
其中,和 是整数, 表示每个特征图的索引值, 表示通道池化操作,就表示特征图 的第 通道,同时该池化层收集每个 通道的最大值,其中 和 分别表示输入通道和输出通道。
4.如权利要求1所述的一种基于信息互补的双流解码器的图像显著性检测方法,其特征在于:步骤S6具体包括:将每个模块得到的三个预测图,包括主题预测图、轮廓细节预测图、以及显著性目标预测图与真实数据标签进行对比,计算损失值,反向传播更新模型中的权值,损失值计算内容如下:对于得到的主体预测图和轮廓细节预测图,与对应的标签图进行求损失值,损失值计算采用Binary Cross Entropy函数: (11)
其中, 是标签图位于 的像素对应的值,值的范围在 ; 是预测图位于 的像素对应值; 为损失值。