利索能及
我要发布
收藏
专利号: 2024110738311
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:包括如下步骤:

S1、获取总训练集;

S2、构建基于综合特征挖掘和背景降噪的协同显著目标检测网络;所述基于综合特征挖掘和背景降噪的协同显著目标检测网络包括依次连接的Input层、主干网络、残差特征模块、综合特征生成模块Ⅰ、特征增强模块、解码器和对抗学习模块;主干网络包括依次连接的特征提取模块Ⅰ、特征提取模块Ⅱ、特征提取模块Ⅲ和特征提取模块Ⅳ,特征提取模块Ⅰ、特征提取模块Ⅱ和特征提取模块Ⅲ的输出端均与解码器的输入端连接;主干网络的输出端还连接对比学习模块,残差特征模块的输出端还连接特征增强模块;Input层的输出端还连接对抗学习模块的输入端;

S3、构建基于综合特征挖掘和背景降噪的协同显著目标检测网络的总生成损失 和总对抗损失 ;

S4、基于总训练集获得子训练集,在总生成损失 和总对抗损失 的引导下,利用子训练集训练基于综合特征挖掘和背景降噪的协同显著目标检测网络,得到基于综合特征挖掘和背景降噪的协同显著目标检测网络模型;

S5、将待检测图像输入至训练好的基于综合特征挖掘和背景降噪的协同显著目标检测网络模型中,前向传播一次,即可得到预测显著图以及预测概率值;

步骤S2中,特征增强模块包括三个逐元素相乘模块、两个矩阵相乘模块和两个Add层,其中第一个逐元素相乘模块与综合特征生成模块Ⅰ中逐元素相乘模块的输出端以及残差特征模块中Add层输出端连接,第二个逐元素相乘模块与残差特征模块中Add层输出端以及综合特征生成模块Ⅰ中响应模块的输出端连接;第一个逐元素相乘模块和第二个逐元素相乘模块的输出端均与第一个Add层连接,第一个Add层依次连接MCA注意力模块、卷积核大小为

1×1的卷积层和ReLU激活层,ReLU激活层分别连接Key卷积层、Query卷积层和Value卷积层,Key卷积层和Query卷积层均与第一个矩阵相乘模块连接,第一个矩阵相乘模块分别连接降序排序模块和Softmax层,降序排序模块和Softmax层的输出端均与第三个逐元素相乘模块的输入端连接,第三个逐元素相乘模块的输出端和Value卷积层的输出端均与第二个矩阵相乘模块的输入端连接,第二个矩阵相乘模块的输出端和ReLU激活层的输出端均与第二个Add层的输入端连接,第二个Add层的输出端与解码器的输入端连接。

2.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S1具体包括以下具体步骤:

S1‑1、获取原始训练集;S1‑2、对原始训练集中的图像进行数据增强得到总训练集,具体包括如下步骤:(1)、将原始训练集中的图像进行左右翻转,每一张图像进行翻转的概率为50%,得到初次增强数据集;(2)、将初次增强数据集中的图像进行上下翻转,每一张图像进行翻转的概率为50%,得到二次增强数据集;(3)、将二次增强数据集中所有的图像进行颜色增强,得到总训练集;其中,所述颜色增强包括亮度增强、对比度增强、颜色增强和锐度增强。

3.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S2中,残差特征模块包括依次连接的卷积核大小为1×1的卷积层和Add层,卷积核大小为1×1的卷积层的输入端还与Add层的输入端连接;其中,残差特征模块中的卷积核大小为1×1的卷积层用于对特征提取模块Ⅳ输出的特征图进行卷积操作;Add层用于对特征提取模块Ⅳ输出的特征图以及卷积层输出的特征图进行逐像素相加操作,得到具有残差特征的特征图。

4.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S2中,综合特征生成模块Ⅰ包括两个并联的卷积核大小为1×1的卷积层,两个卷积核大小为1×1的卷积层的输入端均与残差特征模块的Add层输出端连接,两个卷积核大小为1×1的卷积层的输出端均与矩阵相乘模块连接,矩阵相乘模块依次连接种子选择模块、响应模块、逐元素相乘模块;其中,种子选择模块的输入端与残差特征模块的Add层输出端连接,逐元素相乘模块的输入端与残差特征模块的Add层输出端连接。

5.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S2中,对比学习模块包括两个逐元素相乘模块以及与该两个逐元素相乘模块输出端连接的综合特征生成模块Ⅱ,两个逐元素相乘模块的输入端均与主干网络中特征提取模块Ⅳ的输出端连接,两个逐元素相乘模块的输入端还分别连接有Input层;其中,综合特征生成模块Ⅱ的结构和综合特征生成模块Ⅰ的网络结构相同,功能也相同。

6.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S2中,对抗学习模块包括一个Input层、两个逐元素相乘模块、一个判别器,对抗学习模块的Input层与其中一个逐元素相乘模块连接,另一个逐元素相乘模块与解码器的输出端连接,两个逐元素相乘模块还均与和主干网络连接的Input层的输出端连接,两个逐元素相乘模块的输出端与判别器连接;判别器包括依次连接的四个判别模块以及全连接层和Sigmoid层,其中,四个判别模块的结构相同、功能也相同。

7.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S3中,基于综合特征挖掘和背景降噪的协同显著目标检测网络的总生成损失 包括IoU损失 、BCE损失 、余弦相似度损失 和生成器损失 ;总生成损失 用于约束主干网络、残差特征模块、综合特征生成模块Ⅰ、综合特征生成模块Ⅱ、特征增强模块和解码器的权重参数和超参数的更新,且综合特征生成模块Ⅰ和综合特征生成模块Ⅱ的参数更新保持一致;总对抗损失 用于约束对抗学习模块中判别器的权重参数和超参数的更新。

8.根据权利要求1所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S4具体包括以下步骤:

S4‑1、从步骤S1所述的总训练集中对每种协同显著目标的类别均随机选择N个图像及其相对应的标签,N为自然数,然后将该上述图像和标签分别缩放至大小为256×256×3和

256×256×1,得到子训练集;

步骤S4‑2:将步骤S4‑1所述的子训练集输入至基于综合特征挖掘和背景降噪的协同显著目标检测网络中,进行前向传播,并分别计算基于综合特征挖掘和背景降噪的协同显著目标检测网络的总生成损失 和总对抗损失 ,在总生成损失 和总对抗损失的引导下进行反向传播,更新基于综合特征挖掘和背景降噪的协同显著目标检测网络的权重参数和超参数,其中,总生成损失 约束主干网络、残差特征模块、综合特征生成模块Ⅰ、综合特征生成模块Ⅱ、特征增强模块和解码器的权重参数和超参数的更新,且综合特征生成模块Ⅰ和综合特征生成模块Ⅱ的参数更新保持一致,总对抗损失 约束对抗学习模块中判别器的权重参数和超参数的更新,迭代220个epoch后,即完成基于综合特征挖掘和背景降噪的协同显著目标检测网络的训练过程,得到基于综合特征挖掘和背景降噪的协同显著目标检测网络模型;其中,超参数包括学习率和迭代次数。

9.根据权利要求8所述的一种基于综合特征挖掘和背景降噪的协同显著目标检测方法,其特征在于:步骤S4‑1中,所述基于综合特征挖掘和背景降噪的协同显著目标检测网络的训练过程中,每一个训练epoch中输入一个子训练集,不同训练epoch中输入的子训练集均采用步骤S4‑1来获取。