利索能及
我要发布
收藏
专利号: 2020103893598
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度残差网络的视觉显著性检测方法,其特征在于:所述方法包括以下步骤:步骤1:搭建视觉显著性检测神经网络,包括以下步骤:

步骤1.1:以深度残差网络为基础网络结构;

步骤1.2:在深度残差网络中配合设置金字塔特征增强模块,输出特征图A1、A2、A3、A4;

金字塔特征增强模块包括低层特征增强子模块、中层特征增强子模块、高层特征增强子模块;低层特征增强子模块采用重叠池化对深度残差网络第一层的输出进行特征提取,选用ReLu为激活函数,输出特征图A1;中层特征增强子模块采用3×3卷积核对深度残差网络第二层的输出进行特征提取,选用ReLu为激活函数,输出特征图A2;高层特征增强子模块先进行重叠池化运算,再采用1×1、3×3、5×5三种不同卷积核对深度残差网络第三层和第四层的输出进行特征提取,选用ReLu为激活函数,分别输出特征图A3和A4;

步骤1.3:在深度残差网络中配合设置基于空间金字塔池化的语义监督模块,输出特征图C;

步骤1.4:在深度残差网络中增加特征融合模块;特征融合模块的融合方法包括以下步骤:步骤1.4.1:对金字塔特征增强模块输出的四路特征图A1、A2、A3、A4采用大小为1×1的卷积核进行卷积,分别得到特征图B1、B2、B3、B4;

步骤1.4.2:使用双线性插值的上采样方法对语义监督模块输出的特征图C同时进行四次上采样,分别得到四路特征图D1、D2、D3、D4,其中D1和B1、D2和B2、D3和B3、D4和B4的尺寸一致;

步骤1.4.3:若当前特征融合模块位于神经网络的第四层,则将特征图B4与特征图D4通过级联方式进行融合;若当前特征融合模块位于神经网络的其它位置,则将特征图B3、特征图D3与神经网络第三层特征融合模块输出的特征图、或特征图B2、特征图D2与神经网络第二层特征融合模块输出的特征图、或特征图B1、特征图D1与神经网络第一层特征融合模块输出的特征图通过级联方式进行融合;

步骤1.4.4:采用3×3的卷积核对步骤1.4.3融合的结果进行卷积运算,输出特征图;

步骤2:对神经网络进行训练优化;

步骤3:完成对神经网络的训练;

步骤4:使用训练好的神经网络对输入图像进行检测,输出显著性区域的图像。

2.根据权利要求1所述的一种基于深度残差网络的视觉显著性检测方法,其特征在于:所述步骤1.3中,语义监督模块:

采用一个1×1标准卷积和两个3×3的采样率分别为6、12的空洞卷积对深度残差网络的顶层特征进行特征提取,得到三幅特征图;

将得到的三幅特征图采用级联的方式进行合并重组,构成新的特征图,最后采用1×1的卷积核对新的特征图进行卷积,输出特征图C。

3.根据权利要求1所述的一种基于深度残差网络的视觉显著性检测方法,其特征在于:所述步骤2中,对神经网络进行训练优化包括设置多路损失函数和数据集增强。

4.根据权利要求3所述的一种基于深度残差网络的视觉显著性检测方法,其特征在于:设置所述多路损失函数包括以下步骤:

步骤2.1:输入测试图像,采用交叉熵损失函数来计算模型输出的显著性图和测试图像的显著性真值图的损失;

步骤2.2:对模型输出的显著性图进行3×3卷积操作得到边缘图像,再将边缘图像经过ReLu激活函数得到二值边缘图像,然后使用加权交叉熵损失函数计算二值边缘图像和测试图像边缘的真值图的损失;

步骤2.3:将步骤2.1和步骤2.2两部分损失按式(1)进行加权相加,Lall=α×Lsal+(1‑α)×Ledge (1)

其中Lall表示总损失,Lsal表示显著性区域的损失,Ledge表示显著性边缘的损失,α为权重系数,其取值范围为[0,1]。

5.根据权利要求3所述的一种基于深度残差网络的视觉显著性检测方法,其特征在于:所述数据集增强包括将图像以若干不同角度进行旋转、将图像以若干倍数进行放大及缩小、将图像按水平和垂直方向反转。