利索能及
我要发布
收藏
专利号: 2020101916330
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:

步骤1-1:采集原始3D图像,原始3D图像包括RGB图和深度图,将RGB图和深度图构成训练集,将训练集分为多个不同批次;

步骤1-2:构建RGB图网络和深度图网络,RGB图网络和深度图网络之间通过融合卷积模块连接再融合生成最后的显著性图,形成双目卷积神经网络;

步骤1-3:将训练集的不同批次图和对应的已标注真实人眼显著区域的标签图依次输入到双目卷积神经网络中进行训练,训练过程中每一批次图经双目卷积神经网络处理输出的结果和对应的标签图进行对比得到M个损失函数值,M表示同一批次中的图总数,N表示批次的总数,共计获得N*M个损失函数值,将所有损失函数值相加后除以图总个数N*M得到总损失;

步骤1-4:通过反向传播优化神经网络权重参数,将最小损失函数值对应的权值矢量和偏置项作为双目卷积神经网络的最优权值矢量和最优偏置项,从而获得训练后的双目卷积神经网络;

步骤1-5:对于待测的图像,输入到训练后的双目卷积神经网络中后预测处理,输出预测图即为显著性图。

2.根据权利要求1所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述步骤1-2中,双目卷积神经网络包括总输出层、融合卷积块、RGB图网络和深度图网络,RGB图、深度图分别输入到RGB图网络、深度图网络,RGB图网络和深度图网络的输出分别连接输入到融合卷积块,融合卷积块的输出连接总输出层;

所述的RGB图网络包括第一、第二、第三、第四、第五、第六、第七神经网络块以及六个过渡卷积块、两个聚合模块、一个整体注意力块、一个区域增强模块;RGB图连接输入到第一输入层,第一输入层的输出依次经第一神经网络块、第二神经网络块、第三神经网络块、第四神经网络块、第五神经网络块、第三过渡卷积块和第一聚合模块后连接输入到区域增强模块,区域增强模块的输出连接到第一输出层,同时第三神经网络块的输出和第四神经网络块的输出分别经第一过渡卷积块、第二过渡卷积块后连接输入到第一聚合模块,第一聚合模块的输出和第三神经网络块的输出一起输入到整体注意力块,整体注意力块的输出依次经第六神经网络块、第七神经网络块、第六过渡卷积块后连接到第二聚合模块,同时整体注意力块的输出和第六神经网络块的输出分别经第四过渡卷积块、第五过渡卷积块连接输入到第二聚合模块,第二聚合模块的输出和区域增强模块的输出均连接到点和层,点和层的输出分别输入到融合卷积块和第二输出层;

所述的深度图网络和RGB图网络的结构基本一致,RGB图网络采用resnet-50作为基本网络,深度图采用VGG作为基本网络,深度图网络采用了一个自适应卷积块模块代替区域增强模块;且深度图网络和RGB图网络的点和层的输出均连接输入到融合卷积块;RGB图网络和深度图网络分别输出区域图和边缘图,RGB图网络的第一个输出层和第二输出层分别输出通过区域增强模块区域图和通过第一个头注意力块的区域图,深度图网络的第一个输出层和第二个输出层分别输出通过过渡卷积块边缘图和通过第二个头注意力块的边缘图,将边缘图输入到融合卷积块对区域图进行修正处理获得最终的显著性图。

3.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述步骤1-3中,计算每个损失函数值时,是将单目区域卷积神经网络的两个输出层输出的区域图分别和标签图作损失计算获得第一损失值和第二损失值,同时将边缘辅助卷积神经网络的两个输出层输出的边缘图分别和边缘标签图作损失计算获得第散损失值和第四损失值,边缘标签图是由标签图经Canny算子边缘提取获得,同时将融合卷积块输出的显著性图和标签图作损失计算获得第五损失值,将五个损失值相加获得损失函数值。

4.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述的RGB图网络和深度图网络的两个输出层均包含一个卷积层。

5.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述的区域增强模块为编码解码网络,采用U型网络结构,输入先经过连续两个卷积层、一个池化层、一个卷积层、一个池化层、连续两个卷积层、一个池化层后连接输入到一个中间过渡模块,通过中间过渡模块进入解码过程,解码过程是把通过双线性差值放大图片以及卷积层提取信息来达到解码目的最后的一个池化层的输出换为双线性差值上采样变换图片尺寸,整个编码解码过程中有跳连直接从编码部分流入解码部分,从而最后得到区域增强之后的图片,并且其中除了第一层卷积层之外的其他卷积层之后均设置有批标准化和激活函数操作。

6.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:每个所述过渡卷积块结构相同,均主要由两个卷积块和两个注意力机制块组成,输入经过第一个卷积块改变特征图个数,再依次经过两个注意力机制块后再与输入一起输入到叠合层进行堆叠后输入第四卷积块,最后第二个卷积块输出;两个卷积块的结构相同,均由三个卷积层依次连接构成。

7.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述的融合卷积块包括三个卷积块和三个张量运算操作,边缘辅助卷积神经网络和单目区域卷积神经网络的点和层分别输出边缘图与区域图,一方面边缘图与区域图共同输入到一个点和层进行张量加操作,另一方面边缘图与区域图共同输入到一个点乘层进行张量乘操作,点和层和点乘层的输出经各自的一个卷积块后连接到叠合层进行堆叠后输入到第三个卷积块,最后由第三个卷积块输出;三个卷积块的结构相同,均由三个卷积层依次连接构成。

8.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述的聚合模块主要由六个上采样单元和十个卷积单元构成,第三过渡卷积块/第六过渡卷积块的输出分别连接输入到第一上采样单元和第二上采样单元,第一上采样单元的输出连接输入到第一卷积单元,第一卷积单元的输出和第二过渡卷积块/第四过渡卷积块的输出均连接到第一个点乘层处理,第一上采样单元的输出经第四卷积单元后和第一个点乘层的输出一起连接输入到第一个叠合层处理,第一个叠合层的输出依次经第六卷积单元、第四上采样单元后输入到第五卷积单元,第二上采样单元的输出经第三上采样单元后输入到第二卷积单元,同时第二过渡卷积块/第四过渡卷积块的输出经第五上采样单元输入到第三卷积单元,第一过渡卷积块/第一过渡卷积块的输出以及第二卷积单元和第三卷积单元的输出一起连接输入到第二个点乘层,第二个点乘层的输出和第五卷积单元的输出一起输入到第二个叠合层处理,第二个叠合层的输出经第七卷积单元后连接输入到第八卷积单元,第八卷积单元的输出经第九卷积单元后连接输入到整体注意力块/点和层,同时第八卷积单元的输出依次经第十卷积单元和第六上采样单元后输入到区域增强模块。

9.根据权利要求2所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述的第一神经网络块是由一个卷积层、一个池化层和一个激活层依次连接组成;所述的第二神经网络块是由一个卷积单元、连续两个卷积块依次连接组成,所述的第三神经网络块是由一个卷积单元、连续三个卷积块依次连接组成,所述的第四神经网络块是由一个卷积单元、连续五个卷积块依次连接组成,所述的第五神经网络块是由一个卷积单元、连续两个卷积块依次连接组成,所述的第六神经网络块是由一个卷积单元、连续五个卷积块依次连接组成,所述的第七神经网络块是由一个卷积单元、连续两个卷积块依次连接组成;所述的卷积单元是由连续三个卷积层、一个跳连下采样卷积层和一个激活层依次连接组成,所述的卷积块是由连续三个卷积层和一个激活层依次连接组成。

10.根据权利要求8所述的一种卷积神经网络边缘辅助增强的双目显著性图像检测方法,其特征在于:所述的自适应卷积块模块为一个卷积核为1的卷积层。