利索能及
我要发布
收藏
专利号: 2019104446211
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于包括训练阶段和测试阶段两个过程;

所述的训练阶段过程的具体步骤为:

步骤1_1:选取Q幅原始的彩色真实物体图像及每幅原始的彩色真实物体图像对应的深度图像和真实显著性检测标签图像,并构成训练集,将训练集中的第q幅原始的彩色真实物q q

体图像及其对应的深度图像和真实显著性检测标签图像对应记为{I (i,j)}、{D (i,j)}、然后利用3×3的卷积对训练集中的每幅真实显著性检测标签图像进行边界提取,得到训练集中的每幅真实显著性检测标签图像的显著性边界图,将 的显著性边界图记为 其中,Q为正整数,Q≥200,q为正整数,q的初始值为1,1≤q≤Q,1q q q q

≤i≤W,1≤j≤H,W表示{I (i,j)}、{D (i,j)}、 的宽度,H表示{I (i,j)}、{D (i,q q q

j)}、 的高度,W和H均能够被2整除,{I (i,j)}为RGB彩色图像,I (i,j)表示{Iq q

(i,j)}中坐标位置为(i,j)的像素点的像素值,{D (i,j)}为单通道的深度图像,D(i,j)表q

示{D (i,j)}中坐标位置为(i,j)的像素点的像素值, 表示 中坐标位置为(i,j)的像素点的像素值, 表示 中坐标位置为(i,j)的像素点的像素值;

步骤1_2:构建卷积神经网络:该卷积神经网络包含输入层、隐层、输出层,输入层包括RGB图输入层和深度图输入层,隐层包括5个RGB图神经网络块、4个RGB图最大池化层、5个RGB图上采样神经网络块、4个RGB图融合层、5个深度图神经网络块、4个深度图最大池化层、

5个深度图上采样神经网络块、4个深度图融合层、1个RGB图深度图融合层、1个注意力机制模型,输出层包括RGB图输出层、深度图输出层、融合输出层;

对于RGB图输入层,其输入端接收一幅训练用RGB彩色图像的R通道分量、G通道分量和B通道分量,其输出端输出训练用RGB彩色图像的R通道分量、G通道分量和B通道分量给隐层;

其中,要求训练用RGB彩色图像的宽度为W且高度为H;

对于深度图输入层,其输入端接收RGB图输入层的输入端接收的训练用RGB彩色图像对应的训练用深度图像,其输出端输出训练用深度图像给隐层;其中,训练用深度图像的宽度为W且高度为H;

对于第1个RGB图神经网络块,其输入端接收RGB图输入层的输出端输出的训练用RGB彩色图像的R通道分量、G通道分量和B通道分量,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CP1;

对于第1个RGB图最大池化层,其输入端接收CP1中的所有特征图,其输出端输出64幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CZ1;

对于第2个RGB图神经网络块,其输入端接收CZ1中的所有特征图,其输出端输出128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CP2;

对于第2个RGB图最大池化层,其输入端接收CP2中的所有特征图,其输出端输出128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CZ2;

对于第3个RGB图神经网络块,其输入端接收CZ2中的所有特征图,其输出端输出256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CP3;

对于第3个RGB图最大池化层,其输入端接收CP3中的所有特征图,其输出端输出256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CZ3;

对于第4个RGB图神经网络块,其输入端接收CZ3中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CP4;

对于第4个RGB图最大池化层,其输入端接收CP4中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CZ4;

对于第5个RGB图神经网络块,其输入端接收CZ4中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CP5;

对于第1个RGB图上采样神经网络块,其输入端接收CP5中的所有特征图,其输出端输出

512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CYP1;

对于第1个RGB图融合层,其输入端接收CYP1中的所有特征图和CP4中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CR1;

对于第2个RGB图上采样神经网络块,其输入端接收CR1中的所有特征图,其输出端输出

256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CYP2;

对于第2个RGB图融合层,其输入端接收CYP2中的所有特征图和CP3中的所有特征图,其输出端输出256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CR2;

对于第3个RGB图上采样神经网络块,其输入端接收CR2中的所有特征图,其输出端输出

128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CYP3;

对于第3个RGB图融合层,其输入端接收CYP3中的所有特征图和CP2中的所有特征图,其输出端输出128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为CR3;

对于第4个RGB图上采样神经网络块,其输入端接收CR3中的所有特征图,其输出端输出

64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CYP4;

对于第4个RGB图融合层,其输入端接收CYP4中的所有特征图和CP1中的所有特征图,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CR4;

对于第5个RGB图上采样神经网络块,其输入端接收CR4中的所有特征图,其输出端输出

64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CYP5;

对于第1个深度图神经网络块,其输入端接收深度图输入层的输出端输出的训练用深度图像,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为DP1;

对于第1个深度图最大池化层,其输入端接收DP1中的所有特征图,其输出端输出64幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DZ1;

对于第2个深度图神经网络块,其输入端接收DZ1中的所有特征图,其输出端输出128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DP2;

对于第2个深度图最大池化层,其输入端接收DP2中的所有特征图,其输出端输出128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DZ2;

对于第3个深度图神经网络块,其输入端接收DZ2中的所有特征图,其输出端输出256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DP3;

对于第3个深度图最大池化层,其输入端接收DP3中的所有特征图,其输出端输出256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DZ3;

对于第4个深度图神经网络块,其输入端接收DZ3中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DP4;

对于第4个深度图最大池化层,其输入端接收DP4中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DZ4;

对于第5个深度图神经网络块,其输入端接收DZ4中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DP5;

对于第1个深度图上采样神经网络块,其输入端接收DP5中的所有特征图,其输出端输出

512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DYP1;

对于第1个深度图融合层,其输入端接收DYP1中的所有特征图和DP4中的所有特征图,其输出端输出512幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DR1;

对于第2个深度图上采样神经网络块,其输入端接收DR1中的所有特征图,其输出端输出

256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DYP2;

对于第2个深度图融合层,其输入端接收DYP2中的所有特征图和DP3中的所有特征图,其输出端输出256幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DR2;

对于第3个深度图上采样神经网络块,其输入端接收DR2中的所有特征图,其输出端输出

128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DYP3;

对于第3个深度图融合层,其输入端接收DYP3中的所有特征图和DP2中的所有特征图,其输出端输出128幅宽度为 且高度为 的特征图,将输出的所有特征图构成的集合记为DR3;

对于第4个深度图上采样神经网络块,其输入端接收DR3中的所有特征图,其输出端输出

64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为DYP4;

对于第4个深度图融合层,其输入端接收DYP4中的所有特征图和DP1中的所有特征图,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为DR4;

对于第5个深度图上采样神经网络块,其输入端接收DR4中的所有特征图,其输出端输出

64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为DYP5;

对于RGB图深度图融合层,其输入端接收CYP5中的所有特征图和DYP5中的所有特征图,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CDR;

对于注意力机制模型,其输入端接收CDR中的所有特征图,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为ZM;

所述的注意力机制模型由6个残差块、卷积网络块、1个SUM融合层、1个MUL融合层构成,第1个残差块的输入端为注意力机制模型的输入端,第2个残差块的输入端接收第1个残差块的输出端输出的64幅宽度为W且高度为H的特征图,第3个残差块的输入端接收第2个残差块的输出端输出的64幅宽度为W且高度为H的特征图,第4个残差块的输入端接收第1个残差块的输出端输出的64幅宽度为W且高度为H的特征图,第5个残差块的输入端接收第4个残差块的输出端输出的64幅宽度为W且高度为H的特征图,卷积网络块的输入端接收第5个残差块的输出端输出的64幅宽度为W且高度为H的特征图,MUL融合层的输入端接收第3个残差块的输出端输出的64幅宽度为W且高度为H的特征图和卷积网络块的输出端输出的64幅宽度为W且高度为H的特征图,SUM融合层的输入端接收第3个残差块的输出端输出的64幅宽度为W且高度为H的特征图和MUL融合层的输出端输出的64幅宽度为W且高度为H的特征图,第6个残差块的输入端接收SUM融合层的输出端输出的64幅宽度为W且高度为H的特征图,第6个残差块的输出端为注意力机制模型的输出端;

所述的残差块由第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第一SUM融合层、第二SUM融合层、第三SUM融合层构成,第二十七卷积层的输入端为残差块的输入端,第二十八卷积层的输入端接收第二十七卷积层的输出端输出的所有特征图,第一SUM融合层的输入端接收第二十八卷积层的输出端输出的所有特征图和第二十七卷积层的输出端输出的所有特征图,第二十九卷积层的输入端接收第一SUM融合层的输出端输出的所有特征图,第二SUM融合层的输入端接收第二十九卷积层的输出端输出的所有特征图和第一SUM融合层的输出端输出的所有特征图,第三十卷积层的输入端接收第二SUM融合层的输出端输出的所有特征图,第三SUM融合层的输入端接收第三十卷积层的输出端输出的所有特征图和输入到第二十七卷积层的输入端的所有特征图,第三SUM融合层的输出端为残差块的输出端;其中,第二十七卷积层的卷积核大小为1×1、卷积核个数为64、补零参数为0,第二十八卷积层的卷积核大小为1×3、卷积核个数为64、补零参数对应为0和1,第二十九卷积层的卷积核大小为3×1、卷积核个数为64、补零参数对应为1和0,第三十卷积层的卷积核大小为1×1、卷积核个数为64、补零参数为0,第二十七卷积层、第二十八卷积层、第一SUM融合层、第二十九卷积层、第二SUM融合层各自的输出端输出的所有特征图的宽度均为W且高度为H,第三十卷积层和第三SUM融合层各自的输出端输出的所有特征图的宽度均为W且高度为H;

所述的卷积网络块由依次设置的第三十一批标准化层、第三十一激活层、第三十一卷积层、第三十二批标准化层、第三十二激活层、第三十二卷积层、第三十三激活层组成,第三十一批标准化层的输入端为卷积网络块的输入端,第三十一激活层的输入端接收第三十一批标准化层的输出端输出的宽度为W且高度为H的所有特征图,第三十一卷积层的输入端接收第三十一激活层的输出端输出的宽度为W且高度为H的所有特征图,第三十二批标准化层的输入端接收第三十一卷积层的输出端输出的宽度为W且高度为H的所有特征图,第三十二激活层的输入端接收第三十二批标准化层的输出端输出的宽度为W且高度为H的所有特征图,第三十二卷积层的输入端接收第三十二激活层的输出端输出的宽度为W且高度为H的所有特征图,第三十三激活层的输入端接收第三十二卷积层的输出端输出的宽度为W且高度为H的所有特征图,第三十三激活层的输出端为卷积网络块的输出端;其中,第三十一卷积层和第三十二卷积层的卷积核大小均为1×1、卷积核个数均为64,第三十一激活层和第三十二激活层的激活方式均为“Relu”,第三十三激活层的激活方式为“Sigmoid”;

对于RGB图输出层,其输入端接收CYP5中的所有特征图,其输出端输出1幅宽度为W且高度为H的特征图,该特征图作为第一显著性检测预测图;

对于深度图输出层,其输入端接收DYP5中的所有特征图,其输出端输出1幅宽度为W且高度为H的特征图,该特征图作为显著性边界预测图;

对于融合输出层,其输入端接收ZM中的所有特征图,其输出端输出1幅宽度为W且高度为H的特征图,该特征图作为第二显著性检测预测图;

步骤1_3:将训练集中的每幅原始的彩色真实物体图像作为训练用RGB彩色图像,将训练集中的每幅原始的彩色真实物体图像对应的深度图像作为训练用深度图像,输入到卷积神经网络中进行训练,得到训练集中的每幅原始的彩色真实物体图像对应的第一显著性检q

测预测图、第二显著性检测预测图、显著性边界预测图,将{I (i,j)}对应的第一显著性检q

测预测图记为 将{I (i,j)}对应的第二显著性检测预测图记为q

将{I (i,j)}对应的显著性边界预测图记为 其中, 表示中坐标位置为(i,j)的像素点的像素值, 表示 中坐标位置为(i,j)的像素点的像素值, 表示 中坐标位置为(i,j)的像素点的像素值;

步骤1_4:计算训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像与对应的第一显著性检测预测图之间的损失函数值,将 与 之间的损失函数值记为 并计算训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像与对应的第二显著性检测预测图之间的损失函数值,将 与 之间的损失函数值记为

计算训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像的显著性边界图与对应的显著性边界预测图之间的损失函数值,将 与 之间的损失函数值记为 然后将训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像所对应的三个损失函数值相加,得到训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像的最终损失函数值;其中,和 均采用分类交叉熵获得,

采用Dice loss获得;

步骤1_5:重复执行步骤1_3和步骤1_4共V次,得到卷积神经网络训练模型,并共得到Q×V个最终损失函数值;然后从Q×V个最终损失函数值中找出值最小的最终损失函数值;接着将值最小的最终损失函数值对应的权值矢量和偏置项对应作为卷积神经网络训练模型best best

的最优权值矢量和最优偏置项,对应记为W 和b ;其中,V>1;

所述的测试阶段过程的具体步骤为:

步骤2_1:令 表示待显著性检测的彩色真实物体图像,将 对应的深度图像记为 其中,1≤i'≤W',1≤j'≤H',W'表示 和 的宽度,H'表示 和 的高度, 表示 中坐标位置为(i',j')的像素点的像素值, 表示 中坐标位置为(i',j')的像素点的像素值;

步骤2_2:将 的R通道分量、G通道分量和B通道分量以及 输入到卷积best best

神经网络训练模型中,并利用W 和b 进行预测,得到 对应的第一显著性检测预测图、第二显著性检测预测图、显著性边界预测图,将 对应的第二显著性检测预测图作为预测显著性检测图像,记为 其中, 表示 中坐标位置为(i',j')的像素点的像素值。

2.根据权利要求1所述的多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于所述的步骤1_1中, 的获取过程为:步骤1_1a:将 中当前待处理的像素点定义为当前像素点;

步骤1_1b:利用权重均为1的3×3的卷积对当前像素点进行卷积操作,得到卷积结果;

步骤1_1c:若卷积结果为0或9,则将当前像素点确定为非边界像素点;若卷积结果为1至8中的任一个数值,则将当前像素点确定为边界像素点;

步骤1_1d:将 中下一个待处理的像素点作为当前像素点,然后返回步骤1_1b继续执行,直至 中的所有像素点处理完毕;

步骤1_1e:令 表示 的显著性边界图,将 中坐标位置为(i,j)的像素点的像素值记为 若 中坐标位置为(i,j)的像素点为非边界像素点,则令 若 中坐标位置为(i,j)的像素点为边界像素点,则令 其中, 和 中的“=”为赋值符号。

3.根据权利要求1或2所述的多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于所述的步骤1_2中,第1个RGB图神经网络块和第1个深度图神经网络块的结构相同,其由依次设置的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一批标准化层的输入端接收第一卷积层的输出端输出的所有特征图,第一激活层的输入端接收第一批标准化层的输出端输出的所有特征图,第二卷积层的输入端接收第一激活层的输出端输出的所有特征图,第二批标准化层的输入端接收第二卷积层的输出端输出的所有特征图,第二激活层的输入端接收第二批标准化层的输出端输出的所有特征图,第二激活层的输出端为其所在的神经网络块的输出端;其中,第一卷积层和第二卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为1,第一激活层和第二激活层的激活方式均为“Relu”,第一批标准化层、第二批标准化层、第一激活层、第二激活层各自的输出端输出64幅特征图;

第2个RGB图神经网络块和第2个深度图神经网络块的结构相同,其由依次设置的第三卷积层、第三批标准化层、第三激活层、第四卷积层、第四批标准化层、第四激活层组成,第三卷积层的输入端为其所在的神经网络块的输入端,第三批标准化层的输入端接收第三卷积层的输出端输出的所有特征图,第三激活层的输入端接收第三批标准化层的输出端输出的所有特征图,第四卷积层的输入端接收第三激活层的输出端输出的所有特征图,第四批标准化层的输入端接收第四卷积层的输出端输出的所有特征图,第四激活层的输入端接收第四批标准化层的输出端输出的所有特征图,第四激活层的输出端为其所在的神经网络块的输出端;其中,第三卷积层和第四卷积层的卷积核大小均为3×3、卷积核个数均为128、补零参数均为1,第三激活层和第四激活层的激活方式均为“Relu”,第三批标准化层、第四批标准化层、第三激活层、第四激活层各自的输出端输出128幅特征图;

第3个RGB图神经网络块和第3个深度图神经网络块的结构相同,其由依次设置的第五卷积层、第五批标准化层、第五激活层、第六卷积层、第六批标准化层、第六激活层、第七卷积层、第七批标准化层、第七激活层组成,第五卷积层的输入端为其所在的神经网络块的输入端,第五批标准化层的输入端接收第五卷积层的输出端输出的所有特征图,第五激活层的输入端接收第五批标准化层的输出端输出的所有特征图,第六卷积层的输入端接收第五激活层的输出端输出的所有特征图,第六批标准化层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输入端接收第六批标准化层的输出端输出的所有特征图,第七卷积层的输入端接收第六激活层的输出端输出的所有特征图,第七批标准化层的输入端接收第七卷积层的输出端输出的所有特征图,第七激活层的输入端接收第七批标准化层的输出端输出的所有特征图,第七激活层的输出端为其所在的神经网络块的输出端;其中,第五卷积层、第六卷积层和第七卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第五激活层、第六激活层和第七激活层的激活方式均为“Relu”,第五批标准化层、第六批标准化层、第七批标准化层、第五激活层、第六激活层、第七激活层各自的输出端输出256幅特征图;

第4个RGB图神经网络块和第4个深度图神经网络块的结构相同,其由依次设置的第八卷积层、第八批标准化层、第八激活层、第九卷积层、第九批标准化层、第九激活层、第十卷积层、第十批标准化层、第十激活层组成,第八卷积层的输入端为其所在的神经网络块的输入端,第八批标准化层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输入端接收第八批标准化层的输出端输出的所有特征图,第九卷积层的输入端接收第八激活层的输出端输出的所有特征图,第九批标准化层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输入端接收第九批标准化层的输出端输出的所有特征图,第十卷积层的输入端接收第九激活层的输出端输出的所有特征图,第十批标准化层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输入端接收第十批标准化层的输出端输出的所有特征图,第十激活层的输出端为其所在的神经网络块的输出端;其中,第八卷积层、第九卷积层和第十卷积层的卷积核大小均为3×3、卷积核个数均为512、补零参数均为1,第八激活层、第九激活层和第十激活层的激活方式均为“Relu”,第八批标准化层、第九批标准化层、第十批标准化层、第八激活层、第九激活层、第十激活层各自的输出端输出512幅特征图;

第5个RGB图神经网络块和第5个深度图神经网络块的结构相同,其由依次设置的第十一卷积层、第十一批标准化层、第十一激活层、第十二卷积层、第十二批标准化层、第十二激活层、第十三卷积层、第十三批标准化层、第十三激活层组成,第十一卷积层的输入端为其所在的神经网络块的输入端,第十一批标准化层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输入端接收第十一批标准化层的输出端输出的所有特征图,第十二卷积层的输入端接收第十一激活层的输出端输出的所有特征图,第十二批标准化层的输入端接收第十二卷积层的输出端输出的所有特征图,第十二激活层的输入端接收第十二批标准化层的输出端输出的所有特征图,第十三卷积层的输入端接收第十二激活层的输出端输出的所有特征图,第十三批标准化层的输入端接收第十三卷积层的输出端输出的所有特征图,第十三激活层的输入端接收第十三批标准化层的输出端输出的所有特征图,第十三激活层的输出端为其所在的神经网络块的输出端;其中,第十一卷积层、第十二卷积层和第十三卷积层的卷积核大小均为3×3、卷积核个数均为512、补零参数均为1,第十一激活层、第十二激活层和第十三激活层的激活方式均为“Relu”,第十一批标准化层、第十二批标准化层、第十三批标准化层、第十一激活层、第十二激活层、第十三激活层各自的输出端输出512幅特征图。

4.根据权利要求3所述的多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于所述的步骤1_2中,4个RGB图最大池化层和4个深度图最大池化层均为最大池化层,第1个至第3个RGB图最大池化层、第1个至第3个深度图最大池化层的池化尺寸均为2、步长均为2,第4个RGB图最大池化层和第4个深度图最大池化层的池化尺寸均为1、步长均为1。

5.根据权利要求4所述的多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于所述的步骤1_2中,第1个RGB图上采样神经网络块和第1个深度图上采样神经网络块的结构相同,其由依次设置的第十四卷积层、第十四批标准化层、第十四激活层、第十五卷积层、第十五批标准化层、第十五激活层、第十六卷积层、第十六批标准化层、第十六激活层组成,第十四卷积层的输入端为其所在的神经网络块的输入端,第十四批标准化层的输入端接收第十四卷积层的输出端输出的所有特征图,第十四激活层的输入端接收第十四批标准化层的输出端输出的所有特征图,第十五卷积层的输入端接收第十四激活层的输出端输出的所有特征图,第十五批标准化层的输入端接收第十五卷积层的输出端输出的所有特征图,第十五激活层的输入端接收第十五批标准化层的输出端输出的所有特征图,第十六卷积层的输入端接收第十五激活层的输出端输出的所有特征图,第十六批标准化层的输入端接收第十六卷积层的输出端输出的所有特征图,第十六激活层的输入端接收第十六批标准化层的输出端输出的所有特征图,第十六激活层的输出端为其所在的神经网络块的输出端;其中,第十四卷积层、第十五卷积层和第十六卷积层均为带孔卷积层,第十四卷积层、第十五卷积层和第十六卷积层的卷积核大小均为3×3、卷积核个数均为512、补零参数均为2、扩张参数均为2,第十四激活层、第十五激活层和第十六激活层的激活方式均为“Relu”,第十四批标准化层、第十五批标准化层、第十六批标准化层、第十四激活层、第十五激活层、第十六激活层各自的输出端输出512幅特征图;

第2个RGB图上采样神经网络块和第2个深度图上采样神经网络块的结构相同,其由依次设置的第十七卷积层、第十七批标准化层、第十七激活层、第十八卷积层、第十八批标准化层、第十八激活层、第十九卷积层、第十九批标准化层、第十九激活层、第一上采样层组成,第十七卷积层的输入端为其所在的神经网络块的输入端,第十七批标准化层的输入端接收第十七卷积层的输出端输出的所有特征图,第十七激活层的输入端接收第十七批标准化层的输出端输出的所有特征图,第十八卷积层的输入端接收第十七激活层的输出端输出的所有特征图,第十八批标准化层的输入端接收第十八卷积层的输出端输出的所有特征图,第十八激活层的输入端接收第十八批标准化层的输出端输出的所有特征图,第十九卷积层的输入端接收第十八激活层的输出端输出的所有特征图,第十九批标准化层的输入端接收第十九卷积层的输出端输出的所有特征图,第十九激活层的输入端接收第十九批标准化层的输出端输出的所有特征图,第一上采样层的输入端接收第十九激活层的输出端输出的所有特征图,第一上采样层的输出端为其所在的神经网络块的输出端;其中,第十七卷积层、第十八卷积层和第十九卷积层均为带孔卷积层,第十七卷积层的卷积核大小为3×3、卷积核个数为512、补零参数为4、扩张参数为4,第十八卷积层和第十九卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为4、扩张参数均为4,第十七激活层、第十八激活层和第十九激活层的激活方式均为“Relu”,第十七批标准化层和第十七激活层各自的输出端输出512幅特征图,第十八批标准化层、第十九批标准化层、第十八激活层、第十九激活层各自的输出端输出256幅特征图,第一上采样层的放大系数为2,第一上采样层采用的方法为双线性差值;

第3个RGB图上采样神经网络块和第3个深度图上采样神经网络块的结构相同,其由依次设置的第二十卷积层、第二十批标准化层、第二十激活层、第二十一卷积层、第二十一批标准化层、第二十一激活层、第二十二卷积层、第二十二批标准化层、第二十二激活层、第二上采样层组成,第二十卷积层的输入端为其所在的神经网络块的输入端,第二十批标准化层的输入端接收第二十卷积层的输出端输出的所有特征图,第二十激活层的输入端接收第二十批标准化层的输出端输出的所有特征图,第二十一卷积层的输入端接收第二十激活层的输出端输出的所有特征图,第二十一批标准化层的输入端接收第二十一卷积层的输出端输出的所有特征图,第二十一激活层的输入端接收第二十一批标准化层的输出端输出的所有特征图,第二十二卷积层的输入端接收第二十一激活层的输出端输出的所有特征图,第二十二批标准化层的输入端接收第二十二卷积层的输出端输出的所有特征图,第二十二激活层的输入端接收第二十二批标准化层的输出端输出的所有特征图,第二上采样层的输入端接收第二十二激活层的输出端输出的所有特征图,第二上采样层的输出端为其所在的神经网络块的输出端;其中,第二十卷积层、第二十一卷积层和第二十二卷积层均为带孔卷积层,第二十卷积层的卷积核大小为3×3、卷积核个数为256、补零参数为6、扩张参数为6,第二十一卷积层和第二十二卷积层的卷积核大小均为3×3、卷积核个数均为128、补零参数均为6、扩张参数均为6,第二十激活层、第二十一激活层和第二十二激活层的激活方式均为“Relu”,第二十批标准化层和第二十激活层各自的输出端输出256幅特征图,第二十一批标准化层、第二十二批标准化层、第二十一激活层、第二十二激活层各自的输出端输出128幅特征图,第二上采样层的放大系数为2,第二上采样层采用的方法为双线性差值;

第4个RGB图上采样神经网络块和第4个深度图上采样神经网络块的结构相同,其由依次设置的第二十三卷积层、第二十三批标准化层、第二十三激活层、第二十四卷积层、第二十四批标准化层、第二十四激活层、第三上采样层组成,第二十三卷积层的输入端为其所在的神经网络块的输入端,第二十三批标准化层的输入端接收第二十三卷积层的输出端输出的所有特征图,第二十三激活层的输入端接收第二十三批标准化层的输出端输出的所有特征图,第二十四卷积层的输入端接收第二十三激活层的输出端输出的所有特征图,第二十四批标准化层的输入端接收第二十四卷积层的输出端输出的所有特征图,第二十四激活层的输入端接收第二十四批标准化层的输出端输出的所有特征图,第三上采样层的输入端接收第二十四激活层的输出端输出的所有特征图,第三上采样层的输出端为其所在的神经网络块的输出端;其中,第二十三卷积层、第二十四卷积层均为带孔卷积层,第二十三卷积层的卷积核大小为3×3、卷积核个数为128、补零参数为8、扩张参数为8,第二十四卷积层的卷积核大小为3×3、卷积核个数为64、补零参数均为8、扩张参数均为8,第二十三激活层、第二十四激活层的激活方式均为“Relu”,第二十三批标准化层和第二十三激活层各自的输出端输出128幅特征图,第二十四批标准化层和第二十四激活层各自的输出端输出64幅特征图,第三上采样层的放大系数为2,第三上采样层采用的方法为双线性差值;

第5个RGB图上采样神经网络块和第5个深度图上采样神经网络块的结构相同,其由依次设置的第二十五卷积层、第二十五批标准化层、第二十五激活层、第二十六卷积层、第二十六批标准化层、第二十六激活层组成,第二十五卷积层的输入端为其所在的神经网络块的输入端,第二十五批标准化层的输入端接收第二十五卷积层的输出端输出的所有特征图,第二十五激活层的输入端接收第二十五批标准化层的输出端输出的所有特征图,第二十六卷积层的输入端接收第二十五激活层的输出端输出的所有特征图,第二十六批标准化层的输入端接收第二十六卷积层的输出端输出的所有特征图,第二十六激活层的输入端接收第二十六批标准化层的输出端输出的所有特征图,第二十六激活层的输出端为其所在的神经网络块的输出端;其中,第二十五卷积层和第二十六卷积层均为带孔卷积层,第二十五卷积层和第二十六卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为10、扩张参数均为10,第二十五激活层和第二十六激活层的激活方式均为“Relu”,第二十五批标准化层、第二十六批标准化层、第二十五激活层、第二十六激活层各自的输出端输出64幅特征图。

6.根据权利要求5所述的多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于所述的步骤1_2中,4个RGB图融合层、4个深度图融合层、RGB图深度图融合层均为SUM融合层。

7.根据权利要求1所述的多模态的深度信息融合和注意力学习的显著性检测方法,其特征在于所述的步骤1_2中,RGB图输出层由第三十四卷积层组成,深度图输出层由第三十五卷积层组成,融合输出层由第三十六卷积层组成;其中,第三十四卷积层、第三十五卷积层和第三十六卷积层的卷积核大小均为1×1、卷积核个数均为1、补零参数均为0。