利索能及
我要发布
收藏
专利号: 2019110998712
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多特征级联RGB-D显著性目标检测方法,其特征在于,包括以下步骤:

步骤1_1:选取Q幅原始RGB图像及其对应的深度图,结合各幅原始RGB图像对应的真实显著性图像一起构成训练集;

步骤1_2:构建卷积神经网络:卷积神经网络包括两个输入层、隐层和输出层,两个输入层连接到隐层的输入端,隐层的输出端连接到输出层;

步骤1_3:将训练集中每幅原始RGB图像及其对应的深度图像,分别作为两个输入层的原始输入图像,输入到卷积神经网络中进行训练,得到训练集中的每幅原始RGB图像对应的预测显著性图像;计算训练集中的每幅原始RGB图像对应的预测显著性图像与对应的真实显著性图像之间的损失函数值,损失函数值采用BCE损失函数获得;

步骤1_4:重复执行步骤1_3共V次,得到卷积神经网络分类训练模型,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为最优权值矢量和最优偏置项并替换训练好的卷积神经网络训练模型中的权值矢量和偏置项;

步骤1_5:将待预测RGB图像及其对应的深度图像输入到训练好的卷积神经网络训练模型中,并利用最优权值矢量和最优偏置项进行预测,得到待预测RGB图像对应的预测显著性图像,从而实现显著性目标检测。

2.根据权利要求1所述的一种多特征级联RGB-D显著性目标检测方法,其特征在于,所述步骤1_2中的两个输入层,第1个输入层是RGB图像输入层,第2个输入层是深度图像输入层;所述隐层包括RGB特征提取模块、深度特征提取模块、混合特征卷积层、细节信息处理模块、全局信息处理模块、SKNet网络模型和后处理模块;

RGB特征提取模块包括四个依次连接的彩色图神经网络块、四个彩色注意力层、八个彩色上采样层、四个注意力卷积层和四个彩色卷积层;四个依次连接的彩色图神经网络块分别对应ResNet50中依次连接的四个模块,第一个彩色图神经网络块的输出分别连接至第一个RGB分支和第五个RGB分支,第二个彩色图神经网络块的输出分别连接至第二个RGB分支和第六个RGB分支,第三个彩色图神经网络块的输出分别连接至第三个RGB分支和第七个RGB分支,第四个彩色图神经网络块的输出分别连接至第四个RGB分支和第八个RGB分支;

深度特征提取模块包括四个依次连接的深度图神经网络块、四个深度注意力层、八个深度上采样层、四个注意力卷积层和四个深度卷积层,四个依次连接的深度图神经网络块分别对应ResNet50中依次连接的四个模块,第一个深度图神经网络块的输出分别连接至第一个深度分支和第五个深度分支,第二个深度图神经网络块的输出分别连接至第二个深度分支和第六个深度分支,第三个深度图神经网络块的输出分别连接至第三个深度分支和第七个深度分支,第四个深度图神经网络块的输出分别连接至第四个深度分支和第八个深度分支;

第一个RGB分支和第二个RGB分支的输出相乘后作为低级特征卷积层的其中一个输入,第一个深度分支和第二个深度分支的输出相乘后作为低级特征卷积层的另一个输入;第三个RGB分支和第四个RGB分支的输出相乘后作为高级特征卷积层的其中一个输入,第三个深度分支和第四个深度分支的输出相乘后作为高级特征卷积层的另一个输入;

低级特征卷积层和高级特征卷积层的输出均输入混合特征卷积层;

第五个RGB分支和第六个RGB分支的融合结果与第五个深度分支和第六个深度分支的融合结果相乘后输入细节信息处理模块;第七个RGB分支和第八个RGB分支的融合结果与第七个深度分支和第八个深度分支的融合结果相乘后输入全局信息处理模块;

混合特征卷积层的输出和细节信息处理模块的输出融合后作为SKNet网络模型的其中一个输入,混合特征卷积层的输出和全局信息处理模块的输出融合后作为SKNet网络模型的另一个输入;

后处理模块包括依次连接的第一个反卷积层和第二个反卷积层,后处理模块的输入为SKNet网络模型的输出,后处理模块的输出最后经输出层输出。

3.根据权利要求2所述的一种多特征级联RGB-D显著性目标检测方法,其特征在于,所述第一个RGB分支包括依次连接的第一个彩色注意力层、第一个彩色上采样层和第一个注意力卷积层,第二个RGB分支包括依次连接的第二个彩色注意力层、第二个彩色上采样层和第二个注意力卷积层,第三个RGB分支包括依次连接的第三个彩色注意力层、第三个彩色上采样层和第三个注意力卷积层,第四个RGB分支包括依次连接的第四个彩色注意力层、第四个彩色上采样层和第四个注意力卷积层;

第五个RGB分支包括依次连接的第一个彩色卷积层和第五个彩色上采样层,第六个RGB分支包括依次连接的第二个彩色卷积层和第六个彩色上采样层,第七个RGB分支包括依次连接的第三个彩色卷积层和第七个彩色上采样层,第八个RGB分支包括依次连接的第四个彩色卷积层和第八个彩色上采样层;

所述第一个深度分支包括依次连接的第一个深度注意力层、第一个深度上采样层和第五个注意力卷积层,第二个深度分支包括依次连接的第二个深度注意力层、第二个深度上采样层和第六个注意力卷积层,第三个深度分支包括依次连接的第三个深度注意力层、第三个深度上采样层和第七个注意力卷积层,第四个深度分支包括依次连接的第四个深度注意力层、第四个深度上采样层和第八个注意力卷积层;

第五个深度分支包括依次连接的第一个深度卷积层和第五个深度上采样层,第六个深度分支包括依次连接的第二个深度卷积层和第六个深度上采样层,第七个深度分支包括依次连接的第三个深度卷积层和第七个深度上采样层,第八个深度分支包括依次连接的第四个深度卷积层和第八个深度上采样层。

4.根据权利要求2所述的一种多特征级联RGB-D显著性目标检测方法,其特征在于,所述细节信息处理模块包括依次连接的第一个网络模块和第二个过度卷积层,细节信息处理模块的输入经第一个过度卷积层的输出与第二个过度卷积层的输出融合后作为细节信息处理模块的输出;

全局信息处理模块包括三个处理分支,三个处理分支均包括依次连接的全局网络模块和全局卷积层,三个处理分支的输出融合后作为全局信息处理模块的输出。

5.根据权利要求3所述的一种多特征级联RGB-D显著性目标检测方法,其特征在于,每个所述的彩色注意力层和深度注意力层均采用CBAM模块,每个所述的彩色上采样层和深度上采样层用于将输入特征进行双线性插值的上采样处理;每个注意力卷积层、彩色卷积层、深度卷积层、低级特征卷积层、高级特征卷积层、混合特征卷积层均包括一个卷积层;每个所述的反卷积层均包括一个反卷积。

6.根据权利要求4所述的一种多特征级联RGB-D显著性目标检测方法,其特征在于,所述细节信息处理模块中的过度卷积层和全局信息处理模块中的全局卷积层均包括一个卷积层,细节信息处理模块中的第一个网络模块采用DenseNet网络中的Dense块,全局信息处理模块中的每个全局网络模块均采用ASPP模块。

7.根据权利要求2所述的一种多特征级联RGB-D显著性目标检测方法,其特征在于,所述RGB图像输入层输入端接收RGB输入图像,深度图像输入层输入端接收RGB图像对应的深度图像;RGB特征提取模块和深度特征提取模块的输入分别为RGB图像输入层和深度图像输入层的输出。