利索能及
我要发布
收藏
专利号: 2019107401049
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多模态多拼接的RGB‑D显著性目标检测方法,其特征在于,包括以下步骤:

步骤1‑1:选取Q幅彩色真实目标图像、每幅彩色真实目标图像对应的深度图像和每幅彩色真实目标图像对应的真实显著性图像构成训练集;

步骤1‑2:构建卷积神经网络;

步骤1‑3:将训练集输入卷积神经网络进行训练,训练过程中,每次迭代训练处理得到每幅彩色真实目标图像的显著性检测预测图,计算每幅显著性检测预测图与对应的真实显著性图像构成的损失函数值,损失函数采用二分类交叉熵获得;

步骤1‑4:不断迭代训练重复共V次,共得到Q×V个损失函数值,然后从Q×V个损失函数值中找出值最小的损失函数值,接着将值最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络的最优权值矢量和最优偏置项,从而完成卷积神经网络的训练;

步骤1‑5:利用训练后获得的卷积神经网络对待显著性检测的彩色真实目标图像进行预测处理,将待显著性检测的彩色真实目标图像及其对应的深度图像输入训练后获得的卷积神经网络,输出获得对应的预测显著性检测图像,实现图像的显著性目标检测;

所述步骤1‑2中,卷积神经网络包括输入层、隐层和输出层,输入层包括RGB图像输入层和深度图像输入层,隐层包括前处理模块、中间处理模块和后处理模块,前处理模块包括RGB图前处理模块和深度图前处理模块,中间处理模块包括RGB图中间处理模块和深度图中间处理模块;RGB图输入层和深度图输入层分别输入RGB图前处理模块和深度图前处理模块;

RGB图前处理模块包括四个彩色图神经网络块、一个彩色卷积层、三个彩色反卷积层和两个级联层;第一个彩色图神经网络块依次经第二个彩色图神经网络块、第三个彩色图神经网络块输出至第四个彩色图神经网络块,第一个彩色图神经网络块经第一个彩色卷积层的输出和第二个彩色图神经网络经第一个彩色反卷积层的输出通过图像拼接Concatence方式融合后输入第一个级联层,第三个彩色图神经网络块经第二个彩色反卷积层的输出和第四个彩色图神经网络块经第三个彩色反卷积层的输出通过图像拼接Concatence方式融合后输入第二个级联层;

深度图前处理模块包括四个深度图神经网络块、一个深度卷积层、三个深度反卷积层和两个级联层;第一个深度图神经网络块依次经第二个深度图神经网络块、第三个深度图神经网络块输出至第四个深度图神经网络块,第一个深度图神经网络块经第一个深度卷积层的输出和第二个深度图神经网络块经第一个深度反卷积层的输出通过图像拼接Concatence方式融合后输入第三个级联层,第三个深度图神经网络块经第二个深度反卷积层的输出和第四个深度图神经网络块经第三个深度反卷积层的输出通过图像拼接Concatence方式融合后输入第四个级联层;

RGB图中间处理模块包括两个混合神经网络块、RGB图细节关联模块和两个过渡用卷积层,两个混合神经网络块分别为第一个和第二个混合神经网络块,两个过渡用卷积层分别为第一个和第二个过渡用卷积层,RGB图细节关联模块主要由五个混合卷积层和一个第一网络模块组成,五个混合卷积层分别为第一个、第二个、第三个、第四个和第五个混合卷积层;第一个级联层和第三个级联层共同输入第一个混合神经网络块,第一个混合神经网络块依次经第二个混合神经网络块、第一个混合卷积层、第一网络模块输入第二个混合卷积层,第一个混合卷积层依次经第三个混合卷积层、第四个混合卷积层输入第五个混合卷积层;第五个混合卷积层的输出和第二个混合卷积层的输出融合后作为RGB图细节关联模块的输出;

深度图中间处理模块包括两个混合神经网络块、深度图细节关联模块和两个过渡用卷积层,两个混合神经网络块分别为第三个和第四个混合神经网络块,两个过渡用卷积层分别为第三个和第四个过渡用卷积层,深度图细节关联模块主要由五个混合卷积层和一个第二网络模块组成,五个混合卷积层分别为第六个、第七个、第八个、第九个和第十个混合卷积层;第二个级联层和第四个级联层共同输入第三个混合神经网络块,第三个混合神经网络块依次经第四个混合神经网络块、第六个混合卷积层、第二网络模块输入第七个混合卷积层,第六个混合卷积层依次经第八个混合卷积层、第九个混合卷积层输入第十个混合卷积层;第七个混合卷积层的输出和第十个混合卷积层的输出融合后作为深度图细节关联模块的输出;

隐层中的后处理模块包括依次相连的第一个反卷积层、第二个反卷积层和第三个反卷积层,RGB图细节关联模块的输出和深度图细节关联模块的输出融合后输入第一个反卷积层,第二个混合神经网络块经第一个过渡用卷积层的输出和第四个混合神经网络块经第三个过渡用卷积层的输出共同输入第一个反卷积层,第一个混合神经网络块经第二个过渡用卷积层的输出和第三个混合神经网络块经第四个过渡用卷积层的输出共同输入第二个反卷积层,第三个反卷积层经输出层输出。

2.根据权利要求1所述的一种基于多模态多拼接的RGB‑D显著性目标检测方法,其特征在于:所述RGB图前处理模块中的第一个、第二个、第三个、第四个彩色图神经网络块按顺序对应ResNet50中的4个模块,深度图前处理模块中的第一个、第二个、第三个、第四个深度图神经网络块按顺序对应ResNet50中的4个模块。

3.根据权利要求1所述的一种基于多模态多拼接的RGB‑D显著性目标检测方法,其特征在于:所述第一网络模块和第二网络模块均采用DenseNet网络的Dense块。

4.根据权利要求1所述的一种基于多模态多拼接的RGB‑D显著性目标检测方法,其特征在于:RGB图像输入层的输入为经过图像大小处理的RGB图像,训练时彩色真实目标图像作为RGB图像输入;深度图像输入层的输入为经过图像大小处理的深度图像,训练时输入彩色真实目标图像对应的深度图像,深度图像经自身级联转变为三通道图像输入隐层即输入深度图前处理模块。