利索能及
我要发布
收藏
专利号: 2019108278855
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种局部对比和全局指导的立体图像视觉显著性检测方法,其特征在于,包括以下步骤:

步骤1‑1:选取N幅原始立体图像,将原始立体图像的左视点图、深度图和对应的主观视觉显著图构成训练集;

步骤1‑2:构建卷积神经网络模型;

卷积神经网络模型包括输入层、隐含层和输出层;输入层包括RGB图输入层和深度图输入层,隐含层包括两个分支和一个后处理总支,两个分支分别为RGB图处理分支和深度图处理分支;

RGB图处理分支主要由依次连接的第1个神经网络块、第2个神经网络块、第3个神经网络块、第4个神经网络块、第5个神经网络块、第1个上采样块、第2个上采样块、第3个上采样块、第4个上采样块和第5个上采样块组成,第5个神经网络块和第1个上采样块之间另连接有第1个全局上采样层;第1个上采样块的输入和第1个全局上采样层的输入均为第5个神经网络块的输出,第1个神经网络块、第2个神经网络块、第3个神经网络块和第4个神经网络块的输出分别输入第2个上采样块、第3个上采样块、第4个上采样块和第5个上采样块;

深度图处理分支主要由依次连接的第6个神经网络块、第7个神经网络块、第8个神经网络块、第9个神经网络块、第10个神经网络块、第6个上采样块、第7个上采样块、第8个上采样块、第9个上采样块和第10个上采样块组成,第6个神经网络块和第6个上采样块之间另连接有第2个全局上采样层;第6个上采样块的输入和第2个全局上采样层的输入均为第10个神经网络块的输出,第6个神经网络块、第7个神经网络块、第8个神经网络块、第9个神经网络块的输出分别输入第7个上采样块、第8个上采样块、第9个上采样块和第10个上采样块;

RGB图输入层和深度图输入层分别连接至第1个神经网络块和第6个神经网络块,第1个神经网络块接收RGB图输入层的输出,第6个神经网络块接收深度图输入层的输出;

后处理总支包括三个注意力模块,第1个全局上采样层的输出和第2个全局上采样层的输出均连接至第1个注意力模块的输入,第5个上采样块的输出和第10个上采样块的输出均连接至第2个注意力模块的输入,第1个注意力模块和第2个注意力模块的输出均连接至第3个注意力模块的输入;

第3个注意力模块的输出作为输出层的输出;

步骤1‑3:将训练集中原始立体图像的左视点图和深度图作为输入,输入到步骤1‑2的卷积神经网络模型中进行训练,训练过程中,每次迭代训练处理得到每幅原始立体图像的显著性预测图;计算每幅显著性预测图与训练集中对应的主观视觉显著图之间的损失函数值;

步骤1‑4:不断迭代训练重复共V次,并共得到N×V个损失函数值,然后从N×V个损失函数值中找出值最小的损失函数值,接着将最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项,从而完成卷积神经网络模型的训练;

步骤1‑5:将待测立体图像的左视点图和深度图输入步骤1‑4训练后的卷积神经网络模型进行预测处理,输出获得待测立体图像对应的视觉显著图,实现图像的显著性检测。

2.根据权利要求1所述的一种局部对比和全局指导的立体图像视觉显著性检测方法,其特征在于,RGB图处理分支和深度图处理分支中的每个上采样块的结构和参数均相同,每个上采样块包括第14卷积层、第15卷积层、第5最大池化层、第1均值池化层、第16卷积层、第

1上采样层,第14卷积层的输出连接至第15卷积层的输入,第15卷积层的输出分别连接至第

5最大池化层和第1均值池化层,第5最大池化层的输出减去第1均值池化层的输出得到局部对比特征图,将局部对比特征图与第14卷积层的输出以通道数叠的方式融合后经第16卷积层输入第1上采样层,第1上采样层的输出作为上采样块的输出;其中,第14卷积层的输入为每个上采样块对应的神经网络块的输出,第1个上采样块和第2个上采样块中第16卷积层的输入为局部对比特征图与第14卷积层的输出以通道数叠的方式融合后的结果,除第1个上采样块和第2个上采样块之外的每个上采样块中第16卷积层的输入为局部对比特征图、第

14卷积层的输出以及前一个上采样块的输出以通道数叠的方式融合后的结果。

3.根据权利要求1所述的一种局部对比和全局指导的立体图像视觉显著性检测方法,其特征在于,三个注意力模块的结构和参数均相同,每个注意力模块包括第20卷积层、第21卷积层、第22卷积层和第23卷积层,每个注意力模块的两个输入相加后输入第20卷积层,第

20卷积层分别输入第21卷积层和第22卷积层,第21卷积层与注意力模块其中一个输出的乘积加上第22卷积层与注意力模块另一个输出的乘积作为第23卷积层的输入,第23卷积层的输出即为注意力模块的输出。

4.根据权利要求1所述的一种局部对比和全局指导的立体图像视觉显著性检测方法,其特征在于,输入全局上采样层的特征图经全局上采样层后通道数降至1。

5.根据权利要求1所述的一种局部对比和全局指导的立体图像视觉显著性检测方法,其特征在于:第1个神经网络块、第2个神经网络块、第3个神经网络块、第4个神经网络块、第

5个神经网络块的结构和参数分别与第6个神经网络块、第7个神经网络块、第8个神经网络块、第9个神经网络块、第10个神经网络块的结构和参数相同。

6.根据权利要求1所述的一种局部对比和全局指导的立体图像视觉显著性检测方法,其特征在于:RGB图输入层的输入为立体图像的左视点图;深度图输入层的输入为立体图像的深度图;左视点图和深度图的尺寸均调整为224×224大小。