利索能及
我要发布
收藏
专利号: 2019107645823
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于边界感知神经网络的双目显著物体检测方法,其特征在于:步骤1:选取K张彩色图以及彩色图对应的视差图、分割标签图,将所有彩色图像及其对应的视差图、分割标签图构成训练集;分割标签图是指对彩色图中的显著性区域进行标注得到的图像;

步骤2:构建边界感知神经网络;

所述的边界感知神经网络包括特征提取网络块、注意力机制网络块、边界感知网络块和显著性检测网络块;

特征提取网络块包括依次连接的第一个卷积神经网络块、第二个卷积神经网络块、第一个最大池化层、第三个卷积神经网络块、第四个卷积神经网络块、第二个最大池化层、第五个卷积神经网络块、第六个卷积神经网络块、第七个卷积神经网络块、第三个最大池化层、第八个卷积神经网络块、第九个卷积神经网络块、第十个卷积神经网络块、第四个最大池化层、第十一个卷积神经网络块、第十二个卷积神经网络块和第十三个卷积神经网络块;

注意力机制网络块包括第一个SEM网络块,第二个SEM网络块,第三个SEM网络块以及依次连接的第一个add层、第十四个卷积神经网络块,第一个上采样层,第十五个卷积神经网络块、第二个上采样层、第十六个卷积神经网络块、第三个上采样层,第十七个卷积神经网络块、第四个上采样层和第十八个卷积神经网络块,彩色图输入到第一个卷积神经网络块中,第十一个卷积神经网络块、第十二个卷积神经网络块和第十三个卷积神经网络块的输出分别对应连接到第一个SEM网络块,第二个SEM网络块和第三个SEM网络块的输入,三个SEM网络块的输出共同连接到第一个add层的输入;

边界感知网络块包括第十九个卷积神经网络块、第二十个卷积神经网络块、以及依次连接的第一个叠加层、第一个点乘层、第二个add层、第一个MSK网络块、第二个MSK网络块、第二十一个卷积神经网络块、第二十二个卷积神经网络块,彩色图及其对应的视差图分别作为第二十个卷积神经网络块和第十九个卷积神经网络块的输入,第十九个卷积神经网络块和第二十个卷积神经网络块的输出共同连接到第一个叠加层的输入,第十八个卷积神经网络块的输出连接到第一个点乘层的输入,第一个叠加层与第十八个卷积神经网络块的输出输入到第一个点乘层中进行点乘处理后作为第一个点乘层的输出,第一个叠加层的输出再跳跃连接到第二个add层的输入,第一个点乘层和第一个叠加层的输出输入到第二个add层中进行点和处理后作为第二个add层的输出,第二十二个卷积神经网络块输出边界预测图;

显著性检测网络块包括依次连接的第二个点乘层、第三个add层、第二十三个卷积神经网络块、第五个上采样层、第二个叠加层、第二十四个卷积神经网络块、第六个上采样层、第二十五个卷积神经网络块和第二十六个卷积神经网络块,第二个点乘层的输入连接到第七个卷积神经网络块的输出,第二个点乘层的输入还连接到第十六个卷积神经网络块的输出,第七个卷积神经网络块与第十六个卷积神经网络块的输出输入到第二个点乘层中进行点乘处理后作为第二个点乘层的输出,第七个卷积神经网络块的输出再跳跃连接到第三个add层的输入,第七个卷积神经网络块和第二个点乘层的输出再输入到第三个add层中进行点和处理后作为第二个add层的输出,第四个卷积神经网络块的输出还连接到第二个叠加层的输入,第五个上采样层和第四个神经网络块的输出输入到第二个叠加层进行特征图的叠加后作为第二个叠加层的输出;第二十六个卷积神经网络块输出显著性预测图;

第二十一个卷积神经网络块的输出和第二十五个卷积神经网络块的输出经第三个叠加层依次连接第二十七个卷积神经网络块和第二十八个卷积神经网络块,第二十八个卷积神经网络块输出分割预测图;

所述的三个SEM网络块的结构相同,单个SEM网络块包括Cov、Cov1、Cov2、Cov3、CovOut五个卷积网络块,每个卷积网络块均由卷积层、局部归一化层、激活层依次连接构成,Cov卷积网络块的输入作为SEM网络块的输入,Cov1、Cov2、Cov3三个卷积网络块并联的一端作为输入端,输入端与Cov卷积网络块相连并接收Cov卷积网络块的输出,并联的一端作为输出端,Cov1、Cov2、Cov3三个卷积网络块的输出经点和处理后输入到CovOut卷积网络块中,CovOut卷积网络块的输出作为SEM网络块的输出;

所述的两个MSK网络块的结构相同,单个MSK网络块包括Conv、Conv1、Conv2、Conv3、ConvOut五个卷积网络块,每个卷积网络块均由卷积层、局部归一化层、激活层依次连接构成,Conv卷积网络块的输入作为MSK网络块的输入,Conv1、Conv2、Conv3三个卷积网络块并联的一端作为输入端,输入端与Conv卷积网络块相连并接收Conv卷积网络块的输出,并联的一端作为输出端,Conv1、Conv2、Conv3三个卷积网络块的输出经点和处理后输入到ConvOut卷积网络块中,ConvOut卷积网络块的输出作为MSK网络块的输出;

步骤3:将训练集中的彩色图及其对应的视差图输入到边界感知神经网络中进行训练,输出得到边界预测图、显著性预测图和分割预测图;

步骤4:计算输出的边界预测图、显著性预测图和分割预测图的总损失函数值Loss;

步骤5:重复执行步骤3‑4共O次,得到K×O个总损失函数值;根据得到的总损失函数值利用反向传播进行梯度更新,得到最优的模型参数Wop,由此得到训练好的边界感知神经网络;

步骤6:采集待检测的彩色图像及其对应的视差图,将彩色图像及其对应的视差图输入到训练好的边界感知神经网络中输出得到分割预测图。

2.根据权利要求1所述的基于边界感知神经网络的双目显著物体检测方法,其特征在于:步骤4所述的总损失函数值的计算具体是:将分割标签图通过canny算子提取得到显著性区域的外轮廓并将其作为边界图,分别计算边界预测图与边界图的损失函数值、显著性预测图与分割标签图的损失函数值、分割预测图与分割标签图的损失函数值,将上述三个损失函数值相加得到总损失函数值Loss。

3.根据权利要求1所述的基于边界感知神经网络的双目显著物体检测方法,其特征在于:所述的每个卷积神经网络块均由卷积层、局部归一化层、激活层依次连接构成。