1.一种基于视差净化的二型残差双目显着物体图像分割方法,分为训练阶段和测试阶段的两个阶段,其特征在于:
所述的训练阶段过程的具体步骤为:
步骤1_1:采集物体图像或基于公开数据集建立训练集,物体图像包括彩色图和视差图;
步骤1_2:构建基于视差净化的二型残差网络:
所述的基于视差净化的二型残差网络主要由三部分组成,三部分分别为视差净化(DDU)选择器、残差双流网络和残差单流网络;
步骤1_3:将训练集中彩色图和视差图作为训练样本输入残差双流网络中进行预训练,输出双流预测分割图 同时将训练集中的彩色图作为训练样本输入残差单流网络中进行预训练,输出单流预测分割图步骤1_4:利用损失函数计算双流预测分割图 和单流预测分割图
分别与已标注的标签图之间的损失值,得到残差双流网络的损失值Loss1和残差单流网络的损失值loss2,通过两个损失值Loss1、Loss2进行反向传播分别训练两个残差双流网络和残差单流网络,得到预训练好的两个残差双流网络和残差单流网络,分别调整出双流残差网络最优的网络模型参数Wop1和单流残差网络最优的网络模型参数Wop2;
所述的测试阶段过程的具体步骤为:
步骤2_1:针对待显着分割的物体图像{X(i,j)},将物体图像中的视差图输入到训练好的视差净化选择器输出互获得正负样本的结果:
若输出判断为正样本,则将物体图像中的彩色图和视差图一起输入到残差双流网络中进行预测处理,输出得到双流显著性预测图{XPre(i,j)};
若输出判断为负样本,则仅将物体图像中的彩色图输入到残差单流网络中进行预测处理,输出得到单流显著性预测图{SPre{i,j}};
步骤2_2:最终合并双流显着性预测图{XPre(i,j)}与单流显着性预测图{SPre{i,j}}得到了预测结果集合{Pre{i,j}},预测结果集合{Pre{i,j}}即为对原始的物体图像进行分割的结果;
所述的视差净化选择器具体包括二值化处理模块、相似度处理模块、决策树和阈值判断模块;其中二值化处理模块、相似度处理模块在训练阶段是一同连接到决策树的输入端,决策树的输出端和阈值判断模块始终连接,并采用以下方式处理训练:一方面将物体图像中的视差图和对应的标签图输入相似度处理模块处理,通过计算S‑measure值,获得视差图和标签图之间的相似度值Sm作为决策树训练的标签,并且另一方面将视差图使用Otsu算法进行二值化,获得视差图的目标区域和背景区域,分别计算视差图二值化后像素为目标区域所对应原来未二值化的原始视差图在该区域所有像素的方差He和视差图二值化后像素为背景区域所对应原来未二值化的原始视差图在该区域所有像素的方差Em;最后构造一个树深为3的决策树,以两个方差He值和Em作为决策树的输入,相似度值Sm作为决策树的监督,进行训练从而得到一个能够估计视差图S‑measure值的决策树;最后,根据设置阈值判断模块判断为:当S‑measure小于或等于0.45时,该视差图为质量不合格的负样本,当S‑measure值大于0.45时,该样本为质量合格的正样本;
所述的残差双流网络包含八个Res2net模块、八个educe卷积模块、四个GFU模块、两个卷积模块和一个上采样神经网络模块;彩色图输入到第一卷积模块,第一卷积模块的输出依次经第一Res2net模块、第二Res2net模块、第三Res2net模块传递处理后输入到第四Res2net模块,第一Res2net模块、第二Res2net模块、第三Res2net模块和第四Res2net模块的输出分别经各自的第四educe卷积模块、第三educe卷积模块、第二educe卷积模块、第一educe卷积模块;视差图输入到第二卷积模块,第二卷积模块的输出依次经第八Res2net模块、第七Res2net模块、第六Res2net模块传递处理后输入到第五Res2net模块,第八Res2net模块、第七Res2net模块、第六Res2net模块和第五Res2net模块的输出分别经各自的第八reduce卷积模块、第七reduce卷积模块、第六reduce卷积模块、第五reduce卷积模块后连接输入到第四GFU模块、第三GFU模块、第二GFU模块、第一GFU模块;第一GFU模块的输出连接输入到第二GFU模块,第二GFU模块的输出连接输入到第三GFU模块,第三GFU模块的输出连接输入到第四GFU模块,第四GFU模块的输出连接输入到上采样神经网络模块,上采样神经网络模块输出双流显着性预测图;
所述的残差单流网络包括一个卷积单元、四个Res2net单元、四个reduce卷积单元、四个GFU单元和一个上采样神经网络单元;彩色图输入到卷积单元中,卷积单元的输出依次经第一Res2net单元、第二Res2net单元、第三Res2net单元后连接输入到第四Res2net单元,第一Res2net单元、第二Res2net单元、第三Res2net单元和第四Res2net单元的输出分别经第一reduce卷积单元、第二reduce卷积单元、第三reduce卷积单元、第四reduce卷积单元后连接输入到第一GFU单元、第二GFU单元、第三GFU单元、第四GFU单元,第一GFU单元的输出连接输入到第二GFU单元,第二GFU单元的输出连接输入到第三GFU单元,第三GFU单元的输出连接输入到第四GFU单元,第四GFU单元的输出连接输入到上采样神经网络单元,上采样神经网络单元输出双流显着性预测图。
2.根据权利要求1所述的一种基于视差净化的二型残差双目显着物体图像分割方法,其特征在于:所述的残差双流网络中的每个Res2net模块/残差单流网络的每个Res2net单元结构均相同,均包括14个卷积块、两个点和层和一个叠加层,第一卷积块的输入作为Res2net模块/Res2net单元的输入,第一卷积块的输出按照输出顺序均分为四份,分别再输入到第二卷积块、第三卷积块、第四卷积块、第五卷积块中,第二卷积块的输出连接输入到第九卷积块,第三卷积块的输出连接输入到第六卷积块,第六卷积块的输出连接输入到第十卷积块,同时第六卷积块的输出和第四卷积块的输出一起经第一点和层后连接输入到第七卷积块,第七卷积块的输出连接输入到第十一卷积块,同时第七卷积块的输出和第五卷积块的输出一起经第二点和层后连接输入到第八卷积块,第八卷积块的输出连接输入到第十二卷积块,第九卷积块、第十卷积块、第十一卷积块、第十二卷积块的输出相依次连接后共同输入到第十三卷积块,第十三卷积块的输出连接输入到第十四卷积块;第一卷积块的输入连接输入到第十五卷积块,第十五卷积块的输出和第十四卷积块的输出经第一叠加层相连接后输出并作为Res2net模块/Res2net单元的输出。
3.根据权利要求2所述的一种基于视差净化的二型残差双目显着物体图像分割方法,其特征在于:所述的点和层是将输入的两张图的位置对应相同的像素点的像素值相加处理,所述的叠加层是将输入的两张图前后相连接处理。
4.根据权利要求1所述的一种基于视差净化的二型残差双目显着物体图像分割方法,其特征在于:所述的残差双流网络中的每个GFU模块包括七个卷积层、两个叠加层、两个点乘层和两个Sigmoid层,彩色图和视差图对应输入到GFU模块的输出分别连接输入到第一卷积层、第四卷积层,第一卷积层、第四卷积层的输出经第二叠加层相连接后输出;一方面第二叠加层的输出依次经第二卷积层、第三卷积层后输出,第一卷积层的输出和第三卷积层的输出一起相连接后输入到第一点乘层M1,第一点乘层M1的输出经第一Sigmoid层S1后输入到第三叠加层;另一方面第二叠加层的输出依次经第五卷积层、第六卷积层后输出,第四卷积层的输出和第六卷积层的输出一起相连接后输入到第二点乘层M1,第二点乘层M1的输出经第二Sigmoid层S1后输入到第三叠加层;第三叠加层的输出经第七卷积层处理后输出并作为GFU模块的输出;对于第二GFU模块、第三GFU模块或者第四GFU模块,还有自身之前的GFU模块的输出同时经第一上采样块连接输入到第三叠加层。
5.根据权利要求1所述的一种基于视差净化的二型残差双目显着物体图像分割方法,其特征在于:所述的残差单流网络中的每个GFU单元包括四个卷积层、一个叠加层、一个点乘层和一个Sigmoid层,彩色图对应输入到GFU单元的输出连接输入到第八卷积层,第八卷积层的输出经第九卷积层连接输入到第十卷积层,第八卷积层的输出和第十卷积层的输出一起相连接后输入到第三点乘层M3,第三点乘层M3的输出经第三Sigmoid层S3后输入到第四叠加层;对于第二GFU单元、第三GFU单元或者第四GFU单元,还有自身之前的GFU单元的输出同时经第二上采样块连接输入到第四叠加层。
6.根据权利要求5所述的一种基于视差净化的二型残差双目显着物体图像分割方法,其特征在于:所述的点乘层是将输入的两张图的位置对应相同的像素点的像素值相乘处理。