1.一种基于单流深度网络的RGB-D显著目标检测方法,其特征在于,该方法包括以下步骤:S1、将RGB图像和Depth图像作为单流深度网络的四通道输入;
S2、将VGG16作为基础网络,利用Conv5_3提取图像的高维特征,对高维特征进行操作,经过卷积、反卷积和卷积得到初始显著图;
S3、将初始显著图,以及Depth数据作为DRCNN循环卷积结构的输入;DRCNN通过级联的方式,一步一步优化显著结果,详细描绘显著目标的边缘信息;最后连接一个权值融合层,通过自动学习权值,将显著结果融合得到最终显著图。
2.根据权利要求1所述的基于单流深度网络的RGB-D显著目标检测方法,其特征在于,在所述步骤S3中:所述DRCNN的输入有4个,分别为上一个DRCNN的输出结果、本层的特征、初始显著图以及Depth深度信息,其核心是循环卷积层RCL,在RCL的第k个特征图的第(i,j)个单元上,它在步骤t的网络输入zijk(t)表示为:其中 和 分别为前一层的前馈输入以及当前层在时间步长为t-1的循环输入, 和 分别表示为前馈权值和循环权值, 为偏置, 为第m+1个侧边输出的显著结果, 为初始显著图,d表示初始Depth深度图,C表示卷积操作, 表示联结操作,函数 表示去除重复的输入,用在Conv5_3的侧边输出的DRCNN中,因为这一层的 与是相同的,通过该函数去除重复输入;
网络输入的激励函数表示为:
xijkm(t)=g(f(zijkm(t))) (3);
其中f为修正线性单元ReLU,具体定义为:
f(zijkm(t))=max(zijkm(t),0) (4);
其中g为局部响应归一化操作,目的是为了防止状态爆炸,定义为:其中f(zijkm(t))简写为fijkm(t),K为特征图总数,N为关联归一化的局部邻居特征图的数目,α和β控制归一化的振幅;最终显著图的定义为:pm=σ(c(g)) (6);
其中σ为激励函数,g为g(fijkm(t))的简写。
3.根据权利要求1所述的基于单流深度网络的RGB-D显著目标检测方法,其特征在于,在所述步骤S2中:由损失函数计算损失,调整网络参数,通过多次迭代形成稳定的网络结构。
4.根据权利要求3所述的基于单流深度网络的RGB-D显著目标检测方法,其特征在于,所述损失函数为SigmoidCrossEntropyLoss。
5.根据权利要求3所述的基于单流深度网络的RGB-D显著目标检测方法,其特征在于,所述网络结构包含五个侧边输出子网络和一个直接输出子网络。
6.根据权利要求3所述的基于单流深度网络的RGB-D显著目标检测方法,其特征在于,所述网络结构的具体训练过程为:在训练中,T={(Xn,Yn),n=1,2,...,N}为训练数据集,作为输入,Xn对应的真值图为 在实验中,W为基础网络VGG16层的参数,M=6为侧边输出的数量;每一个侧边输出子网络对应一个显著输出结果,对应的权值定义为:w=(w1,w2,...,wM) (7);
对每一个训练集输入 和真值图 的
所有像素使用交叉熵损失来计算损失函数,对第m阶段的预测,损失函数的定义为:其中,Pr(yi=1|X;W,wm)为在第m个侧边输出的第i个位置的像素属于前景的概率;对最后的权值融合层的损失函数定义为:Lfuse(W,w,wf)=-∑i∈YyilogPr(yi=1|X;W,w,wf)+(1-yi)logPr(yi=0|X;W,w,wf)(9);其中,wf为权值融合层过滤器参数;所有预测的联合损失函数定义为:其中,δf和δm表示为平衡每个损失项的损失权值,计算所有损失函数后,最小化目标损失函数定义为:(W,w,wf)*=argmin(L(W,w,wf)) (11)。