1.一种基于图卷积梯度引导的多分支协同显著性检测方法,其特征在于,基于各个图片组,所述各个图片组分别对应一个目标类型,且图片组中包含目标类型不同前景姿态的各样本图片;执行以下步骤A至步骤I,获得多分支协同显著性检测模型,之后,应用多分支协同显著性检测模型,获得图片组的目标类型图片。
步骤A:根据CNN网络,针对各个图片组,分别以图片组中的各个样本图片为输入、各图片组的底层信息共识特征为输出,构建浅层和中层特征提取模型;同时基于CNN网络,以各个组图片中各个单张样本图片为输入、图片组中各个单张样本图片底层特征为输出,构建底层特征提取模型;
步骤B:根据GCN网络,针对各个图片组,分别以图片组中的各个样本图片为输入、以各个图片组的高维语义级共识特征为输出,构建深层特征提取模型;
步骤C:分别以各图片组的底层信息共识特征、以及各个图片组的高维语义级共识特征,为输入、以各图片组的相似性共识特征为输出,构建特征融合模块;
步骤D:分别以各图片组的相似性共识特征、以及图片组中各个单张样本图片底层特征为输入、以组图片中各个单张图片高阶特征为输出,构建高阶特征融合模块;之后基于各个单张图片高阶特征,计算GCN网络局部反向传播最后一个图卷积层的各个单张图片正梯度;
步骤E:以GCN网络局部反向传播最后一个图卷积层的单张图片正梯度、以及各个图片组的高维语义级共识特征为输入、以图片组中各个单张图片诱导后的特征为输出,构建特征诱导模块;
步骤F:以各个单张图片诱导后的特征为输入、各单张图片的最终特征为输出,构建坐标轴注意力模块;
步骤G:以各单张图片的最终特征、以及各个单张图片的底层特征 为输入,以各个单张图片的目标类型图片为输出,构建注意力保持模块;
步骤H:顺序连接浅层和中层特征提取模型、底层特征提取模型、深层特征提取模型、特征融合模块、高阶特征融合模块、特征诱导模块、坐标轴注意力模块、注意力保持模块,并结合GCN网络局部反向传播最后一个图卷积层的正梯度,构建接浅层和中层特征提取模型为输入端、以注意力保持模块为输出端、并且以包含目标类型不同前景姿态的各样本图片为输入、该各样本图片对应的各个单张图片的目标类型图片为输出的多分支协同显著性检测模型;
步骤I:基于包含目标类型不同前景姿态的各样本图片、以及各样本图片对应的各个单张图片的目标类型图片,以各样本图片为输入、目标类型图片为输出针对多分支协同显著性检测模型进行训练,获得各样本图片的目标类型图片。
2.根据权利要求1所述的一种基于图卷积梯度引导的多分支协同显著性检测方法,其特征在于,所述图片组为n个子图 构成的多尺度图:k k
其中,多尺度图的点集定义为 边集定义为ε={ε},邻接矩阵定义为A=∑kA ;
k
表示由点 构成的 的点集, 表示由 构成的边集,A表示的邻接k
矩阵,其内部的A (i,j)由对应位置的边的值 表示; 表示 的特征k
矩阵,其中 为点 在d维的特征;
针对子图 按如下公式:
计算其图结构,其中, 表示激活函数, 为两个可学习的投影k k
矩阵,用于将点特征的维度从d降至r,且r<d ;然后我们通过像素级相加,将子图 中所有的邻接矩阵相加,得到最终的邻接矩阵:
1 2 3 n
A=A+A+A+……+A。
3.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法,其特征在于,所述步骤B中,深层特征提取模型按如下公式:定义两层图卷积网络,其中,所述图卷积滤波器定义为:其中, 是用于特征投影的两个全连接层的可学习权重矩阵,可具体表示为:
k
其中, I为单位矩阵; 是 的对角度矩阵;Z为最终的输出值,即高维语义级共识特征。
4.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法,其特征在于,步骤D中,按如下公式:计算GCN网络局部反向传播最后一个图卷积层的正梯度,用于选择 与协同显著目标k k k相关的特征;其中,对于第k张图提取出的特征Z ,与其共识表示C 的相似度s 用内积来定义,即
5.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法,其特征在于,步骤E中,构建特征诱导模块包括如步骤E1至步骤E2:步骤E1;通过如下公式:
k
进行全局池化获取图卷积层各个通道的重要性I;
k k
步骤E2:基于高维语义级共识特征Z ,以及图卷积层各个通道的重要性I ,通过如下公k式: 对高维语义级特征Z进行诱导,其中 表示点乘,获得诱导后的特征
6.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法,其特征在于,所述步骤F中,构建坐标轴注意力模块,包括如下步骤F1至步骤F6;
步骤F1:基于诱导后的特征 将诱导后的特征 划分为以下四个图符:并且随机初始化得到转移矩阵H,Hq,Hk,Hv;
1
步骤F2:将四个图符: 分别与转移矩阵H相乘,获得转移特征a ,
2 3 4
a ,a ,a;
1 2 3 4
步骤F3:将转移特征a ,a ,a ,a 分别与转移矩阵Hq,Hk,Hv相乘,获得自注意力特征组
1 1 1 2 2 2 4 4 4
{q ,k ,v},{q ,k ,v}...{q ,k ,v};
1 1 1 2 2 2 4 4 4
步骤F4:针对自注意力特征组{q ,k ,v},{q ,k ,v}...{q ,k ,v},分别按如下公式:进行归一化点乘,分别对应得到归一化特征a1,1,a1,2...a1,4...a4,4,其中,d为q,k的维度;
步骤F5:对归一化特征a1,1,a1,2...a1,4...a4,4进行归一化处理,得到对应的归一化特征激活值 并对激活值 按如下公式:相加,获得自注意力特征b1,b2,b3,b4;
步骤F6:对自注意力特征b1,b2,b3,b4按如下公式: 进行拼接,获得最终特征b;其中, 表示拼接操作。
7.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法,其特征在于,步骤G中,所述注意力保持模块具体为:将最终特征b的平均值作为第一个低分辨率引导图 并将最终特征b降低为包含64个通道的特征 按如下公式:获得协同显著性图片
8.根据权利要求1所述的一种基于图卷积梯度引导的多分支协显著性检测方法,其特征在于,步骤I中,针对多分支协同显著性检测模型训练时,通过IOU损失函数按如下公式:监督模型训练,其中 c为每张图像中的像素
位置。