1.一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,具体包括如下步骤:
步骤1:建立并训练第一分类网络,对第一分类网络进行权重共享得到第二分类网络,所述第一、二分类网络为孪生分类网络;建立并训练第一门控的部分融合模块,对第一门控的部分融合模块进行权重共享得到第二门控的部分融合模块;
步骤2:对原始图像进行仿射变换得到仿射图像;
步骤3:将原始图像输入至第一分类网络,将仿射图像输入至第二分类网络;
步骤4:将第一分类网络的最后一层的特征层作为类激活映射;将第二分类网络的最后一层特征层作为仿射类激活映射;
步骤5:将第一分类网络第二,第三,第四和第五阶段输出的特征图输入至第一门控的部分融合模块,得到门控特征图;将第二分类网络第二,第三,第四和第五阶段输出的特征图输入至第二门控的部分融合模块,得到仿射门控特征图;
步骤6:将类激活映射,仿射类激活映射,门控特征图以及仿射门控特征图输入至交叉特征注意力模型中,得到交叉特征注意力模型输出的改进的类激活映射;
步骤7:将改进的类激活映射进行上采样,上采样后的改进的类激活映射的尺寸为H0×W0×C;其中H0和W0分别为原始图像的高和宽,C为图像的类别总数,将上采样后的改进类激活映射上每个像素点在所有通道方向上最大值所在的位置对应的类别作为该像素点的类别,从而实现所有像素点的类别分类。
2.根据权利要求1所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,所述第一分类网络采用ResNet38分类网络。
3.根据权利要求1所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,所述步骤5中第一门控的部分融合模块或第二门控的部分融合模块对输入的特征图进行如下处理:
步骤5.1:首先对相应的分类网络的第二阶段输出的特征图进行双线性下采样,使得分类网络的第二阶段输出的特征图与分类网络第三阶段,第四阶段或第五阶段输出的特征图的宽度和高度一致;
步骤5.2:采用第一~四卷积核分别对第三阶段输出的特征图,第四阶段输出的特征图,第五阶段输出的特征图以及双线性下采样后的第二阶段输出的特征图进行卷积操作,得到特征图X3,X4,X5和X2;
步骤5.3:在X3,X4,X5和X2中选择主体特征图,采用融合函数将主体特征图与部分特征图融合,得到融合后的特征图;所述部分特征图为X3,X4,X5和X2中除主体特征图以外的特征图;
步骤5.4:第一门控的部分融合模块或第二门控的部分融合模块对输入至相应分类网络中的图像进行下采样,将下采样后的图像与步骤5.3中融合后的特征图进行拼接,最终得到门控特征图和仿射门控特征图。
4.根据权利要求3所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,所述步骤5.3中融合函数如下所示:其中l=2,3,4或5;L=5,Gi=sigmoid(wi*Xi),Gl=sigmoid(wl*Xl),wi为分类网络中第i阶段的权重参数,wl为分类网络中第l阶段的权重参数;Xl表示主体特征图, 为主体特征图与部分特征图融合后的特征图, 为超参数。
5.根据权利要求3所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,所述步骤5.3中选择X3和X4作为主体特征图,则经过融合函数后得到融合后的特征图为 和
6.根据权利要求1所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,所述步骤6中交叉特征注意力模型对输入的类激活映射,仿射类激活映射,门控特征图以及仿射门控特征图进行如下操作:步骤6.1:对仿射类激活映射和仿射门控特征图分别进行双线性上采样;
步骤6.2:将门控特征图和仿射门控特征图进行拼接,采用两个共享权值的1×1卷积层对拼接后的特征图进行卷积操作得到尺寸为H×W×C1的新门控特征图,H,W为分类网络第三、第四或第五阶段输出的特征图的高度和宽度,C1为新门控特征图的通道数;
步骤6.3:对新的门控特征图的所有像素点之间进行相似度计算,得到相似度矩阵;
步骤6.4:将相似度矩阵与仿射类激活映射进行乘积计算,将乘积后的结果与类激活映射相加,最终得到改进的类激活映射。
7.根据权利要求6所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,所述步骤6.3中采用如下公式进行相似度计算:其中xi,,xj,分别表示新的门控特征图中第i’和第j’个像素点,T为张量转置,ReLU(·)为激活函数,f(xi,,xj,)表示第i’和第j’个像素点之间的相似度,θ(.)表示1*1的卷积核,||·||表示计算张量。
8.根据权利要求1所述的一种基于弱监督学习的门控特征注意力等变分割方法,其特征在于,该方法还包括对第一、第二分类网,第一、第二门控的部分融合模块以及交叉特征注意力模型构成的分割网络进行端到端的整体训练,则训练时采用的损失函数为:Ltotal=Lcls+LSelf‑EC+LCross‑EC其中Lcls为第一或第二分类网分类网络的损失函数,LSelf‑EC为等变损失函数,LCross‑EC为交叉等变损失函数,表达式如下所示:其中,LSelf‑EC为自等变损失函数,LCross‑EC为交叉等变损失函数,X为原始图像,A(·)和A‑1
(·)分别为仿射变换函数和仿射逆变换函数, 为分类网络, 为分割网络函,||·||L1是计算张量的L1损失函数。