1.一种基于注意力调节的弱监督语义分割方法,其特征在于,包括以下步骤:步骤1,数据准备:获取标注图像数据集,并将数据集划分为训练集、验证集和测试集;
步骤2,数据预处理:对图像进行随机水平翻转以及颜色抖动处理,对图像进行归一化处理,并进行随机裁剪,将裁剪后的图像作为弱监督语义分割模型的输入;
步骤3,模型搭建:采用在ImageNet上预训练的DeiT‑S作为模型的主干,构建弱监督语义分割模型;
步骤4,模型训练:使用Adam优化器优化弱监督语义分割模型,同时使用训练集对模型进行设定周期的训练,损失函数使用多标签交叉熵损失,训练好的模型生成类激活图;
步骤5,根据类激活图的值对每个像素位置分配一个类别生成像素级伪标签,然后使用像素级伪标签对语义分割网络DeeplabV2进行训练;将验证集和测试集中的图片输入到训练好的模型中得到最终的分割图。
2.根据权利要求1所述的基于注意力调节的弱监督语义分割方法,其特征在于,步骤3中模型搭建包括:步骤3.1,搭建基于注意力融合的弱监督语义分割框架,将预处理后的图像分割成N个不重叠的块,然后通过线性映射构造N个块令牌,并将C个类令牌与N个块令牌拼接得到框架的输入令牌;
步骤3.2,将输入令牌输入到框架中的Transfomer编码层,得到输出令牌;然后从输出令牌中提取最后N个块令牌组成输出块令牌Tp_out,并对其进行重组以及卷积操作得到初始类激活图Original‑CAM;
步骤3.3,输入令牌经过Transfomer编码层时注意力模块对输入令牌进行注意力计算产生注意力Attention,计算公式如下:其中Q和K分别表示输入令牌在经过Transformer编码层时通过线性投影得到的Quary矩阵及Key矩阵,T表示矩阵转置,dk表示缩放因子;
步骤3.4,Attention进一步划分为类到块注意力Ac2p和块到块注意力Ap2p,然后通过块与块之间的注意力Ap2p对类与块之间的注意力Ac2p进行调节;
步骤3.5,使用类到块注意力Ac2p和块到块注意力Ap2p对初始类激活图进行优化。
3.根据权利要求2所述的基于注意力调节的弱监督语义分割方法,其特征在于,类到块注意力Ac2p和块到块注意力Ap2p表示如下:Ac2p=Attention[1:C,C+1:C+N]
Ap2p=Attention[C+1:C+N,C+1:C+N]调节类c与块i之间的注意力,过程如下:
首先,根据各个块与块i之间的注意力对各个块按照注意力值从大到小的顺序进行排序,并选择排序后排名前p%的块;
然后,将类c与选择的块之间的注意力取出并进行计算,获得类c与块i之间的注意力调节因子:其中,r(c,i)表示Ac2p中类c与块i之间的注意力调节因子,c∈{1,2,...,C}表示数据集类别总数,i,j表示块,i∈{1,2,...,N},j∈U,U表示与块i之间注意力最大的前p%个块的集合,S表示U中块的数量;Ac2p(c,j)表示表示类c与块j间的注意力;
接下来将注意力调节因子r(c,i)加到类c与块i之间的注意力中进行调节:Ac2p(c,i)=Ac2p(c,i)+α*r(c,i)
其中,Ac2p(c,i)表示类c与块i之间的注意力,α代表注意力调节因子系数。
4.根据权利要求2所述的基于注意力调节的弱监督语义分割方法,其特征在于,步骤
3.5中使用类到块注意力Ac2p和块到块注意力Ap2p对初始类激活图进行优化,包括:首先将初始类激活图Original‑CAM与类到块注意力相乘,得到初步优化后的调节类激活图;
然后再通过将块到块注意力与调节类激活图之间进行矩阵乘法来进一步优化,得到最终类激活图。
5.根据权利要求1‑4任一所述的基于注意力调节的弱监督语义分割方法,其特征在于,步骤4中模型训练过程如下:步骤4.1,设置弱监督语义分割模型超参数:模型训练次数Epoch、初始学习率和模型训练批次batch_size,训练时使用的优化器为Adam优化器,损失函数是多标签交叉熵损失;
步骤4.2,对弱监督语义分割模型进行多轮训练,将训练mIoU值最高的一轮结果对应的参数进行保存;
步骤4.3,弱监督语义分割模型训练完成之后,将保存的最好参数加载到模型中,然后将训练集数据输入到模型中,训练好的模型生成完整的类激活图。