1.一种基于注意力融合的弱监督语义分割方法,其特征在于:包括以下步骤S1、准备数据集,数据集包括训练集、验证集以及测试集;
S2、对数据集中的图像进行数据预处理;
S3、搭建基于注意力融合的弱监督语义分割模型,采用在图像识别数据集ImageNet上预训练的数据图像转换器DeiT作为模型的主干;步骤S3包括以下分步骤:S3.1、将步骤S2中经过数据预处理的图像分割成N个不重叠的块,然后通过线性映射构造N个块令牌,并将C个类令牌与N个块令牌拼接得到模型的输入令牌;
S3.2、将输入令牌输入到基于注意力融合的弱监督语义分割模型的Transfomer编码层,得到输出令牌;
S3.3、从输出令牌中提取最后N个块令牌组成输出块令牌,并对输出块令牌进行重组操作和卷积操作,得到粗糙类激活图,Coarse‑CAM=Conv(Reshape(Tp_out))
其中,Tp_out表示输出块令牌,Reshape表示重组操作,Conv表示卷积操作,Coarse‑CAM表示粗糙类激活图;
S3.4、输入令牌经过Transfomer编码层时,通过注意力模块对输入令牌进行注意力计算产生注意力Attention,计算公式如下:其中,Q和K分别表示输入令牌在经过transformer编码层时通过线性投影得到的Quary矩阵和Key矩阵,dk表示缩放因子,T表示矩阵转置操作;
S3.5、每个transformer编码层都会产生一个注意力,经过L个transformer编码层后得到所有的注意力,将L个注意力命名为A;接着对A进行全局平均池化操作,然后经过全连接层进行信息交互生成权重W,如下所示:W=FC(GAP(A))
其中,GAP表示全局平均池化操作,FC表示全连接层;
S3.6、将得到的权重W与A相乘并进行融合得到最终的注意力W′;
S3.7、将最终的注意力W′进一步划分为类到块注意力Ac2p和块到块注意力Ap2p,并将类到块注意力Ac2p和块到块注意力Ap2p分别与调制函数G相乘;
S3.8、使用调制后的类到块注意力和块到块注意力依次对粗糙类激活图进行优化,得到最终类激活图;
S4、对基于注意力融合的弱监督语义分割模型进行多轮训练,将训练的最好一轮结果对应的最好参数进行保存;
S5、将保存的最好参数加载到基于注意力融合的弱监督语义分割模型中,然后将测试集数据输入到模型中,生成完整的类激活图。
2.根据权利要求1所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S1中,使用PASCAL VOC 2012数据集和MS COCO 2014数据集作为数据集,Pascal VOC
2012数据集有21个类别,包括20个对象类和一个背景类;MS COCO 2014数据集有81个类别,包括80个对象类和一个背景类。
3.根据权利要求2所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述PASCAL VOC 2012数据集包括由1464幅图像组成的训练集、由1449幅图像组成的验证集以及由1456幅图像组成的测试集,其中训练集采用额外数据扩充后的10582张图像;MS COCO 2014数据集包括由82081幅图像组成的训练集和由40137幅图像组成的验证集。
4.根据权利要求1所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S2包括以下分步骤:S2.1、对图像进行随机水平翻转以及颜色抖动处理;
S2.2、接着对图像进行归一化处理,将图像大小调整为256×256;
S2.3、最后对图像进行随机裁剪,将图像大小调整为224×224。
5.根据权利要求4所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S2.1中,对图像进行颜色抖动处理的方法具体为:将图像的亮度、对比度以及饱和度值均设置0.3。
6.根据权利要求1所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S3.7中,调制函数G如下式所示:其中,x表示输入,μ表示输入的平均值,σ表示输入的方差,e表示指数函数,π表示圆周率。
7.根据权利要求1所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S3.8中,对粗糙类激活图进行优化的方法具体为:首先将粗糙类激活图Coarse‑CAM与调制后的类到块注意力逐元素相乘,得到初步优化后的类激活图;然后再利用调制后的块到块注意力通过矩阵乘法来进一步优化类激活图,得到最终类激活图Final‑CAM。
8.根据权利要求1所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S4中,设置模型相关超参数,将模型训练次数Epoch设置为60,将模型训练批次大小设置为64,训练时使用的优化器为Adamw优化器,损失函数为多标签交叉熵损失,初始学习率设置为4e‑4。
9.根据权利要求1所述的一种基于注意力融合的弱监督语义分割方法,其特征在于:所述步骤S5中,将保存的最好参数加载到基于注意力融合的弱监督语义分割模型中,将验证集和测试集中的图片输入到模型中,然后进行平均交并比MIoU的计算,根据得到的MIoU值的大小来衡量基于注意力融合的弱监督语义分割模型在Pascal VOC 2012和MS COCO 2014数据集上的语义分割性能。