利索能及
我要发布
收藏
专利号: 2022104421112
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于类间相似性的弱监督语义分割方法,其特征在于,包括下列步骤:步骤1,建立新标签:

通过特征提取网络提取预置的第一图像数据集的每个类别的图像特征,基于提取的图像特征通过聚类方法对相似类进行合并得到新类,并重新生成第一图像数据集中每个样本图像在新类上的标签;

步骤2,搭建对抗擦除模型:

基于第一图像数据集的原始标签,搭建第一分类网络,所述第一分类网络包括特征提取网络和分类器,所述分类器包括至少一层全连接层;

基于第一图像数据集对所述第一分类网络进行训练,得到训练好的第一分类网络;

将第一图像数据集中的样本图像输入训练好的第一分类网络,基于其特征提取网络的输出得到样本特征图,并将训练好的第一分类网络的分类器的最后一层全连接层的权重作为样本特征图的通道权重,对各样本特征图的按通道进行加权求和生成第一类激活谱;

将所述第一类激活谱阈值进行比较,若大于或等于,则确定为判别性区域,并从当前样本图像中擦除判别性区域得到新样本图像,基于新样本图像和新标签得到第二图像数据集;

基于第二图像数据集搭建第二分类网络,所述第二分类网络与第一分类网络的网络结构相同;并基于第二图像数据集对所述第二分类网络进行训练,基于训练好的第二分类网络得到对抗擦除模型;

步骤3,类激活谱融合:

将新样本图像输入对抗擦除模型,基于其特征提取网络的输出得到第二样本特征图,并将对抗擦除模型的分类器的最后一层全连接层的权重作为第二样本特征图的通道权重,对各第二样本特征图的按通道进行加权求和生成第二类激活谱;

对第一和第二类激活谱进行合并处理,生成最终的类激活谱;

步骤4,生成伪标注:

若最终的类激活谱大于或等于前景阈值,则将最终的类激活谱对应的像素划分为前景;若最终的类激活谱小于背景阈值,则将最终的类激活谱对应的像素划分为背景;剩余像素则填充为白色;

步骤5,训练语义分割模型:

将生成的伪标注作为监督信息,并基于第一图像数据集对采用的语义分割模型进行训练,当满足预置的训练结束条件时,得到训练好的语义分割模型。

2.如权利要求1所述的方法,其特征在于,所述步骤1中,基于提取的图像特征通过聚类方法对相似类进行合并具体为:基于单个样本图像的图像特征Fi,对其按类别划分,取特征均值得到每个类别的特征:其中,Cj表示第j个类别的特征,yi,j表示样本图像i的第j个类别的标签值,若样本图像i包含第j类物体,则yi,j为1,否则yi,j为0;

基于每个类别的特征进行聚类处理,将每个聚类结果作为一种新类,并设置对应的新标签。

3.如权利要求1所述的方法,其特征在于,进一步的,所述分类器包括一层设置有softmax函数全连接层。

4.如权利要求1所述的方法,其特征在于,第一、第二类激活谱的具体计算方式为:其中,Oi,j表示样本图像i第j类的第一或第二类激活谱,R()表示正则化, 表示第一或第二分类器的最后一层全连接的权重, 表示样本图像的样本特征图,下标m表示通道标识,j表示类别标识,i表示样本图像标识。

5.如权利要求1所述的方法,其特征在于,步骤2中,新样本图像为Ii′=∑jyi,j[Ii⊙(1‑Di,j)],其中,Ii表示第一图像数据集的第i幅样本图像,yi,j表示样本图像i的第j个类别的标签值,若样本图像i包含第j类物体,则yi,j为1,否则yi,j为0,Di,j表示判别性区域标识,Di,j为1表示判别性区域,Di,j为0表示非判别性区域,⊙代表点乘运算。

6.如权利要求1所述的方法,其特征在于,所述对抗擦除模型在训练时采用的损失函数为: 其中,s和s′分别表示第一和第二分类网络的预测结果,y和y′分别表示原始标签和新标签;λ1和λ2表示两个平衡系数,用来调整每部分对总损失的贡献,以保证训练的稳定,即λ1和λ2分别表示第一和第二分类网络的损失权重, 表示交叉熵损失函数。

7.如权利要求1所述的方法,其特征在于,所述步骤2中,确定判别性区域时,首先对第一类激活谱进行增强处理,再基于增强处理后的第一类激活谱进行判别性区域确定;

和/或者所述步骤3中,对第一和第二类激活谱进行合并处理前,分别对第一和第二类激活谱进行增强处理,再基于增强处理后的第一和第二类激活谱进行合并处理。

8.如权利要求7所述的方法,其特征在于,所述增强处理具体为:对分类网络的特征提取网络输出的样本特征图F进行转置和尺寸调整处理,得到两个新的特征图F1和F2,并根据公式得到亲和力矩阵M: 其中,‖·‖代表2‑范数运算;

定义b×h×w表示样本特征图F尺寸,其中,b表示通道数,h×w表示样本特征图的大小,则特征图F1的尺寸为b×hw,特征图F2的尺寸为hw×b;

将类激活谱与其对应的亲和力矩阵M进行矩阵相乘得到增强后的增强后的类激活谱。

9.如权利要求1至8任一项所述的方法,其特征在于,步骤3中,对第一和第二类激活谱进行合并处理具体为:第一类激活谱减去干扰区域后,再与第二类激活谱相加,生成最终的类激活谱;

其中,干扰区域的具体生成方式为: Zi,j表示样本图像i的第j类的干扰区域,n表示类别标识符,Ai,n表示第一类激活谱或增强后的第一类激活谱。

10.如权利要求1所述的方法,其特征在于,所述分类器包括一层设置有softmax函数全连接层。