1.一种基于强弱一致性的半监督对抗互训练语义分割方法,其特征在于,包括以下步骤:S1获取开源网站Pascal VOC2012数据集并进行预处理;具体如下:Pascal VOC2012数据集1464张用于训练的全标注图像,1449张用于验证的图像和1456张用于测试的图像;其中,将1464张随机划分为有标签图像和无标签图像;预处理具体如下:将训练图像进行随机缩放、裁剪、水平翻转后作为快速增强网络的输入;将经过随机缩放、裁剪、水平翻转的图像利用色彩抖动transforms.ColorJitter随机调整图像的亮度、对比度、饱和度和色相;利用随机灰度化transforms.RandomGrayscale随机将图像转换成灰度图像后再进行随机的模糊变换作为重度增广网络的输入;即得到一组完全按像素标注的图像和一组未标注的图像 ;其中,M和N表示标记图像和未标记图像的数量,其中,, ;其中,C表示通道;H表示高度;W表示宽度; 是每个像素one‑hot标签,其中,Y 表示分割类别的数目;
S2采用deeplabv3+构建半监督语义分割网络,所述半监督语 义分割网络包括快速增强网络和重度增广网络;其中,快速增强网络和重度增广网络包括:特征差异提取模块、特征解码模块、伪标签合成模块、交叉监督模块;其中,特征差异提取模块用于进行图像的特征提取;特征解码模块用于在快速增强网络和重度增广网络中分别进行扰动特征和无扰动特征,其中,无扰动特征采用图像扰动和特征扰动dropout构成的双路扰动进行;然后输入到快速增强网络和重度增广网络两个共享权重的解码器上进行解码分别得到快速增强网络两张预测图和重度增广网络两张预测图;伪标签合成模块采用邻近像素预测生成伪标签;其中,快速增强网络和重度增广网络分别生成第一伪标签和第二伪标签;交叉监督模块用于将快速增强网络中不进行扰动的预测图合成伪标签,然后利用伪标签监督重度增广网络预测图的训练;
S3输出分割图。
2.根据权利要求1所述的一种基于强弱一致性的半监督对抗互训练语义分割方法,其特征在于,特征差异提取模块具体如下:设快速增强网络和重度增广网络的特征提取器为αΨf和分类器为Ψcls,将视图经过特征提取器Ψf的特征表示为f ;对于 和 ,分别将预处理后的图像视图输入到快速增强网络和重度增广网络中,经过两个子网的特征提取器后得到两个特征表示 和 ;使用差异损失 最小化两个特征表示 和 之间的余弦相似度,公式表示为:;
其中, 表示标签数据和无标签数据, 表示快速增强分支提取的特征信息,为重度增广分支提取信息。
3.根据权利要求1所述的一种基于强弱一致性的半监督对抗互训练语义分割方法,其特征在于,在特征解码模块中,将无扰动特征经过分类器Ψcls后的预测记为 ,将加入dropout扰动的特征经过分类器Ψcls后的预测记为 ,则监督损失表示为:;
其中,l表示属于标签图像, 为标签图像监督训练损失,M表示标签图像的数量,W和H表示图像的宽、高, 为交叉熵损失, 为第m张标签图像的第n个像素,w和s分别为快速增强网络和重度增广网络, 为快速增强分支的无扰动预测, 为快速增强分支的扰动预测; 分别表示重度增广网络的无扰动和扰动预测, 为真实标签。
4.根据权利要求1所述的一种基于强弱一致性的半监督对抗互训练语义分割方法,其特征在于,伪标签合成模块公式如下:设给定一个预测 中的一个像素 和相应的每个类别预测 ,检查其周围N×N像素邻域内的邻域像素 ,计算 和 属于同一类c的联合概率 ,然后计算两个像素中至少有一个属于类别c的概率,公式如下:;
其中, 表示快速增强网络和重度增广网络, 为预测 的第j行,k列的像素点, 为像素 的邻域像素点; 分别表示像素 、 对于类别c的预测概率;
对于每个类c,选择最大信息熵的邻居,公式如下:
;
其中,max表示最大值筛选, 表示在所有3*3邻域的像素点中寻找 的最大值。
5.根据权利要求1所述的一种基于强弱一致性的半监督对抗互训练语义分割方法,其特征在于, 交叉监督模块公式如下:;
其中, 表示快速增强网络和重度增广网络, 表示分支i的无监督一致性损失; 表示表示分支i的预测和标签冲突的高置信度一致性损失, 为其他情况下分支i的无标签一致性损失; 为高置信度冲突情况下一致性损失的权重; 公式如下:;
公式如下:
;
其中,N为无标签图像的数量,W和H为图像的宽高, 为分支i的第m张图像的第n个像素预测, 为第(3‑i)分支生成的伪标签的第m张图像第n个像素标签; 表示在预测 和标签 冲突的情况下且置信度高于阈值时为1, 表示除高置信度冲突的其他情况。
6.根据权利要求1所述的一种基于强弱一致性的半监督对抗互训练语义分割方法,其特征在于,在模型训练中,总损失函数由监督损失、一致性损失和特征差异损失构成,公式如下:;
其中,为总损失函数, 表示监督损失, 为无标签一致性损失, 为特征差异损失, 是三个损失函数的调整权重。