1.一种基于弱监督学习的域自适应实例分割方法,其特征在于,该方法包括以下步骤:(1)在源域上训练初始实例分割模型,输出骨干网络特征和语义分数张量,所述语义分数张量包括每个像素所属不同实例的概率;
(2)在目标域上利用源域训练得到的初始实例分割模型进行实例分割,输出每张图像对应的骨干网络特征和语义分数张量;
(3)在步骤(2)得到的语义分数张量的实例维度上取最大值,得到目标域每张图像的实例分割掩码;将目标域每张图像的实例分割掩码分别与目标域骨干网络特征、目标域语义分数张量相乘,得到目标域每个实例的掩码特征和掩码语义分数张量;
(4)将步骤(3)得到的实例的掩码特征和掩码语义分数张量进行拼接,得到实例的增强掩码特征;
(5)使用层次凝聚聚类构建每个类别对应的语义树,将属于该类别的每个实例的增强掩码特征视为一个叶节点,每次凝聚选择实例间增强掩码特征的欧式距离最小的两个子节点进行合并得到合并节点,所述合并节点的增强掩码特征和掩码语义分数张量分别是子节点对应增强掩码特征和掩码语义分数张量的线性组合;
(6)对于每个语义树,基于设定的抽样率对语义树的叶节点进行抽样,快速判断实例分割掩码是否准确,标注判断结果;
(7)将类别k对应的语义树上的所有抽样实例的标注结果的统计值与设定阈值比较:如果统计值大于阈值说明类别k的预测准确,不准确的抽样实例会利用准确的抽样实例进行掩码修正;如果统计值小于等于阈值说明类别k的预测不准确,将对应的语义树拆分为两个子树,每个子树重新抽样实例计算标注结果的统计值,再与设计阈值进行比较,重复拆分‑比较过程直到子树不可拆分或子树不包含任何准确的抽样实例;
(8)根据目标域掩码修正结果微调初始实例分割模型。
2.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,步骤(5)具体为:将实例t对应的子节点和实例o对应的子节点进行合并得到合并节点nj,合并节点nj的+增强掩码特征fj 和掩码语义分数张量sj是子节点对应增强掩码特征和掩码语义分数张量的线性组合:+ + +
fj=wtft+wofo
sj=wtst+woso
其中,权重wt和wo与子节点的大小相关:
其中,Pt和Po分别为相应子节点包含的实例个数;对于叶子节点,wt=wo=1/2;
通过多次凝聚合并节点,最终构建成每个类别对应的语义树。
3.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,步骤(7)中,类别k对应的语义树上的所有抽样实例的标注结果的统计值Qk的计算公式为:其中,N是对于类别k的语义树进行抽样的实例个数,实例的编号为k1,...,kN,lt是步骤(6)中实例分割掩码的判断结果。
4.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,所述初始实例分割模型的骨干网络由swin transformer构成;在源域,训练数据集包括图像集{Xsource}和相应实例掩码图像集{Ysource};在目标域,测试数据集仅包括图像集{Xtatget}。
5.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,所述初始实例分割模型在训练阶段进行数据增强,包括水平/垂直翻转、平移和尺度伸缩;
所述初始实例分割模型使用AdamW优化器进行训练,初始学习率为0.001,遵循多项式衰减策略,权重衰减为0.0001。
6.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,步骤(3)中,目标域实例t的掩码特征ft和掩码语义分数张量st具体为:掩码特征ft为目标域骨干网络特征乘以目标域实例t的实例分割掩码,掩码语义分数张W×H×K量st为目标域语义分数张量乘以目标域实例t的实例分割掩码,st∈R ,K是图像所包含的实例个数,W×H为图像尺寸。
7.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,步骤(6)中,对语义树的叶节点进行抽样,具体为:对于类别k构建的语义树Tk,基于设定的抽样率R随机选择N个实例分割掩码 标注者快速判断选择的实例分割掩码是否准确,如果预测的实例分割掩码mt准确则用1标注,不准确用0标注。
8.根据权利要求1所述的一种基于弱监督学习的域自适应实例分割方法,其特征在于,采用Pascal VOC 2012数据集和COCO数据集作为实例分割模型的训练集。
9.一种基于弱监督学习的域自适应实例分割装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,用于实现如权利要求1‑8中任一项所述的基于弱监督学习的域自适应实例分割方法。
10.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,实现如权利要求1‑8中任一项所述的基于弱监督学习的域自适应实例分割方法。