1.一种基于自适应原型聚合网络的小样本图像分割方法,其特征在于:所述小样本图像分割方法具体包括如下步骤:步骤1、获取小样本图像分割的数据集,将数据集划分为训练集和测试集;
步骤2、构建自适应原型聚合网络,具体包括以下步骤:
步骤2.1、使用预训练的主干网络作为特征提取器,分别提取支持图像和查询图像的中间支持特征集合 和查询特征集合 ;
步骤2.2、构建先验掩码生成模块:从步骤2.1中的支持特征集合合 和查询特征集合 中选择支持图像的高级特征 和查询图像的高级特征 ,并将它们输入到先验掩码生成模块,最终输出查询图像的先验掩码 ;
步骤2.3、构建自适应原型聚合模块:自适应原型聚合模块由原型提取,视觉‑文本聚合,原型融合三个部分组成,自适应原型聚合模块以中级支持特征 、中级查询特征 以及类的词嵌入向量 作为输入,输出增强的原型表示 ,增强的原型被扩张到和步骤2.2的先验掩码 同等的空间大小,定义为 ;
步骤2.4、构建视觉关联生成模块:对步骤2.1提取的中间支持特征集合合 和查询特征集合 ,两两计算余弦相似度,得到关联图,使用多尺度结构对得到的关联图进行融合,得到视觉关联特征 ;
步骤2.5、构建解码器,用于预测查询掩码:将先验掩码 、增强的原型表示 和视觉关联特征 作为中级查询特征 引导信息,将与中级查询特征 在通道维度进行拼接后输入,经过解码后,解码器将产生4个尺度的中间预测结果 以及最终预测的查询掩码 ;
步骤3、利用步骤1中的训练集,对步骤2构建的自适应原型聚合网络进行训练:根据联合三元组损失 、中间分类损失 以及最终分类损失 计算自适应原型聚合网络的总损失 ,并进行反向传播,采用随机梯度下降算法来优化自适应原型聚合网络的参数,训练过程中,冻结整个主干网络的参数,不进行更新;
步骤4、加载步骤3训练的网络权重文件,使用步骤1构建的测试集评估模型的性能。
2.根据权利要求1所述的基于自适应原型聚合网络的小样本图像分割方法,其特征在于:所述步骤2.2中构建先验掩码生成模块具体步骤为:步骤2.2.1、支持图像的高级特征 首先被支持掩码 屏蔽掉无关区域的干扰,采用不同尺寸的2D平均池化窗口来分别汇聚支持图像和查询图像的区域像素,在执行2D平均池化时,所有特征会经过合理的填充,以保证输出的尺寸大小相同,整个步骤描述如下:,
其中 分别表示高级特征的高度、宽度以及通道维度, 函数是双线性插值操作,目的是将 变换到同 相同空间大小, 是哈德曼积, 表示使用的窗口进行平均池化;
步骤2.2.2、使用基于注意力的余弦相似度为支持图像和查询图像的区域特征计算相似度,注意力分数具体是以区域特征点的 范数作为余弦相似度的加权分数,基于注意力的余弦相似度表示公式如下:,
其中, 和 表示区域特征 和 空间中的像素点,经过逐位置的计算得到基于区域的相似图 ,其中第一维表示的是查询维度,第二维是支持维度,然后对 的第二个维度计算平均值,并应用最小‑最大值归一化,得到的 尺寸的张量被变形到的空间尺寸,对三种区域特征计算得到三相似图 ;
步骤2.2.3、通过对所有的相似图求均值得到查询图像的先验掩码 。
3.根据权利要求1所述的基于自适应原型聚合网络的小样本图像分割方法,其特征在于:所述步骤2.3中的原型提取主要提取支持和查询原型,利用支持掩码 ,通过掩码平均池化操作从中级支持特征 提取出支持原型 ,以及使用先验掩码 对中级查询特征 的前景像素进行筛选,聚合为查询原型 ,支持原型向量 查询原型的提取过程用公式表示为:,
其中,0.7表示 的阈值,控制着查询特征前景的筛选范围。
4.根据权利要求1所述的基于自适应原型聚合网络的小样本图像分割方法,其特征在于:所述步骤2.3中的视觉‑文本聚合包含两个分支:支持分支和查询分支,支持分支和查询分支实现了支持和查询原型与语义词向量的自适应融合,得到增强的支持原型 和查询原型 。
5.根据权利要求1所述的基于自适应原型聚合网络的小样本图像分割方法,其特征在于:所述步骤2.3中的原型融合是将步骤2.3.2得到的支持原型 和查询原型 进行加权融合,得到一个增强的原型表示 ,具体的融合方式为:。
6.根据权利要求1所述的基于自适应原型聚合网络的小样本图像分割方法,其特征在于:所述步骤2.4中的多尺度结构包括三个分支,每个分支各有一个1×1卷积,用于融合对应阶段产生的关联图,第三分支与第二分支的输出做元素级相加,再经过由一个3×3步长的卷积、一个组归一化层、一个ReLU激活层组成的跨分支融合模块,所述跨分支融合模块的输出再与第一分支的输出做元素级相加,再经过一次跨分支融合模块后输出,输出的视觉关联特征自然融合了三个阶段的上下文信息。
7.根据权利要求1所述的基于自适应原型聚合网络的小样本图像分割方法,其特征在于:步骤3中的所述联合三元组损失 由支持分支的三元组损失 和查询分支的三元组损失 共同构成,自适应原型聚合网络的总损失 的计算过程包括如下步骤:步骤3.1、所述支持分支的三元组损失 以增强的支持原型 为锚点,支持分支的三元组损失 的计算公式如下:,
其中, 为负样本,是对中级支持特征 的背景求平均得到的, 为难的正样本,是与锚点 最远 距离的前景像素;
步骤3.2、所述查询分支的三元组损失 是以增强的查询原型 为锚点,使用查询图像的先验掩码 ,通过设置不同阈值,聚合中级查询特征 得到负样本 和难的正样本 ,具体实现由公式化表达如下:,
其中,0‑0.4用于控制负样本的筛选范围,0.4‑0.55控制难的正样本的筛选范围,查询分支的三元组损失 的计算公式如下:;
步骤3.3、通过将支持分支的三元组损失 和查询分支的三元组损失 相加得到联合三元组损失 ;
步骤3.4、采用交叉熵函数计算解码器产生的中间预测结果以及最终预测结果与查询掩码真值之间的损失 和 ,计算公式为:,
步骤3.5、总损失 的计算公式如下:
。