1.一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,包括以下步骤:S1.将Faster R‑CNN作为基础模型架构,主干网络采用ResNet‑101;将目标检测数据集划分为类别不相交的基类数据集和新类数据集,并从元学习的思想出发,对基类数据集进行任务划分,每个任务包含N个类别,每个类别采样包含K张图像的支持图像集和包含Q张图像的查询图像集;
S2.选取一组支持图像和一张查询图像,每张支持图像包含RGB三通道和一个表示支持图像中目标位置的mask通道;
S3.对查询图像和增加mask通道后的支持图像分别进行特征提取,得到支持特征和查询特征;
S4.使用协同注意力模块,根据S2得到的支持特征和查询特征,产生两者之间的相关性权重,再利用相关性权重分别对支持特征和查询特征进行加权,得到加权的支持特征和加权的查询特征;
S5.将S4中得到的加权的查询特征输入到RPN中得到可能为前景的候选区域,并对其相应的感兴趣区域进行RoI Align操作,得到池化后的候选区域特征;同时根据目标标注位置信息进行对加权的支持特征进行裁剪,并将裁剪后的支持特征进行RoI Align操作,得到池化后的支持区域特征;
S6.将S5中得到的池化后的候选区域特征输入到RoI Head模块进行目标分类和定位,同时将其与池化后的支持区域特征一起输入到对比分支中进行对比学习;提出相似度计算方法和对比损失函数,并将对比损失函数与Faster R‑CNN的损失函数相结合,构成最终的损失函数用于训练;在基类数据集上经过多轮训练后,得到基类模型;
S7.利用在基类数据集上训练得到的基类模型,在新类数据集上进行微调,微调方式同步S2‑S6的训练过程。
2.根据权利要求1所述的一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,所述步骤S2的具体过程为:S21.根据输入的支持图像获取其RGB三通道;
S22.为支持图像增加一层mask通道:根据采样类别获取支持图像中对应类别的目标在支持图像中的位置信息,若图像中包含了多个属于采样类别的物体,则只选取其中一个作为目标;将感兴趣目标的边界框范围内各像素点赋值为1,其余图像位置的像素点赋值为0,得到表明图像中感兴趣目标位置的mask通道;
S23.将mask通道拼接在图像RGB三通道后,得到通道数为4的支持图像。
3.根据权利要求1所述的一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,所述步骤S4包括以下过程:S41.将S3得到的支持特征Fs和查询特征Fq通过一个1×1卷积层来减少通道数,进一步得到通道数更少的支持特征 和通道数更少的查询特征S42.计算通道数更少的支持特征 和通道数更少的查询特征 之间的余弦相似度,得到特征相关矩阵C(xq,xs),其中xs和xq分别表示在 和 中的空间位置;
S43.利用两个3×3卷积层来保证特征相关矩阵中相邻相似度的一致性,得到S44.根据特征相关矩阵 得到查询注意力图Aq和支持注意力图As,对于查询注意力图Aq的计算公式为:其中,H和W分别表示支持特征的高和宽,γ表示温度系数,公式的含义是支持特征 中所有的空间位置与查询特征 中的空间位置xq的相关程度;支持注意力图As的计算方法与查询注意力图As相同,其公式为:S45.利用支持注意力图As和查询注意力图Aq分别对支持特征Fs和查询特征Fs进行加权,得到加权的支持特征F′s和加权的查询特征F′q。
4.根据权利要求1所述的一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,所述步骤S5包括以下过程:S51.将加权的查询特征F′q输入到RPN输出可能为前景的候选区域,并将其映射到F′q上,得到相应的感兴趣区域;
S52.对所有的感兴趣区域进行RoI Align操作,得到池化后的候选区域特征 其中M表示RPN输出的候选区域的个数;
S53.将支持图像中感兴趣目标的标注位置信息映射到加权支持特征F′s中,根据目标位置裁剪出相应的支持目标特征;
S54.对所有的支持目标特征进行RoI Align操作,得到池化后的支持区域特征
5.根据权利要求1所述的一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,所述步骤S6中的对比分支包括以下步骤:S61.输入对比分支的池化后的候选区域特征 和池化后的支持区域特征 构成了所有的区域特征S62.计算特征样本对相似度:
对于区域特征fi,分别利用大小为1×1的值、键值和查询投影卷积得到值矩阵Vi,键值矩阵Ki和查询矩阵Qi,同样可以得到区域特征fj的值矩阵Vj,键值矩阵Kj和查询矩阵Qj;
通过交叉注意力计算,分别将区域特征fj对齐区域特征fi,区域特征fi对区域齐特征fj;
将区域特征fj对齐区域特征fi时,其交叉注意力计算方法为:
其中,d表示值矩阵、键值矩阵和查询矩阵的通道数;特征fi对齐特征fj的交叉注意力计算方法也与之相同,其交叉注意力计算方法为:最后,根据fi与fj|i以及fj与fi|j的余弦相似度,计算他们的期望,便得到两者的相似度分数,用公式表示为:其中,sim(·,·)表示余弦相似度;
S63.为拉近相同类别目标之间的距离,拉远不同类别目标之间的距离,使用对比损失进行计算和优化,因此,对比损失函数表示为:其中,N代表类别数量;K代表了每个类别中的支持图像的数量;M代表了RPN输出的候选区域的数量; 代表了除区域特征fi自身以外,与fi类别相同的区域特征的数量;
代表区域特征fi所对应的候选区域与其匹配的目标真实边界框的交并比大于指定阈值 以确保用于对比的候选区域的一致, 表示区域特征fi不与自身计算对比损失, 代表区域特征fj的类别需要与区域特征fi的类别相同, 与 的代表含义相同,表示区域特征fi不与自身计算对比损失;τ为温度系数,其作用是调节对困难样本的关注程度。
6.根据权利要求1所述的一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,所述步骤S6中最终的损失函数表示为:其中,λ为平衡因子,用于平衡损失规模, 表示Faster R‑CNN的损失函数。
7.根据权利要求1所述的一种基于注意力机制和对比学习的小样本目标检测方法,其特征在于,所述步骤S7中在新类数据集上进行微调时,冻结基类模型中除RPN最后一层以及RoI Head模块之外的所有层,并在此基础上依照S2‑S6的训练过程进行微调后,得到最终的小样本目标检测系统模型。