1.一种基于类间关系的小样本语义分割方法,其特征在于,包括如下步骤:获取查询集和特征集图片;
将查询集和特征集图片输入特征提取器,提取查询集特征和支持集特征;
设置特征自聚合FSA模块,交叉支持和查询功能聚合CSQFA模块和先验掩模图形PMF模块,构建跨支持集和查询集特征聚合网络;
将查询集特征和支持集特征输入特征自聚合FSA模块,将查询集特征和支持集特征在空间位置上重塑为多个局部特征,把局部特征向量与相应的位置向量相加作为transformer的输入,得到自聚合特征;
将聚合特征输入交叉支持和查询功能聚合CSQFA模块,获得跨支持集和查询集的密集逐像素注意力特征;
将跨支持集和查询集的密集逐像素注意力特征输入先验掩模图形PMF模块,得到最终的先验mask,用于最终分类;
将查询集特征和支持集特征输入特征自聚合FSA模块,得到自聚合特征的方法为:将查询集特征和支持集特征在空间位置上重塑为r个局部特征,k=h×w,h,w分别代表输入特征的高,宽,k代表第k个采样点;
把局部特征向量与相应的位置向量相加作为特征自聚合FSA模块中transformer的输入ZS, 代表像素点的向量,Epos为采用正弦位置编码的向量;
FSA模块的输出基于在transformer encoder中的标准注意力操作:其中,Attention表示注意力操作,Q,K,V分别代表query,key,value向量,dk是key向量的维度,获得其中,为局部向量与正弦编码相加后得到z,再经过注意力公式运算得到的结果,即自注意力运算后的结果;Wq,Wk,Wv为可学习的参数;
经过一个标准化层和多层感知机:
将跨支持集和查询集的密集逐像素注意力特征输入先验掩模图形PMF模块,得到最终的先验mask,具体步骤为:用相应的掩码遮住高层次的支持集特征 其中上标i代表高层次特征,s代表支持集,c,h,w分别代表着通道维度,高,宽;将 和高层次查询集特征 展成c×kF∈R ,k=h×w;
基于采样像素点与查询集特征的每一个像素点,通过余弦相似性计算衡量支持集里前景像素点与查询集里各个像素点的相似性 其中下标SQ代表在查询集和支持集间计算余弦相似性,上标FG代表前景;
对 进行标准化后设定阈值为0.3进行采样,置信度低于0.3的采样点则认为是潜在的背景点;
在查询集里计算该背景点的向量与查询集特征向量的余弦相似性,得到一系列上标BG代表潜在背景,k代表第k个采样点,下标QQ代表查询集自己与自己向量计算余弦相似性;
为挖掘自身前景点的相关性,进行相同操作,将阈值设定为0.7,得到一系列得到最终的先验mask:其中,PM即代表Prior Mask,为最终的先验mask;ReLU是一种激活函数,FGi代表第i个采样点的前景。
2.如权利要求1所述的基于类间关系的小样本语义分割方法,其特征在于,获得跨支持集和查询集的密集逐像素注意力特征,为:将三维的输入特征转为二维,并将每个像素点作为一个Token在经过一个线性映射后得到Q,K,V;
其中, 为Q利用查询集特征S聚合后得到的密集逐像素注意力特征, 为S利用查询集特征Q聚合后得到的密集逐像素注意力特征;Q,K,V分别代表query,key,value向量;FQ和FSd×d分别表示查询集特征和支持集特征,Wq,Wk,Wv∈R 是可学习的参数,d是隐藏层维度;
CSQFA模块通过QqSk来测量所有支持集像素点对一个特定的查询集像素点的相似性,与Sv相乘聚集来自FS的前景信息,其中Qq表示WqFQ,Sk表示WkFS,Sv表示WvFS,Wq,Wk,Wv为可学习的参数,FQ为查询集特征,FS为支持集特征;Qq代表由查询集变化得到的Query,Sk代表由支持集变化得到的key,Sv代表由支持集变化得到的value;
将支持集和查询集互换,该过程中共享相同的参数。
3.一种基于类间关系的小样本语义分割系统,其特征在于,包括数据采集模块和处理模块,所述数据采集模块获取查询集和特征集图片,数据采集模块的输出端与处理模块连接;
所述处理模块执行权利要求1或2所述方法,获取优化的先验mask,进行小样本语义分割。
4.如权利要求3所述的基于类间关系的小样本语义分割系统,其特征在于,所述处理模块包括依次连接的特征自聚合FSA模块,交叉支持和查询功能聚合CSQFA模块和先验掩模图形PMF模块。
5.如权利要求4所述的基于类间关系的小样本语义分割系统,其特征在于,所述特征自聚合FSA模块包括自注意力机制与位置编码单元;
特征自聚合FSA模块的输入为查询集特征和支持集特征,支持集的特征用掩码遮挡,查询集的特征不做处理,将查询集特征和支持集特征展开为c*k的向量并与位置编码相加,然后经过自注意力机制得到自聚合特征,其中k=h×w,c,h,w分别代表着通道维度,高,宽,k代表第k个采样点。
6.如权利要求4所述的基于类间关系的小样本语义分割系统,其特征在于,所述交叉支持和查询功能聚合CSQFA模块包括交叉注意力机制单元。
7.如权利要求4所述的基于类间关系的小样本语义分割系统,其特征在于,所述先验掩模图形PMF模块包括前景点与背景点采样与余弦相似性的计算单元,交叉支持和查询功能聚合CSQFA模块的输出与先验掩模图形PMF模块串联后与解码器连接。