欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2020106017961
申请人: 广东石油化工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于分散注意力网络的小样本下语义分割方法,包括:训练数据集、深度神经网络、框架参数Φ、支持图像和支持图像的目标标注mask图像,所述训练数据集包括每个图像都有分割标注的mask图像,所述深度神经网络采用resnet101网络结构和在ImageNet上训练得到的参数,所述框架参数Φ为获取k和v的卷积层参数以及解码器中卷积层参数,其特征在于:其语义分割学习过程包括以下步骤:S1、对训练数据集所有任务,随机抽取一个图像以及其标注作为待分割图像,其余图像作为支持图像集;

S2、对k和v的卷积层参数以及解码器中卷积层参数,即Φ随机初始化;

S3、利用resnet101网络,对待分割图像和支持图像生成三层的特征表示resnet101网络第1、2个块输出为l=1层,第三个块输出为l=2层,第4个块输出为l=3层;

S4、对每一个l,从1到3,做以下操作:

S4.1、对 和 用两个卷积层(Φ参数)生成对应的关键字和值对,分别为{kql,vql}和{ksl,vsl};

S4.2、计算A矩阵,其中元素:

S4.3、对A矩阵按照行求均值,生成As;

S4.4、对As中像素降序排列,得到像素j对应的位置ej;

S4.5、将As中像素j的权重按照如下公式调整:

其中H和W为图像的高和宽。

S4.6、重构A矩阵为 其中每个元素如下:

S4.7、将 经过softmax层归一化如下:

S4.8、对于第i个位置,按照如下方式生成分散注意力映射:其中||表示串接操作;

S4.9、重复S2.1到l=3;

S5、将 经过双线性上采样,经过一个残差模块将其和 的注意力特征串接,串接之后的结果在经过双线性上采样,经过一个残差模块将其和 的注意力特征串接,经过一个卷积层(Φ参数),得到稠密表示;

S6、稠密表示经过softmax层,对每一个像素点得到最后分割结果,前景还是背景;

S7、和真实分割mask图像对比,计算交叉熵,将交叉熵对Φ求梯度;

S8、更新Φ;

S9、循环回S1,至收敛。

2.根据权利要求1所述的一种基于分散注意力网络的小样本下语义分割方法,其特征在于:所述支持图像在one-shot情况,支持图像为1幅图像,其语义分割过程包括以下步骤:S1:利用resnet101网络,对待分割图像和支持图像生成三层的特征表示resnet101网络第1、2个块输出为l=1层,第三个块输出为l=2层,第4个块输出为l=3层;

S2、对每一个l,从1到3,做以下操作:

S2.1、对 和 用两个卷积层生成对应的关键字和值对,分别为{kql,vql}和{ksl,vsl};

S2.2、计算A矩阵,其中元素

S2.3、对A矩阵按照行求均值,生成As;;

s

S2.4、对A中像素降序排列,得到像素j对应的位置ej;

S2.5、将As中像素j的权重按照如下公式调整:

其中H和W为图像的高和宽;

S2.6、重构A矩阵为,其中每个元素如下:

S2.7、将经过softmax层归一化如下:

S2.8、对于第i个位置,按照如下方式生成分散注意力映射:其中||表示串接操作;

S2.9、重复S2.1到l=3;

S3、将 经过双线性上采样,经过一个残差模块将其和 的注意力特征串接,串接之后的结果在经过双线性上采样,经过一个残差模块将其和 的注意力特征串接,经过一个卷积层,得到稠密表示;

S4、稠密表示经过softmax层,对每一个像素点得到最后分割结果,即前景还是背景。

3.根据权利要求1所述的一种基于分散注意力网络的小样本下语义分割方法,其特征在于:所述fql包括两个分支结构,所述fql下面一个分支是待分割图像,经过多层卷积神经网络,不同卷积层对应的输出,涵盖不同语义层面的信息特征表示,所述fql上面一个分支是支持图像和对应的掩码图像(即标注),经过卷积神经网络(和下一个分支的卷积神经网络同参数)的不同层,生成涵盖不同语义层次信息的特征表示fsl。

4.根据权利要求1所述的一种基于分散注意力网络的小样本下语义分割方法,其特征在于:所述fsl通过标注信息做点乘,得到信息和对应层的待分割图像的表示,所述得到信息和对应层包括DGA分散图形注意力机制和过RFU增强融合单元,所述DGA分散图形注意力机制环节产生的注意力机制通过将不同层对应的注意力机制与RFU增强融合单元环节融合,生成最后的标注待分割图像。

5.根据权利要求4所述的一种基于分散注意力网络的小样本下语义分割方法,其特征在于:所述DGA分散图形注意力机制的输入是从支持图像和待分割图像得到的包含不同层次语义信息的表示fs和fq,所述输出为分散注意力的表示fa,所述fs和fq分别经络两个卷积层,两个所述卷积层将其映射到关键字k表示和数值表示v空间中,所述k用来衡量待分割图像和支持图像之间的距离,所述v用来存放从特征映射中抽取出来的细节信息,所述ks和kq通过内积计算得到A,其中计算如下:

6.根据权利要求5所述的一种基于分散注意力网络的小样本下语义分割方法,其特征在于:所述Ai,j表示待分割图像中像素i和支持图像中像素j之间的关联性,将A矩阵的按行取平均,则得到As。

7.根据权利要求1所述的一种基于分散注意力网络的小样本下语义分割方法,其特征在于:所述RFU增强融合单元包括上采样机制,所述上采样机制采用双线性上采样,所述上采样机制经过一个残差模块将这两层的注意力特征串接,所述一个残差模块经过一个卷积层产生一个稠密表示,所述上采样机制将最后的RFU增强融合单元输出送入到一个卷积层和一个softmax层,对每一个像素单独判断是否为前景和背景。