1.一种图像分割方法,其特征在于,包括:
获取待分割的图像;
将待分割的图像输入预先训练的分割模型,获得图像分割结果;
其中,分割模型中的图像处理过程为:
分别采用Resnet50网络和Vision Transformer网络,生成输入图像的第一类激活图和第二类激活图;其中,在生成第二类激活图的过程中,将一个卷积层输出的特征作为一个块的输入;卷积层为Resnet50网络的卷积层,块为Vision Transformer网络的块;
遍历第一类激活图中的值,将第一类激活图中的值与第二类激活图中对应位置处的值进行比较,获取最大值;
根据所有的最大值,生成第三类激活图;
将第三类激活图中每个类别的高鉴别性区域作为掩码生成第一权重,根据拼接的卷积层输出特征和第一权重,生成Resnet50特征原型,对Resnet50特征原型和拼接的卷积层输出特征进行余弦相似性的计算,获得第一余弦相似度图,将第一余弦相似度图经过RELU函数处理,生成高鉴别性区域类激活图;
将第三类激活图中每个类别的低鉴别性区域作为掩码生成第二权重,根据拼接的块输出特征和第二权重,生成Vision Transformer特征原型,对Vision Transformer特征原型和拼接的块输出特征进行余弦相似性的计算,获得第二余弦相似度图,将第二余弦相似度图经过RELU函数处理,生成低鉴别性区域类激活图;
将高鉴别性区域类激活图和低鉴别性区域类激活图相加,获得最终的图像分割结果。
2.根据权利要求1所述的图像分割方法,其特征在于,在Resnet50网络和Vision Transformer网络中,如果第i个卷积层输出特征的尺寸与第m‑1个块输出特征的尺寸一致,则将第i个卷积层输出的特征作为第m个块的输入。
3.根据权利要求1所述的图像分割方法,其特征在于,卷积层输出特征拼接为:剔除第一个卷积层输出的特征,将剩余卷积层输出的特征进行拼接。
4.根据权利要求1所述的图像分割方法,其特征在于,块输出特征拼接为:将第m+1块输出的特征至最后一个块输出的特征进行拼接;其中,第m块为输入卷积层输出特征的块。
5.根据权利要求1所述的图像分割方法,其特征在于,生成特征原型的公式为:;
c
式中,P 为特征原型,M为当前图像中属于类别c的鉴别性区域的像素点的个数,(i,j)为c像素点的坐标,R 为当前图像中属于类别c的鉴别性区域, 为(i,j)位置对应的权重,H(i,j)为拼接的卷积层输出特征在(i,j)位置上的值。
6.一种图像分割系统,其特征在于,包括:
图像获取模块,获取待分割的图像;
分割模块,将待分割的图像输入预先训练的分割模型,获得图像分割结果;
其中,分割模型中的图像处理过程为:
分别采用Resnet50网络和Vision Transformer网络,生成输入图像的第一类激活图和第二类激活图;其中,在生成第二类激活图的过程中,将一个卷积层输出的特征作为一个块的输入;卷积层为Resnet50网络的卷积层,块为Vision Transformer网络的块;
遍历第一类激活图中的值,将第一类激活图中的值与第二类激活图中对应位置处的值进行比较,获取最大值;
根据所有的最大值,生成第三类激活图;
将第三类激活图中每个类别的高鉴别性区域作为掩码生成第一权重,根据拼接的卷积层输出特征和第一权重,生成Resnet50特征原型,对Resnet50特征原型和拼接的卷积层输出特征进行余弦相似性的计算,获得第一余弦相似度图,将第一余弦相似度图经过RELU函数处理,生成高鉴别性区域类激活图;
将第三类激活图中每个类别的低鉴别性区域作为掩码生成第二权重,根据拼接的块输出特征和第二权重,生成Vision Transformer特征原型,对Vision Transformer特征原型和拼接的块输出特征进行余弦相似性的计算,获得第二余弦相似度图,将第二余弦相似度图经过RELU函数处理,生成低鉴别性区域类激活图;
将高鉴别性区域类激活图和低鉴别性区域类激活图相加,获得最终的图像分割结果。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行权利要求1 5所述的任一方法。
~
8.一种计算机设备,其特征在于,包括:
一个或多个处理器、以及一个或多个存储器,一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1 5所述的任一方法的指令。
~