1.一种用于多目标任务实例分割的方法方法,包括如下步骤:步骤一,样本图像直方图均衡化处理;具体包括:
(1)统计直方图各灰度级;
首先,设变量r表示图像中像素灰度级,对灰度级进行归一化处理,若图像的灰度级为{0,1,2,...,L‑1},则其中,0≤r≤1,L为灰度级层次数;
(2)计算出对应的概率密度;
图像的像素灰度级是在[0,1]之间随机分布的,用概率密度函数来表示图像灰度级的k k k分布;而在离散形式下,用r代表离散灰度,用Pr(r)代表灰度r出现的概率:k
其中,nk为图像中出现r这种灰度的像素数,n是图像中的像素总数,而nk/n表示频数;
(3)求累计分布函数;
图像进行直方图均衡化的函数表达式为:
其中,k为灰度级数;
(4)求出每个灰度级对应的输出灰度级;
经过下式的反变换过程得到输出灰度级:
‑1
ri=T (Si) (4)
(5)映射到新的图像,得到均衡化处理后的直方图;
将原始样本图像经过直方图均衡化处理后前景和背景特征变得更加鲜明,然后将其作为新的图像样本,用作后续步骤的输入;
步骤二,构建多目标特征提取网络;
以ResNeXt101网络为基础,同时结合FPN网络构建了多目标特征提取网络结构,该多目标特征提取网络结构由输入层、卷积网络、池化层和语义特征加强层四部分组成;具体参数设置如下:
2.1)设计输入层;
将步骤一中得到的经过直方图均衡化的样本图像经过进一步的缩放处理,将其尺寸统一成1024*1024大小;如果样本图像不是正方形,则需要在其短边一侧填充黑色像素点;
2.2)设计卷积网络;
1)第一阶段设置两个卷积层,第一层有64个7*7的卷积核,其卷积步长为2;本结构在第一层之后加入了一个ReLu激活函数;第二层结构与第一层完全一样,也是由64个7*7的卷积核组成,其卷积步长为2;在第二层与第二阶段网络之间加入了一个步长为2、感受野为2*2的最大池化层;
2)在第二阶段中,首先连接一个通道数为64、卷积核大小为1*1的卷积分层;然后连接一个通道数为64、卷积核大小为3*3的卷积分层;最后再连接一个通道数为256、卷积核大小为1*1的卷积分层;将这三个分层看作一个整体的并行卷积层,并在此阶段将并将分支个数cardinality设置为32,同时连续进行三次整体的卷积操作;
3)第三阶段和第四阶段同第二阶段的卷积操作方式相同,但是第三阶段中卷积核的通道数是第二阶段的二倍,第四阶段中卷积核的通道数是第二阶段的四倍;
4)在第五阶段中,网络结构共分为两层,分别是全连接层和Dropout层,其中全连接层输出的特征维数为2048,Dropout层的参数设置为0.5,并在最后加入了一个ReLu激活函数;
2.3)设计池化层;
池化层的参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面;池化方式选择最大池化方式;池化核的大小关系到提取的特征图尺寸,将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2*2,又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为语义特征加强层的输入数据,因此,将Pool5的池化核大小设置为3*
3;最后,5层池化层的滑动步长均为1,池化类型为valid,valid类型的池化方式不提取特征矩阵的边界信息;
2.4)语义特征加强层;
由FPN网络构成,其通过将5个池化层得到的5张特征图上的特征使用双线性内插值的方法进行2倍上采样,使得特征图在原有像素的基础上扩大一倍,然后对特征图上的深层细微的特征信息进行提取,同时对较低层输入的特征图通过1*1卷积来改变其通道数,然后将上采样提取得到的特征和1*1卷积后的对应元素相加,以此来达到语义特征信息加强的效果;
步骤三,设计候选边界框,并对特征图上目标物体进行提取和分类;
用于对图像上的目标物体进行定位,其原理是利用步骤2.4)语义特征加强层处理过的特征图产生多个anchors建议框,然后遍历整个特征图将anchors贴上标签,随后使用RPN区域生成网络对anchors进行学习、判别,最终根据候选边界框的回归损失函数来确定边界框位置,根据分类损失函数来判别候选边界框所对应目标物体的类别;
3.1)生成anchors候选窗口;
对于语义特征加强层处理过的特征图上的每一个位置,均采用k=9个可能的候选窗口
2 2 2
anchors作为一组大小固定的参考窗口,即三种区域面积{128,256,512}与三种比例缩放{1:2,1:1,2:1}的全部组合,本发明对任意图像上的任意滑窗位置均采用这9种模板;
3.2)遍历特征图,计算图像特征;
将生成的anchors候选窗口作为初始的检测框,并进行滑动,再根据图像大小计算滑窗中心点对应原始图像真值标定区域的中心点,通过中心点和宽高就可以求得滑窗位置和原图位置的映射关系,由此便可求出在原图上检测框与真实标定框位置交叠面积,同时对检测框贴上正负标签;设置其重叠面积大于70%则贴正标签,小于30%则贴负标签,然后将贴标签后的anchors传入到RPN区域生成网络种进行学习、判别有无目标物体,如若有目标物体则通过候选边界框标记出来;
3.3)设定候选边界框损失函数;
本步骤的损失函数由回归损失函数和分类损失函数两部分构成,其总的损失函数可以表示为:其中,Ncls表示前景的个数,Nbox表示边框回归后的像素总和;i表示迭代过程中的第i个建议框;pi表示预测出前景(目标物体)或背景的概率; 表示判定预测所对应位置为前景或背景,若为前景,则记 否则记 ti表示该建议框的四维坐标信息,即中心点坐标、框宽及框高ti=(xi,yi,wi,hi),而 表示真正对应的目标物体的坐标信息,记为λ代表平衡边框回归和分类损失的权重;
回归损失函数表示为:
其中, 函数计算公式为:
分类损失函数表示为:
步骤四,利用非极大值抑制算法对多余的边界框进行剔除;
在步骤三中,对于原图上标定的同一个目标物体来说,会得到多个候选边界框,通过非极大值抑制算法筛除候选边界框,其具体的流程如下:①按照置信度的大小将所有可能的检测框排序;
②在输出序列内放入置信度最高的检测框;
③将步骤②中得到的检测窗口与剩余窗口的重叠面积进行比例计算;
④如果上述计算所获得的重叠面积比例与阈值T的差值大于0,则认为当前窗口与步骤②中得到的窗口是同一目标,然后删除该窗口;
⑤返回步骤①,循环至全部的默认窗口处理完毕;
⑥在输出序列内最终剩下的窗口即为最终的检测结果;
步骤五,对候选边界框进行二值回归,以获得实例分割结果;
将步骤四得到的候选边界框及其对应的特征图传入到全连接层网络中,然后连接一个二值回归函数,以获得实例分割结果;
5.1)设计全连接层网络;
将三个全连接层串联在一起组成一个小型网络,用以对步骤四所得结果进行处理;其中,前两个全连接层均为256通道、14*14大小的全连接层,第三个全连接层为28*28的全连接层;
5.2)设计二值回归函数;
在二值回归函数的计算过程中,仅使用感兴趣区域为真实目标物体下的通道损失,其余通道均不为该函数贡献损失;具体计算二值回归函数时,其表达式如下:k
其中,m表示图像分辨率;K表示通道总数;1用于对第k个通道中的目标物体进行分类,如若贡献损失,则其为1,否则其值为0;y代表所处位置的标签值,其值亦是非0即1;sigmoid(x)代表输出值x通过sigmoid(x)函数变换后的结果;
通过上述函数判别候选边界框种的目标物体与背景,并将目标物体分割出来。
2.如权利要求1所述的一种用于多目标任务实例分割的方法方法,其特征在于:步骤④的阈值T=0.7。