利索能及
我要发布
收藏
专利号: 2021109995744
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,包括如下步骤:

1)确定主体;

1.1)输入图像,采用上下文感知金字塔特征提取模块CPFE用于多尺度高层次特征映射,以获得丰富的上下文特征;CPFE将VGG‑16网络架构中的Conv3‑3、Conv4‑3和Conv5‑3作为基本的高层特征;

1.2)在上下文感知金字塔特征提取后,添加并使用通道注意力机制CA模型,通过使用CA对上下文感知金字塔特征进行加权,输出的新的高层特征;

1.3)获取自然图像的低层特征,将VGG‑16网络架构中的Conv1‑2和Conv2‑2作为基本的低层特征作为输入;采用空间注意力机制SA模型关注显著性物体和背景之间的边界,助于生成用于包含边界信息的有效低层特征;

1.4)将通过通道注意机制CA加权后的高层特征和通过空间注意机制SA加权后的低层特征输出融合在一起,使用交叉熵损失来监督显著边界定位信息的生成;根据定位信息,输出图像前景轮廓的灰度图;

2)边缘精准化;

2.1)首先是输入图像后,进行收集图像信息特征;图像的信息特征主要来自两个方面:一是基于光谱消光,从谱分析的角度,得到来自输入图像的非局部的颜色关系信息;二是使用用于场景分析的卷积神经网络,生成的高级语义关系信息;

2.2)随后将图像的非局部的颜色关系信息和高级语义关系信息相结合,建立图像层,在拉普拉斯矩阵L的特征向量中揭示语义对象以及语义对象之间的软过渡关系;

2.3)接着提取L矩阵的100个最小特征值对应的特征向量,再使用k‑means聚类处理特征向量;边缘精准化处理过程完毕,将输出由拉普拉斯矩阵构成的图像图层;

3)确定主体结果与边缘精准化结果的融合;

3.1)首先,处理确定主体部分的结果:通过步骤1.4)的输出结果所得到灰度图进行二值化处理,保留主体轮廓以及明显的主体白色区域;

3.2)接着,处理边缘精准化部分的结果:遍历整个矩阵集合,找到每个像素点所属的最大透明度的类所在的矩阵,认为是其属于的类,除了该类外其他矩阵中的透明度均设置为

0;

3.3)最后,将3.2)步骤中输出的拉普拉斯矩阵集合分别和显著性检测结果的灰度图进行点乘,再确定所需保留以及保留类之间交集部分,将所有保留记录的部分结合起来就是最终所需前景主体部分;

3.4)确定主体结果与边缘精准化结果的融合过程处理完毕,输出图像的前景部分。

2.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.1)具体过程如下:

1.1.1)为了使得最终提取的高层特征满足尺度不变性和形状不变性特征,采用不同扩张率的多孔卷积,并进一步分别设置扩张率为3、5和7来捕捉上下文信息;

1.1.2)通过跨通道连接,将来自不同多孔卷积层的特征图与1×1降维特征进行拼接,然后,利用上下文感知信息得到三种不同尺度的特征,三种不同尺度的特征两两组合,将每两个较小的尺度特征上采样得到较大的尺度特征,因此输出三个尺度的高级特征;其中,上采样又称图像插值,即在原有图像像素的基础上在像素点之间采用插值算法插入新的元素,从而放大原图像;

1.1.3)最后,通过跨通道连接将上采样得到的高级特征组合起来,作为上下文感知金字塔特征提取模块的输出。

3.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.2)具体过程如下:h W×H×C

1.2.1)首先将进行上下文感知金字塔特征提取后高层特征f ∈R 展开为h

其中 表示表示高层特征f 的第i层,R表示空间位置集合,W表示尺寸的宽度,H表示尺寸的高度,C表示总通道数;随后平均池化高级特征每层的 以获得h

通道特征向量v ,其中平均池化的目的是减小因邻域大小受限造成估计值方差增大的误差,从而有利于保留图像更多的背景信息,平均池化的结果Sj通过下述公式求得:其中,T表示选择参与池化的激活值的序位阈值,Rj表示在第j个特征图内的池化域,i表示在这个池化域内激活值的索引值,ri和ai分别表示激活值i的序位和激活数值;

h

1.2.2)然后,将上一步获得的通道特征向量v,通过全连接层FC,输出到ReLU层;

1.2.3)随后,通道特征向量通过使用Sigmoid运算,映射到[0,1]之间,完成归一化处理h h

并得到ca值,即高层特征每层的 权重矩阵;因此ca=F(v ,W)=σ1(fc2(δ(fc1(v ,W1)),W2)),其中W1、W2为通道注意力机制的参数,σ1指的是sigmoid操作,fc指的是全连接层,δ指的是ReLU函数;

1.2.4)最后,输出对上下文感知金字塔特征进行加权后的高层特征 其中·表示点乘;

4.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.3)具体过程如下:

1.3.1)输入对上下文感知金字塔特征进行加权后的高层特征 来捕获空间关注点;为了获得全局信息而不增加参数,采用了两个卷积层,一个核为1×k,另一个核为k×1;两个卷积层并行处理输入的 核为1×k的卷积层输出值设为C1,核为1×k的卷积层输出值设为C2;因此C1和C2满足如下表达式:其中, 指的是空间注意机制的参数,conv1和conv2分别指的是核为

1×k和k×1的卷积层;

1.3.2)将核为1×k的卷积层输出值C1和核为1×k的卷积层输出值C2相加后,通过使用Sigmoid运算,映射到[0,1]之间 ,完成归一化处理并得到sa值;因此其中σ2表示当前步骤的sigmoid操作;

l W×H×C

1.3.3)低层特征f ∈R ,其中R表示空间位置集合,W表示尺寸的宽度,H表示尺寸的l

高度,C表示总通道数;通过用sa加权f获得最终加权后的低层特征:

5.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤1.4)具体过程如下:首先使用拉普拉斯算子得到网络输出的真实边界和显著图,然后使用交叉熵损失LB来监督显著对象边界的生成;

其中拉普拉斯算子是n维欧氏空间中的二阶微分算子,定义为梯度的散度Δf;拉普拉斯算子由下面公式给出,其中x和y是xy平面的标准笛卡尔坐标,f表示曲线函数:因此,通过使用拉普拉斯算子可以得到网络输出的真实边界ΔY和显著图ΔP;

交叉熵损失公式如下:

其中,Y表示真实边界图组成的集合,size(Y)表示真实边界图集合的总数,i表示第i组,ΔYi为使用拉普拉斯算子表示的第i组的真实边界图,ΔPi为用拉普拉斯算子表示的第i组网络输出的显著图。

6.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤2.1)具体过程如下:

2.1.1)获得非局部的颜色关系:为了表示较大范围的像素对之间的关系,构建低层次的非局部的颜色关系;构建过程:一是使用超像素分割SLIC生成2500个超像素;二是评估每个超像素和对应于图像20%尺寸半径内,所有超像素的仿射关系;对于两个由小于20%的图像尺寸的距离分割的超像素s和t,定义它们质心的非局部颜色关系其中,cs,ct∈[0,1]是超像素的均值颜色值,erf是高斯误差函数,ac,bc是放射关系项控制下降的速率和变为0的阈值,

2.1.2)获得高级语义关系信息:语义关系表达的含义是鼓励对属于同一场景对象的像素进行分组,并且阻止来自不同对象的像素进行分组;采用DeepLab‑ResNet‑101作为特征提取器,在COCO‑Stuff数据集上进行语义分割网络的训练;DeepLab‑ResNet‑101由具有ResNet‑101主干的DeepLab模型构成;COCO‑Stuff是基于DeepLab训练的公开数据集,图像包括91类目标;应用两个超像素s,t的特征向量,表示超像素之间的高级语义关系其中, 表示s和t的均值特征向量,erf是高斯误差函数,as和bs参数控制函数下降的速率以及变为负值的阈值。

7.根据权利要求6所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述步骤2.2)中具体形成拉普拉斯矩阵的过程如下:通过之前获取的两组像素之间关系非局部颜色关系 和高级语义关系 结合最小二乘优化问题的原理,构建拉普拉斯矩阵L;

其中,WL是包含所有像素对近似关系的矩阵,Wc是包含非局部颜色关系的矩阵,Ws是包含语义关系的矩阵,σS、σC是控制相应矩阵影响力的参数,全部设置为0.01,D则是一个是对角矩阵。

8.根据权利要求1所述的一种确定主体和精准化边缘相结合的图像前景分割方法,其特征在于,所述所述步骤3.3)具体步骤如下:

3.3.1)处理边缘精准化部分的结果为二维矩阵集合,分别记录了类的像素点数值情况;若处理后结果为属于该类的像素点,则有数值;若不属于该类的像素点,则赋值为0;而具体判断像素是否属于该类,由透明度所决定;

3.3.2)随后,将二维矩阵集合内的矩阵分别和确定主体部分结果的灰度图进行点乘,结果中交集有数值,非交集则为0;遍历点乘后的矩阵获得有数值的像素点的数量,即可视为交集的面积大小,标注为m;同时遍历得到类的面积大小为small,灰度图前景主体的面积大小为big;

设bl表示为交集面积与类面积的比值,即有表达式:设BL表示为交集面积与前景主体面积的比值,即由表达式:因此,如果bl的值较大则认为该类基本属于前景的一部分,将该类全部记录保留;反之就判断BL的值,BL的值超过一定范围就保留交集部分;将所有保留记录的部分结合起来就是最后的结果。