利索能及
我要发布
收藏
专利号: 2018107436166
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于全局像素特征的显著图精细化方法,其特征在于,包括以下步骤:(1)基于超像素提取输入图像的深度特征和手工特征的显著性检测模型生成初始显著图;该步骤的具体过程如下:

(11)对输入图像使用SLIC算法进行M个不同粒度的超像素分割,SLIC算法的距离度量公式如下:

其中,M为正整数,ds为颜色距离与归一化的空间距离的和,dlab为第j个聚类中心与第i个像素点的颜色距离,dxy为第j个聚类中心与第i个像素点的空间距离,li、ai、bi分别为第i个像素点在Lab色彩空间中L、a、b的取值,lj、aj、bj分别为第j个聚类中心在Lab色彩空间中L、a、b的取值,xi、yi分别为第i个像素点在空间坐标轴中X轴、Y轴的取值,xj、yj分别为第j个聚类中心在空间坐标轴中X轴、Y轴的取值,m为用于权衡颜色相似度和空间临近性影响的参数,s为初始网格的步长;

(12)对不同粒度分割的每个超像素使用3个m1层的卷积神经网络分别提取超像素、超像素邻域和整幅图像基于超像素的深度特征,其中,m1为正整数,且m1≥5;

(13)对步骤(12)得到的3种特征进行拼接,通过一个2层的全连接网络,得到m2维的向量作为该粒度分割下超像素的深度对比特征,其中,m2为正整数,且m2≥100;

(14)对不同粒度分割的每个超像素提取39维的手工特征,手工特征分为对比特征和分割特征,其中对比特征包括RGB均值和直方图差异、LAB均值和直方图差异、HSV均值和直方图差异、LM最大响应直方图差异和LBP直方图差异;分割特征包括RGB值的方差、LAB值的方差、HSV值的方差、超像素的最小边界框周长和超像素的面积;

(15)将39维的手工特征拼接在m2维的深度特征之后,得到有效描述超像素的m2+39维特征;

(16)将每个超像素的m2+39维向量输入到随机森林模型中,得到超像素的分类;

(17)融合M个不同粒度超像素分割得到的显著图作为初始显著图,融合参数的训练公式如下:

k

其中,S为融合结果,S表示基于不同粒度超像素分割得到的显著图,αk是不同粒度显著图的融合系数,i表示训练模型数据集D中的第i个训练样本,Si表示训练模型数据集D中的第i个训练样本的真值图, 表示基于不同粒度超像素分割得到的训练模型数据集D中的第i个训练样本的显著图;

(2)对输入图像进行预处理,包括图像均值化和RGB图像转换为BGR图像;

(3)通过全卷积神经网络提取输入图像全局像素的深度特征图;

(4)在全卷积神经网络的深处对步骤(1)生成的初始显著图和步骤(3)得到的深度特征图进行拼接,得到新特征;

(5)根据步骤(4)得到的新特征,通过全卷积神经网络进行分类得到最终的精细化显著图;该步骤的具体过程如下:

(51)将步骤(4)得到的新特征通过全卷积神经网络进行传播,得到尺度较小的显著图,其中,整个网络训练的最小化交叉熵损失函数如下:其中,X表示通过最后一个卷积层生成的特征图中所有元素的集合,x表示集合X中的每个元素,y(x)=1表示元素x是显著性目标的一部分,y(x)=0表示元素x不是显著性目标的一部分,p(x)表示元素x标记为显著性目标的概率;

(52)利用B样条插值算法将步骤(51)得到的显著图上采样至与原始图像大小一致的显著图,即为最终的精细化显著图。

2.根据权利要求1所述基于全局像素特征的显著图精细化方法,其特征在于,在步骤(2)中,图像均值化的公式如下:其中,R,G,B分别为输入图像3个通道的值, 分别为3个通道的均值,R′,G′,B′分别为图像均值化后的3个通道的值,Rij,Gij,Bij分别为坐标(i,j)像素点的3个通道的值,W为输入图像的宽度,H为输入图像的高度。

3.根据权利要求1所述基于全局像素特征的显著图精细化方法,其特征在于,步骤(3)的具体过程如下:

(31)将步骤(2)预处理得到的图像输入全卷积神经网络,进行5组共计13个核大小为3*

3的卷积层操作;

(32)在每组卷积层操作之后添加最大池化层,对图像特征进行降采样;

(33)在最后一个最大池化层的操作之后,得到图像全局像素的深度特征图。

4.根据权利要求1所述基于全局像素特征的显著图精细化方法,其特征在于,步骤(4)的具体过程如下:

(41)对步骤(1)生成的初始显著图进行尺度放缩;

(42)将放缩后的初始显著图与步骤(3)得到的全局像素深度特征图按照不同通道的形式进行拼接,得到新特征。