利索能及
我要发布
收藏
专利号: 2019104567610
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,包括以下步骤:a、对输入图像,利用简单线性迭代聚类算法进行超像素分割,得到多个超像素块;

b、对超像素块,利用Lab颜色空间各通道的颜色均值和质心坐标作为颜色和位置特征,计算空间位置加权的颜色对比度,结合中心先验得到以超像素块为单位的初步显著图;

c、对超像素块,利用初步显著度值以及Lab颜色空间三个颜色通道的均值和方差构建7维特征,使用K均值聚类算法对超像素块进行聚类,并计算各类的显著度均值;

d、取显著度均值最大且其位置不在图像四个边界上的前两类超像素块作为前景种子点,基于前景种子点进行流形排序得到基于优化前景的显著图;

e、取显著度均值最小且其位置在图像四个边界上的前两类超像素块作为背景种子点,基于背景种子点进行流形排序得到基于优化背景的显著图;

f、对基于优化前景和背景的显著图进行非线性融合,并通过阈值化得到人眼凝视点位置。

2.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,所述步骤a中超像素块的数目N设置为200。

3.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,所述步骤b包括如下步骤:ba、以超像素块为单位,在Lab颜色空间计算三个通道的颜色均值作为颜色特征,计算公式如下:其中, 表示第i个超像素块中的像素数,Lj表示超像素块中第j个像素的L通道颜色分量值,aj表示超像素块中第j个像素的a通道颜色分量值,bj表示超像素块中第j个像素的b通道颜色分量值, 表示第i个超像素块的L通道颜色均值, 表示第i个超像素块的a通道颜色均值, 表示第i个超像素块的b通道颜色均值;

bb、计算超像素块的质心坐标作为空间位置特征,计算公式如下:

其中,xj表示超像素块中第j个像素的横坐标,yj表示超像素块中第j个像素的纵坐标,表示第i个超像素块的质心横坐标, 表示第i个超像素块的质心纵坐标;

bc、计算空间位置加权的颜色对比度,公式如下:

其中,σ2表示平滑参数, 表示第i个超像素块基于空间位置加权的颜色对比度,Ds(i,j)表示第i个与第j个超像素块之间的空间距离,Dc(i,j)表示第i个与第j个超像素块之间的颜色距离,Ds(i,j)和Dc(i,j)的计算公式如下:其中, 表示第j个超像素块的质心横坐标, 表示第j个超像素块的质心纵坐标,表示第j个超像素块的L通道颜色均值, 表示第j个超像素块的a通道颜色均值, 表示第j个超像素块的b通道颜色均值;

bd、结合中心先验和空间位置加权的颜色对比度得到以超像素块为单位的初步显著图,计算公式如下:其中,xc表示图像中心位置横坐标,yc表示图像中心位置纵坐标, 表示x方向的空间平滑参数, 表示y方向的空间平滑参数, 是第i个超像素块的初步显著值,对所有超像素块的初步显著值进行归一化处理得到初步显著图

4.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,所述步骤c包括如下步骤:ca、对超像素块利用初步显著度值以及Lab颜色空间三个颜色通道的均值和方差构建7维特征向量,表达式如下:其中, 表示第i个超像素块的特征向量, 表示第i个超像素块Lab空间L通道的方差, 表示第i个超像素块Lab空间a通道的方差, 表示第i个超像素块Lab空间b通道的方差,颜色的紧凑性特征,计算公式如下:cb、利用K均值聚类算法对所有超像素块根据步骤ca得到的7维特征向量进行聚类,聚类数目M设置为20;

cc、聚类完成后,计算各类以超像素块为单位的显著度均值 其中m表示聚类后的第m类超像素,m={1,2,…,M}。

5.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,所述步骤d包括如下步骤:da、取显著度均值最大的前两类超像素块作为初选的前景种子;

db、判断这些超像素块的空间位置是否落在图像四个边界上,若是,则从初选的前景种子中排除,若不是,则保留作为最终选择的前景种子,并对这些超像素块加上前景种子标签;

dc、基于优选的前景种子标签,利用流形排序算法得到以超像素块为单位的基于优化前景的显著图 计算公式如下:其中,W=[wi,j]∈RN×N是超像素块之间基于颜色的相似性矩阵,定义为wi,j=exp(-Dc(i,j)/σ2),D=diag{d11,...,dnn}为对角阵,dii=∑jwi,j,YF={Yi,i=1,...,N}表示前景标签向量,Yi是前景种子时元素值为1,否则为0,α是控制超像素块显著值之间的平滑性以及与种子标签一致性的平衡参数,α取值为0.99。

6.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,所述步骤e包括如下步骤:ea、取显著度均值最小的前两类超像素块作为初选的背景种子;

eb、判断这些超像素块的空间位置是否落在图像四个边界上,若是,则保留作为最终选择的背景种子,若不是,则从初选的背景种子中排除,并对这些超像素块加上背景种子标签;

ec、基于优选的背景种子标签,利用流形排序算法得到以超像素块为单位的基于优化背景的显著图 计算公式如下:其中,YB={Yi,i=1,...,N}表示背景标签向量,Yi是背景种子时元素值为1,否则为0。

7.根据权利要求1所述的基于优化图像前景和背景种子的人眼凝视点预测方法,其特征是,所述步骤f包括如下步骤:fa、对以超像素块为单位的基于优化前景和背景的显著图进行非线性融合和归一化处理得到最终显著图Sfinal,计算公式如下:fb、对最终显著图Sfinal进行阈值化处理,得到人眼凝视点位置图Sfixation,计算公式如下其中,T表示人眼凝视点阈值,T设置为0.9。