利索能及
我要发布
收藏
专利号: 2018104001177
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种结合全局颜色与局部结构特征的人眼凝视点提取方法,其特征在于:包括如下步骤:步骤1、读入当前待检测的图像;

步骤2、对待检测图像,在RGB颜色空间对图像中的所有像素颜色做均匀量化以提取全局颜色特征,基于颜色对比度在整个图像范围内计算全局显著度图;

步骤3,对待检测图像提取亮度通道,在亮度通道内计算局部回归核以提取局部结构特征,基于结构对比度在局部邻域内计算结构显著度图;

步骤4,对步骤2中得到的全局显著度图与步骤3中得到的结构显著度图进行线性融合,得到初步的人眼关注度图;

步骤5,对步骤4得到的初步人眼关注度图使用中心先验进行调整,得到中心先验调整后的人眼关注度图;

步骤6,对步骤5得到的中心先验调整后的人眼关注度图,使用邻域窗再做一次高斯滤波,得到稳定的人眼关注度图,最后对人眼关注度图进行归一化,用灰度图像的形式呈现,灰度图像中像素值越大即越亮的位置即为预测的人眼凝视点的位置。

2.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法,其特征是:所述步骤2包括步骤:a)使用双线性插值方法将图像缩放至宽高为64×64像素大小;

b)分别提取RGB三个颜色通道,在各个颜色通道内将每个像素值均匀量化为4个等级,将每个像素xi的量化颜色特征表达为一个三维矢量 其中 分别表示像素xi在R、G、B三个通道的量化等级,取值为{0,1,2,3},颜色量化公式如下:由此,将所有像素颜色量化为4×4×4共64种;

c)使用空间位置加权的欧氏距离,计算每个像素xi量化后的颜色特征与整幅图像其它像素xj颜色特征之间的对比度,作为其全局颜色显著度Si,GC,得到宽高为64×64像素大小的全局颜色显著度图,使用双线性插值缩放至原图像大小,得到基于全局颜色特征的显著度图SGC,全局颜色显著度Si,GC的计算公式如下:Si,GC=∑j≠iD(xi,xj)·w(xi,xj)   (2)其中,D(xi,xj)表示像素xi量化后的颜色特征与其他像素xj量化后的颜色特征之间的欧氏距离,w(xi,xj)表示基于像素空间距离的权重,等于像素xi与xj以像素为单位空间位置欧氏距离的倒数。

3.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法,其特征是:所述步骤3包括步骤:a)提取待检测图像的亮度通道;

b)在亮度通道内计算每个像素xi以3×3为邻域的局部回归核K(xl-xi),计算公式如下:其中,xl是像素xi邻域内的像素,l∈{1,...,P},P=9是局部3×3邻域内像素的个数,Cl是以xl为中心3×3邻域窗内梯度矢量的协方差矩阵,|Cl|为Cl的行列式,h为平滑参数;

c)对每一像素xi的局部回归核在3×3邻域内进行归一化,作为此像素点处的局部结构特征LSK(xi),进而得到局部结构特征图,局部结构特征LSK(xi)计算公式如下:d)将结构特征图划分为不重叠的3×3块作为基本单位,以3×3块区域中心像素的局部结构特征代表该区域的局部结构特征,并计算与以该区域为中心的9×9个邻域区域的空间距离加权的局部结构特征对比度,作为初步的局部结构显著度Si,LS,进而得到初步的局部结构显著度图,初步的局部结构显著度Si,LS计算公式如下:其中,D(LSK(xi),LSK(xj))为像素xi的局部结构特征与其他像素xj的局部结构特征之间的欧氏距离,Q为以3×3块为基本单位的9×9邻域区域的个数,R=9为结构特征的维数,r为结构特征的分量索引,LSK(xi)r与LSK(xj)r分别为像素xi与xj结构特征的第r个分量,w(xi,xj)是像素xi与xj以像素为单位空间位置欧氏距离的倒数;

e)使用邻域窗对初步的局部结构显著度图做一次高斯滤波,得到基于局部结构特征的显著度图SLS。

4.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法,其特征是:所述步骤4初步的人眼关注度图S'F,计算公式如下:S'F=α·SGC+(1-α)·SLS   (8)

其中,权重α表示SGC与SLS线性融合时的重要性程度。

5.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法,其特征是:所述步骤5包括步骤:记图像中心位置的像素为xcenter,其坐标为(xcenter,x,xcenter,y),则图像中心先验SCP可用基于空间距离的二维高斯函数表示如下:其中,(xi,x,xi,y)为图像中任一像素xi的空间坐标, 为中心先验高斯函数的方差,使用中心先验SCP对步骤4得到的初步人眼关注度图进行调整得到的中心先验调整后的人眼关注度图S″F:S″F=SCP·S′F    (10)。

6.根据权利要求1所述的一种结合全局颜色与局部结构特征的人眼凝视点提取方法,其特征是:所述步骤6中的邻域窗大小为5×5像素。