1.全局与超像素分割相融合的色彩迁移方法,其特征在于,基于图像的局部相似性,将基于局部色彩迁移和全局色彩迁移进行分阶段的融合,当图像的色彩复杂时,通过对图像进行分割,使每一个区域的色彩纹理单一,在这样的小区域内应用局部色彩迁移能改善图像色彩的迁移效果,图像分割按照相似性规则将图像分成若干部分,每一部分的像素满足某种相似性,而类间差异较大,当图像的色彩阶调复杂时,通过对图像按照某种标准进行分割使得每一部分的色彩阶调比较单一,然后对每一部分应用全局色彩迁移方法;
融合全局算法与超像素分割的色彩迁移:首先对源图像及目标图像采用梯度下降简单线性迭代聚类法进行分割处理,然后为源图像中的每一个超像素在目标图像中搜索最相似超像素,之后在匹配的超像素对之间进行色彩迁移,最后消除由于过分割处理所产生的误匹配而导致的色彩的错误迁移及亮度过渡不自然问题,首先在第一次匹配迁移过程中引入模糊矩阵,然后用初次获得的迁移结果的全局统计信息来对源图像进行二次色彩迁移,获得自然的色彩迁移效果,具体过程为:第1步,变换色彩空间:首先将RGB空间中的源图像和目标图像像素数据信息变换到lαβ空间,保持通道间的独立性;
第2步,利用梯度下降简单线性迭代聚类法分别对源图像和目标图像进行分割处理,具体分割的数目根据两图像的结构相似性进行自适应确定,然后提取这些超像素的特征构建特征向量空间,为源图像中的所有超像素在目标图像中寻找其最匹配的超像素,允许多对一匹配,为源图像的每个超像素区域在目标图像中寻找一个相对应的纹理相近的区域;
第3步,在超像素对的匹配完成后,遍历源图像的每个超像素,将与其匹配的目标图像中的超像素的色彩信息迁移过去,源图像获取到和目标图像相近的色彩信息,在色彩迁移过程中,对源图像的每个像素计算超像素的模糊隶属度矩阵,得到迁移后结果图像的边缘更加平滑,对单个超像素内非种子像素隶属度的计算考虑超像素中心的色彩和距离关系,而对其它超像素隶属度的计算仅考虑它与其它超像素中心的色彩距离关系;种子像素所在超像素区域的隶属度为1,对于其它超像素的隶属度为0;
第4步,将已获取到所需要的目标图像色彩信息的源图像当作目标图像对初始的源图像进行全局色彩迁移;
第5步,将改变后的源图像数据变换回RGB空间,实现源图像的色彩迁移过程;
计算超像素分割数量:根据源图像本身的结构复杂度和两张图像的结构相似性自适应的确定,源图像和目标图像结构相似性的度量指标采用结构相似度,由亮度差异、对比度差异和两信号的相关度差异三部分相似性统计综合度量;
计算结构相似性时首先对源图像的亮度分布进行调整与目标图像对齐,如果源图像和目标图像的结构相似性在65%以下,认定相似性差需要精细分割,此时分割数量设置为
1000;如果结构相似性在65%以上,认定结构相似性好,不需要过度精细分割,此时分割数量设置为200;
纠正错误匹配区域:依据源图像中在迁移前后色彩相同的区域在迁移之后也应获得一致的色彩视觉效果,根据图像的主色进行聚类迁移,具体做法是先根据图像的主色直方图自适应获取图像的主色数量,然后利用聚类统计出源图像中每个像素所属的类别并打上相应的标签,然后将源图像应用超像素分割匹配算法初次获得的迁移结果中原标签类的色彩统计均值和方差,迁移给源图像对应的标签区域,获得理想自然的色彩迁移效果,纠正源图像中只有少量区域匹配错误产生的错误迁移,而纠正局部区域色彩的错误迁移采用将初次获得的源图像色彩迁移结果的统计信息直接迁移给源图像。
2.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,图像的局部相似度度量:色彩迁移预处理阶段采用分割方法将图像进行分割,然后为源图像的每一个分割区域寻找相应的匹配区域时采用局部相似自适应匹配方法,局部相似自适应匹配方法根据图像局部区域的相似性特征进行匹配,图像的局部相似度主要衡量图像分割后局部区域的纹理相似性,采用计算统计量的方法,从图像像素的空间分布,边界分布及图像像素的灰度依赖关系方面分析纹理,从图像的灰度信息分析提取图像的纹理特征,具体采用灰度共生矩,它在描述纹理时考虑像素灰度数据的空间位置关系,是邻近像素间的空间位置和角度函数,灰度共生矩阵表示某个像素灰度在某个方向上偏离一定的位置变为另一个灰度级的概率,反之该灰度级只需沿相反的方向移动同样的距离就能恢复原来的灰度级,灰度共生矩阵数据对称分布,选定一个方向和距离关系就能计算得到图像的一个灰度共生矩阵,根据灰度共生矩阵分析计算图像的各种统计量来度量表征,提取图像的若干个纹理特征,其中能量、对比度、逆差距、熵和自相关特征描述图像的纹理特征参数,根据灰度共生矩提取的这些特征用一个特征向量来综合表征,这个特征向量共包括四个方向的五方面特征共计20维,图像局部的相似性根据局部区域的灰度共生矩特征来度量纹理特征,局部区域越相似其特征向量间的欧氏距离越小;
对图像进行局部特征提取以后,计算这些特征向量的相似性,对于图像局部的特征相似性度量,采用余弦相似性,在同一特征空间中,图像的局部特征向量认为都是从原点出发的一个有向线段,两个区域的特征向量越相似,它们的终点越接近,相反越不相似,它们的终点距离越远,当两向量同向时距离最近,反向时距离最远,而这两向量夹角的余弦值刚好反映这种距离关系,并且余弦值的大小范围刚好在0‑1之间,用两向量夹角的余弦值作为度量两特征向量相似度的指标,两向量的余弦值越接近0,表明它们越不相似,反之越接近1,表明它们越相似。
3.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,超像素图像分割匹配:基于图像局部相似性特征及图像分割方法,提出在图像色彩迁移过程中对图像进行过分割处理,利用超像素对图像进行有效过分割处理;
超像素图像分割:在图像处理中将超像素作为基本处理单元,图像中若干具有相近纹理结构,相近色彩信息,相近亮度信息特征的邻近像素组成一个集合当作超像素,这些小区域能够保留图像的有效信息,利用像素间特征的相似性对图像像素进行组合,减小图像像素间的冗余度;
采用梯度下降简单线性迭代聚类法,依据基于色彩和距离相似性,产生大小均匀、形状规则的超像素,对图像进行超像素分割很好的提取图像的局部特征;
首先将图像数据由RGB空间变换得到Lαβ空间,然后融合相应的三通道数据及XY坐标构成每个像素点的五维特征空间,再对五维特征空间根据度量尺度对图像像素进行局部聚类,对图像进行超像素分割的分割结果依赖于用户事先输入的需生成的超像素数量,也即分割精度,具体的生成步骤为:第一步,种子点的初始化处理,如果待处理的图像像素个数共有M个,将图像分割为W个均匀的超像素,则平均每个超像素所含像素的数量为M/W,超像素中心之间的间距近似等于为防止出现种子点位于超像素的边界处时对后续的超像素分割过程带来干扰,将种子点移动到它的3×3邻域范围内像素梯度值最小位置,然后给这些种子点分别贴一个标签,以表示其类别归属;
第二步,计算像素相似性,遍历整个图像的所有像素并通过分别统计比较它与W个种子点的距离,并赋予与其最接近的种子点标签类别,其中aLαβ表示像素的色彩之间距离关系,axy度量的是像素之间的位置关系,Ai衡量的是两像素点之间的接近程度,Ai的值是两像素色彩距离和空间距离的加权和,通过其值大小表明这两个像素相近程度,c表示任意两种子点的平均空间距离,n是调节色彩值差异与位置差异在相似程度度量中的权重调节因子;
第三步,不断迭代更新直到最终约束函数收敛,为加速搜索过程,在给所有种子点寻找相近像素点完成区域划分时,只在各个种子像素点的2c×2c邻域范围内搜索寻找与该种子点相近的像素点。
4.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,提取超像素特征:基于图像结构及纹理特征,首先选择对亮度变化不敏感且具有稳定性的Gabor特征和SURF特征,然后采用灰度图像上色方法图像低阶统计特征的亮度特征与方差特征。
5.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,超像素亮度特征提取:提取的超像素亮度特征不仅统计每个超像素内的种子点的邻域亮度均值信息,而且考虑超像素的空间关系,即与该超像素相邻的超像素区域的种子点邻域亮度的均值,邻域取的是相应种子点的3×3窗口区域,假设cpi是图像的第i个超像素,并且cpi的中心邻域由n=9个像素点所组成,cpi亮度的第一维特征即组成该超像素的种子点邻域像素点的亮度均值,计算式为:式中J(x,y)代表(x,y)处像素点的亮度值,cpi的第二维亮度特征即cpi的邻域超像素中心及邻域像素亮度的一维特征均值,计算式表示为:式中 代表cpi的邻域超像素组成的区域,w代表该区域中超像素的数目;
提取的超像素亮度特征是这两方面特征的综合,即第一维超像素特征和第二维超像素特征组成单个超像素亮度的二维特征,这个特征不仅度量超像素本身的亮度特征,而且还考虑它所处的环境。
6.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,超像素标准差特征提取:超像素标准差特征是该超像素及其相邻超像素内像素的方差均值,提取的图像超像素第一维标准差特征是超像素内所有像素的三通道标准差均值,用cpi表示图像的第i个超像素,cpi的标准差即cpi区域内所有像素点的三通道标准差的均值,具体计算式为:其中Ji(x,y)是(x,y)处的单通道值,m为cpi中所包含的像素数量,cpi标准差的第二维特征表示式为:其中ω是cpi的邻域超像素的所组成的集合,M代表ω内超像素的数量,这二维特征构成单个超像素的二维特征向量。
7.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,超像素Gabor特征提取:超像素Gabor特征分离图像的方向特征和尺度特征,局域化的频率表述要求在空域中有一个特定大小的窗口,频域带宽就被限定在一个定量尺寸上,针对图像不同尺度下的局部特征要不同尺度的一组滤波器来检测,Gabor变换能很好的确定时域和频域不确定关系下界的函数,针对二维测不准的情况能很好的表述图像空间域和频率域特征,将得到的不同滤波器与待处理图像卷积运算获得像素相应Gabor特征值,首先遍历整个图像计算所有像素的Gabor特征,共包括五个尺度,其中每个尺度选择8个方向(0,π/8,…,
7/8π),得到一个40维的特征向量,接着取每个超像素中所包含的所有像素点Gabor特征的均值或者以每个超像素的迭代后的种子点的Gabor特征作为每个超像素整体Gabor特征向量,提取的是每个种子点的Gabor特征。
8.根据权利要求4所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,超像素SURF特征提取:SURF算子首先会搜索图像的兴趣点,不直接检测图像的兴趣点而是直接将每个超像素的中心作为图像的兴趣点,然后构造它的特征描述符来作为整个超像素的特征描述,基于SURF提取图像的SURF特征的过程为:步骤一,确定像素特征的主方向,首先以该像素为圆心画圆,然后统计其中的每一个像素在水平和竖直方向的harr小波特征,分配给这些特征值相应的高斯权重值,保证距离当前像素的大小与这些像素的harr特征权重大小呈正相关分布,再在该圆内统计所有以该像素为中心的60°区域内所有像素两个方向的harr特征分别加总运算得到一个区域的矢量,比较这些矢量,选取模最大的确定为中心像素特征主方向;
步骤二,生成像素特征描述符,为保证特征的旋转稳定性,调整坐标轴的方向与当前像素特征的主方向保持相同,然后在图像中以当前像素为中心选取一方形窗口,再对该窗口进行4×4的均匀分割,计算其中每个小区域内的像素点的harr特征ax、ay,并对ax、ay分配不同的高斯权值,然后累加统计每个区域所有像素的ax和ay值,ax绝对值、ay绝对值的和,这些值构成各个区域的特征描述,对于每个小的方形区域有一个四维特征,图像中每个像素的邻域有4×4个小区域构成64维特征描述符;
步骤三,扩展上述过程得到的特征描述向量,得到更精确的像素特征描述,这一步是对上一步统计结果的拓展,根据harr小波特征进行特征统计时分别统计两个方向上相应特征大于0和小于0的特征和,每个小区域的特征向量变成了八维,4×4个小区域形成当前像素的128维特征向量。
9.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,快速匹配超像素:首先遍历源图像的所有超像素,对它的任意一个超像素在目标图像中寻找和它最相似的超像素,采用快速多级超像素匹配的过程为:过程一,依据Gabor特征为源图中所有超像素在目标图像中寻找最接近的超像素,其中超像素间的相近性根据它们的Gabor特征向量的余弦值度量,余弦值越小表示越不相似,而反之越相似,然后对源图像中的每个超像素根据其与目标图像中各超像素的Gabor特征的余弦值寻找与其余弦值最大的W个超像素;
过程二,遍历源图像的所有超像素,在过程一比较搜索得到的每个超像素的W个最相似超像素集合中,再次利用超像素的SURF特征搜寻W/2个最相似超像素;
过程三,再次遍历源图像的所有超像素,在每个超像素的W/2个最相似超像素中根据超像素的直方图m阶矩阵的余弦相似性寻找W/2×1/2个最相似的超像素,其中m阶矩阵中的第一维亮度特征和第二维标准差特征均是二维向量;再根据每个超像素的灰度共生矩特征再次选择W/2×1/2×1/2个较接近的超像素,最后将这些超像素的集合用εi表示,于是与Qi最相似的超像素满足:εa=arg min G(εb,ri),εb∈εi
式中:
G(εb,ri)=k1S1(εb,ri)+k2S2(εb,ri)+k3S3(εb,ri)+k4S4(εb,ri)式中S1(εb,ri)、S2(εb,ri)、S3(εb,ri)和S4(εb,ri)依次表示εb和ri的Gabor、SURF、灰度直方图m阶矩阵和灰度共生矩特征的欧氏距离,k1、k2、k3和k4为这些距离对应的权重系数;
以在特征提取中首先根据Gabor特征和SURF特征进行匹配,然后再根据亮度和方差特征进行匹配。
10.根据权利要求1所述的全局与超像素分割相融合的色彩迁移方法,其特征在于,对于最优超像素分割数目的粗略确定:(1)亮度相似性,从两图像亮度均值的统计计算进行比较,具体计算式为:
其中S1为调整因子,避免计算h(x,y)的过程中出现除0的情况引入;
(2)对比度差异,通过两图像的亮度信息方差进行对比,方差的计算式为:
亮度的对比度函数计算式为:
S2也是调整因子,M代表超像素的数量;
(3)两信号的结构相似度计算:
其中:
结构相似度的度量公式是:
JGXSD=h(x,y)*c(x,y)*s(x,y)
根据结构相似性的大小确定图像超像素分割的较优数量。