1.一种面向合成应用的多层次仿射类抠像方法,其特征在于,所述抠像方法包括以下步骤:HSV
步骤1:利用基于HSV颜色空间的仿射类方法,针对实体像素计算初级α 值,并为后续步骤提供实体像素的先验值;
HSV
步骤2:利用初级α 值、直接搜索、间接搜索与拟合性约束,针对混合像素计算初级前pre pre景F 与背景B ,并为后续步骤提供α与前景的混合像素的先验值;
步骤3:利用步骤1的α与前景的混合像素的先验值,并引入联合性Laplacian抠像矩阵*与拟合性约束,同步求出最终的α与前景值F;
*
步骤4:利用步骤3最终的α与前景值F与新背景B′合成图像I′;
HSV
所述步骤1中针对实体像素计算初级α 值具体为,令每个像素i的特征为 其中Hi、Si和Vi分量为HSV空间的各通道,角度分量Hi需要归一化至[0,1]区间,xi与yi为归一化后的横坐标与纵坐标,权重分为与 两级;在这两个搜索范围下, 搜集10个最近邻样本j, 搜集5个最近邻样本j,于是未知点i与样本j之间的权重为,其中 为特征Xi的第c个通道;
HSV
通过求解如下稀疏线性系统可求得该步骤的α :
HSV HSV
(M +γDα)α =γbα (3)
HSV
其中M 为第i行的15个对应样本j的权重为wij的稀疏矩阵,其对角线为每行权重之和的负值;Dα为对角阵,Trimap对应的已知区域像素(ΩF∪ΩB)为1,其余为0;bα为列向量,ΩFHSV处为1,其余为0;γ为一个较大的值,公式(3)在求解后,可将α 在未知区域ΩU内对应的实体前景与实体背景区域记为ΩF′与ΩB′,表述为,HSV
所述步骤2中利用步骤1的初级α 值,计算每个未知点的初始前景与背景具体为,求解c* c*第c个通道的F 与B 需要最小化如下函数:
式(5)分为三个函数V1,V2,V3,V1项的权重体现在函数内部,V2和V3项的权重为β2与β3;
第一部分V1为线性组合求解部分,是该步骤仿射类方法的主体,V1项体现了前景和背景所表现出的空间连续性,表述如下:其中, 和 表示未知点i点第c个通道的前景和背景颜色,其中,点i的各前景样本j对应的权重 分为直接前景样本权重与间接前景样本权重;点i的各前景样本j对应的权重 分为直接背景样本权重与间接背景样本权重;
所述直接前景权重其源区域与目标区域的映射分别为ΩU→ΦF与ΩU→ΦB,其中ΦF与ΦB分别为ΩF与ΩB区域中靠近未知区域处的5个像素宽度的2个已知区域在该搜索模式下,对每个未知点i分别选取10个直接前景样本 和直接背景样本 i,k=1,...,10,特征定义为(wcR,wcG,wcB,x,y),wc=0.1为颜色因子,对于未知点i,首先计算它与样本 和样本 的拟合误差Dijk为,之后,定义每个直接前景样本j的拟合误差 于是直接前景样本j的权重为
其中σ1=0.005;
所述间接前景与间接背景样本的选取采用FLANN的搜索方式,源区域与目标区域的映射分别为ΩU→ΩU∪ΩF与ΩU→ΩU∪ΩB,由于已知背景区域ΩB不存在任何前景信息,因此在搜索前景间接样本时需要除去ΩB,在搜索特征为(R,G,B,wsx,wsy)、距离分量的权重为之下,分别搜索每个未知像素的10个间接前景样本 和直接背景样本 样本权重 与 均按步骤一中的公式计算,此时特征Xi的前3个特征为RGB分量;
根据未知点距离已知前景区域的远近程度,对每个未知点i与间接前景样本和直接前景样本定义附加权重 与 并按下式分配它们的权重其中Ds(i,F)为点i与ΩF的最短空间距离,Dt=100,式(9)表明,若未知点与前景边界距离较远,则直接样本并不够可靠,此时倾向于间接前景样本的选取;反之若距离很近,则倾向于直接前景样本;最后,对于未知点i的每个样本j,若j为直接样本,该样本的最终权重j为间接样本时的权重同理可得;同样方式可求得各背景样本的权重HSV pre pre mix
所述步骤3中利用α 的实体像素先验,并利用F 与B 及α ,作为混合像素的先验,结合仿射类方法以及抠像公式的拟合性平衡,同时对α与F进行最优化求解;
*
最终的 与F通过最小化如下函数求得:
*
其中 为背景概率,最终计算的α值记为α ,式(15)共分为3个函数O1、O2和O3,O1和O2项的权重体现在各函数内部,O3项的整体权重为θ。
2.根据权利要求1所述一种面向合成应用的多层次仿射类抠像方法,其特征在于,所述HSV第二部分V2为第一步的α 为实体前景与实体背景提供的先验,表述为,其中,这里的已知量 与未知量 与 均为第c个通道的颜色值,区域ΩF′与ΩB′由步骤一定义,该部分权重为β2=0.5。
3.根据权利要求1所述一种面向合成应用的多层次仿射类抠像方法,其特征在于,所述HSV第三部分V3为根据先验α 值、需求解的前景Fi和背景Bi以及抠像公式,做出拟合性平衡,表述为,同样,已知量 与未知量 与 均为第c个通道的颜色值,权重β3=0.05。
4.根据权利要求1所述一种面向合成应用的多层次仿射类抠像方法,其特征在于,所述公式(15)的第一部分O1是线性组合部分及仿射类步骤的主体,体现了 与前景颜色对于混合像素的空间连续性,表述为,HSV
由于之前的α 着重计算了α中的实体像素,因此需要特别针对混合像素,仿射类中的混合像素计算采用利用抠像公式推导而得的Matting Laplacian,未知点i对应样本j的权重计算为,其中S为包含点i与点j的特定集合;Ii与Ij分别为点i与j的3维颜色向量,E3为3×3单位阵,∑S为S的3×3协方差矩阵、μS为S的3×1的均值向量,ε为一个比较小的数,根据S范围的大小,将其分为以下3类:(a)采用与步骤1中的间接搜索方式相似的集合S1和RGB色彩空间,距离分量的权重为一个级别 搜集10个最近邻样本j,且权重由式(17)取代了式(2),权重因子为1;
(b)采用与步骤1中的间接搜索方式相似的集合S2和RGB色彩空间,距离分量的权重为一个级别 最近邻样本数为j=4,且权重由式(17)取代了式(2),权重因子为0.1;
(c)半径为1的3×3大小的空间局部窗口S3,此时与Closed Form方法相同,权重因子为
7。
5.根据权利要求1所述一种面向合成应用的多层次仿射类抠像方法,其特征在于,公式(15)的第二部分O2体现了 和F利用步骤1与步骤2的实体像素与混合像素的先验值,表述为,式(18)中的c表示通道,第一部分为 和F对于实体像素的先验值,其中 与 为待求的与步骤1中求得的α的反向值;
式(18)的第二部分为 和F对于混合像素的先验值,其中 与 为步骤2中求得,新的混合区域ΩU′计算为,混合区域要求两个α值均需要在[0.2,0.8]区间,因为在α接近0或1的区间为过渡区域,且呈现出了一定实体像素的特征,各级 的先验值取λ=0.05,fi为步骤2中通过颜色拟合误mix差的求得的针对α 信念值,计算为,
其中
6.根据权利要求1所述一种面向合成应用的多层次仿射类抠像方法,其特征在于,公式(15)的第三部分O3体现了颜色拟合性平衡,表述为,采用α的反向值 是为了便于采用仿射方式求解,若 与 相等,则该式与原始抠像公式相同,该部分的权重θ=0.5。