1.一种双边视频目标分割方法,其特征在于,包括:
(1)视频的预处理:在给定的视频序列中选取多个关键帧,对其进行分割,准确标记出前景像素点和背景像素点;将带标记的关键帧与视频序列的其余帧的每一像素点映射到高维双边特征空间,对所述高维双边特征空间进行规则的划分,获得双边网格,为网格单元的集合;根据网格单元中包含的已标记像素点的情况确定前景网格单元和背景网格单元,所有的前景网格单元和背景网格单元分别构成前景种子点集和背景种子点集;将同时包含已标记的前景像素点和背景像素点的网格单元中的所有像素点重置为未标记的像素点;
(2)定义图割优化模型:利用所有非空网格单元构建置信动态外观模型,估计每一网格单元属于前/背景的可能性,并根据高斯分布规律定义颜色判别准则,识别未标记的颜色类别或二义的颜色类别的网格单元;
所述置信动态外观模型包括动态前景外观模型 和动态背景外观模型分别由所有时间层的前景外观模型 和背景外观模型 组成,其中,Γt是双边网格的时间维度, 和 为高斯混合模型;对于时间层tl中的任一网格单元vi,其属于前景的可能性按下式计算,属于背景的可能性即为1‑P(vi);
对于被识别为未标记的颜色类别或二义的颜色类别的网格单元,设定P(vi)为0.5;
其中,颜色判别准则包括:
未标记的颜色类别的判别:设时间层tl的前景外观模型 是由K个高斯分量组成的高斯混合模型,且第k(k∈K)个高斯分量用 表示,其中,参数 和 分别f
为高斯分量的权重、均值和协方差矩阵;设定参数λ的值,使得任一已知的前景颜色c落在区间 范围内的概率密度估计值 为95%以上,将处计算得到的概率密度估计值 作为 的最小概率密
度阈值
b
同理,根据已知的背景颜色c,用 替换公式中的 得到 对应的最小概率密度阈值 对时间层tl中的任一网格单元vi,当满足 且时,则认为其对应的颜色属于未标记的颜色类别;
二义的颜色类别的判别:对时间层tl,给定任一颜色c,若该颜色属于前景种子点集,但或者该颜色属于背景种子点集,但 则认定该颜色属于二义的颜色类别,同属于该类别的这些颜色构成二义的颜色类别集合,用于训练一高斯混合模型 使得对于时间层tl的任一网格单元vi,当满足 时,则认为其对应的颜色值具有二义性,其中,概率密度阈值 利用高斯分布规律计算:在视频预处理的基础上,构建基于马尔可夫随机场的图G,定义能量函数,所述能量函数包括数据项、平滑项和高阶项,其中,所述数据项根据所述置信动态外观模型估计的每一网格单元属于前景或背景的可能性计算得到;
平滑项 定义如下:
其中, 分别是网格单元vi、vj中像素点的总数目; 和 是vi和vj的标签值;|
2 ‑1
|ci‑cj||用于计算相邻两个网格顶点之间的颜色差异;β=(2<(ci‑cj)>) 是一个常量,其中<·>表示视频序列中样本的期望值;
高阶项定义如下:
对所有非空网格单元进行聚类,使得具有相似特征的网格单元属于同一簇,对每一簇定义一个辅助结点{Ai|i=1,...,k′},其中k′为簇的数目,连接簇内所有网格单元与对应的辅助结点的边并设置该边的权重值为1,高阶项 定义为:其中,φ(·)是一个指示函数,用于描述簇中任意不重复的网格单元vi、vj都与其辅助结点的连接,Ck′是k′个簇的集合, 和 是vi和vj的标签值;
(3)最小化所述能量函数,获得图G的最优划分,从而获得每一网格单元对应的标签值,将各标签值分配给对应网格单元中的所有像素点,获得视频分割结果。
2.根据权利要求1所述的双边视频目标分割方法,其特征在于,最小化所述能量函数采用最大流/最小割算法实现。
3.根据权利要求1所述的双边视频目标分割方法,其特征在于,根据网格单元中包含的已标记像素点的情况确定前景网格和背景网格的方法,包括:当网格单元内已标记的前景像素点数目大于等于该网格单元内像素点总数目的一半时,将该网格单元视为前景网格单元,类似地,根据网格单元内已标记的背景像素点的占比确定背景网格单元。
4.一种双边视频目标分割系统,其特征在于,包括:
视频预处理单元:用于在给定的视频序列中选取多个关键帧,对其进行分割,准确标记出前景像素点和背景像素点;将带标记的关键帧与视频序列的其余帧的每一像素点映射到高维双边特征空间,对所述高维双边特征空间进行规则的划分,获得双边网格,为网格单元的集合;根据网格单元中包含的已标记像素点的情况确定前景网格单元和背景网格单元,所有的前景网格单元和背景网格单元分别构成前景种子点集和背景种子点集;将同时包含已标记的前景像素点和背景像素点的网格单元中的所有像素点重置为未标记的像素点;
置信动态外观模型构建单元:用于根据所有非空网格单元构建置信动态外观模型,估计每一网格单元属于前/背景的可能性,并根据高斯分布规律定义颜色判别准则,识别未标记的颜色类别或二义的颜色类别的网格单元;
所述置信动态外观模型包括动态前景外观模型 和动态背景外观模型分别由所有时间层的前景外观模型 和背景外观模型 组成,其中,Γt是双边网格的时间维度, 和 为高斯混合模型;对于时间层tl中的任一网格单元vi,其属于前景的可能性按下式计算,属于背景的可能性即为1‑P(vi);
对于被识别为未标记的颜色类别或二义的颜色类别的网格单元,设定P(vi)为0.5;
所述置信动态外观模型构建单元的颜色判别准则包括:
未标记的颜色类别的判别:设时间层tl的前景外观模型 是由K个高斯分量组成的高斯混合模型,且第k(k∈K)个高斯分量用 表示,其中,参数 和 分别f
为高斯分量的权重、均值和协方差矩阵;设定参数λ的值,使得任一已知的前景颜色c落在区间 范围内的概率密度估计值 为95%以上,将处计算得到的概率密度估计值 作为 的最小概率密
度阈值
b
同理,根据已知的背景颜色c,用 替换公式中的 得到 对应的最小概率密度阈值 对时间层tl中的任一网格单元vi,当满足 且时,则认为其对应的颜色属于未标记的颜色类别;
二义的颜色类别的判别:对时间层tl,给定任一颜色c,若该颜色属于前景种子点集,但或者该颜色属于背景种子点集,但 则认定该颜色属于二义的颜色类别,同属于该类别的这些颜色构成二义的颜色类别集合,用于训练一高斯混合模型 使得对于时间层tl的任一网格单元vi,当满足 时,则认为其对应的颜色值具有二义性 ,其中 ,概率密度阈值 利用高斯分布规律计 算:图割优化模型构建单元:用于在视频预处理的基础上,构建基于马尔可夫随机场的图G,定义能量函数,所述能量函数包括数据项、平滑项和高阶项,其中,所述数据项根据所述置信动态外观模型估计的每一网格单元属于前景或背景的可能性计算得到;
其中的平滑项 定义如下:
其中, 分别是网格单元vi、vj中像素点的总数目; 和 是vi和vj的标签值;|
2 ‑1
|ci‑cj||用于计算相邻两个网格顶点之间的颜色差异;β=(2<(ci‑cj)>) 是一个常量,其中<·>表示视频序列中样本的期望值;
高阶项定义如下:
对所有非空网格单元进行聚类,使得具有相似特征的网格单元属于同一簇,对每一簇定义一个辅助结点{Ai|i=1,...,k′},其中k′为簇的数目,连接簇内所有网格单元与对应的辅助结点的边并设置该边的权重值为1,高阶项 定义为:其中,φ(·)是一个指示函数,用于描述簇中任意不重复的网格单元vi、vj都与其辅助结点的连接,Ck′是k′个簇的集合, 和 是vi和vj的标签值;
前景提取单元:用于最小化所述能量函数,获得图G的最优划分,从而获得每一网格单元对应的标签值,将各标签值分配给对应网格单元中的所有像素点,获得视频分割结果。