利索能及
我要发布
收藏
专利号: 2017108481747
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双目立体视觉系统的前景分割方法,利用双目立体视觉系统获取同一物体的左视图和右视图,将左视图的前景与背景区分开以及将右视图的前景与背景区分开,其特征在于:定义一个能量方程,利用该能量方程给前景中的前景像素点与背景中的背景像素点赋予不同的标签,从而将前景与背景区分开。

2.根据权利要求1所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:所述的能量方程为:E=∑iP(ci,li)+∑i,jS(ci,li;cj,lj)  (1);

其中:ci和cj是相邻的像素点,

li是像素点ci对应的二值标签,

lj是像素点cj对应的二值标签,

P是数据项,

S是平滑项,

E是能量值,使E为最小值即可得到最优的分割结果。

3.根据权利要求2所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:还包括对前景像素点与背景像素点进行优化处理,所述的优化处理包括以下几个步骤:步骤S1:计算原始视差图,根据左视图和右视图的原始视差图,由于前景的视差值大于背景的视差值,根据原始视差图能够区分原始视差图中的前景像素点和背景像素点;

步骤S2:规整原始视差图,根据左视图或右视图得到相对应的超像素图,超像素图根据像素间的颜色相似度和空间邻接关系将图像像素组合成一系列的超像素块。结合原始视差图与超像素图,将原始视差图划分为一系列位置、尺寸与超像素块一一对应的区域,对原始视差图所划分区域内的视差值求平均,作为调整后的视差值,从而使原始视差图所划分区域内的视差值保持一致;借助超像素规整,能够降低原始视差图中的噪声点。

步骤S3:生成三色图,对视差值设定一个阀值,步骤S2中,调整后的视差值大于阀值时,对应的像素点为前景,调整后的视差值小于阀值时,对应的像素点为背景,其余像素点为不确定点,不确定点组成不确定区域,使用不同的颜色分别表示前景、背景和不确定区域以生成三色图,其中根据左视图得到的超像素图为左视超像素图,根据左视超像素图调整后得到的视差值为左视视差图,根据左视视差图得到的三色图为左视三色图,根据右视图得到的超像素图为右视超像素图,根据右视超像素图调整后得到的视差值为右视视差图,根据右视视差图得到的三色图为右视三色图;

步骤S4:优化分割,对步骤S3中三色图的不确定区域进行精细分割,从而区分不确定区域内的前景与背景。

4.根据权利要求3所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:所述的步骤S4中,利用颜色信息进行精确分割,其具体包括以下几个步骤:步骤S41:从全局考虑,选择前景或背景中的像素点,用K-means的方法对前景或背景中的像素点在颜色空间上进行聚类,从而得到多个聚类中心,将不确定的像素点和所有聚类中心在颜色空间上进行比较,当该像素点和前景的聚类中心更像时,认为这个像素点是前景,反之,该像素点就被认为是背景,判断的条件用下列公式表示:其中:C(i)表示点Ci的颜色,

表示前景的聚类中心,

表示背景的聚类中心,

通过计算C(i)和各聚类中心的差,能够判断Ci是前景像素点还是背景像素点,用概率的形式来表示如下:Pg(ci,li)定义为全局的概率;

步骤S42:从局部考虑,将不确定的像素点与其周围的像素点进行比较,以不确定的像素点为中心画一个窗口,窗口内包含有前景的像素点和背景的像素点,然后将不确定的像素点分别与窗口内前景的像素点和背景的像素点进行比较,如果和前景的像素点更相似,就判断不确定的像素点为前景的像素点,反之,则判断为背景的像素点,判断的条件用下列公式表示:其中: 表示前景像素点的颜色,

表示背景像素点的颜色,

m代表前景像素点的个数,

n代表背景像素点的个数,

根据 和 的值估计Ci是前景像素点或者是背景像素点,用概率的形式能够表示如下:Pl(ci,li)定义为局部的概率;

步骤S43:同时考虑全局概率和局部概率,得到综合后的概率:P(ci,li)=Pg(ci,li)·Pl(ci,li)  (8)P(ci,li)定义为数据项;

步骤S44:考虑像素点的相似性和连续性,定义一个平滑项:S(ci,li;cj,lj)=|li-lj|·1/(1+||c(i)-c(j)||)  (9);

步骤S45:将公式(8)、(9)带入到公式(1)中得到优化后的分割结果。

5.根据权利要求4所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:所述的步骤S1中,还包括对前景像素点与背景像素点进行优化处理,所述的优化处理包括计算原始视差图,设置一个与原始视差图相关的全局能量函数:其中:p和q代表图像的像素点,

Np指像素点p的所有临近像素点,

Dp和Dq分别表示p点和q点的视差值,

C(p,Dp)表示像素点p的视差值等于Dp时的cost,cost表示在p点以Dp关联的左右视图对应像素点的颜色差异,P1和P2表示惩罚系数,

I[]为一个判真函数,判断[]中的条件是否为真,若为真则返回1,即此项存在,若为假则返回0,此项被忽略;

公式(10)第二项表示如果相邻像素有相同的视差值,则累加惩罚系数P1,公式(10)第三项表示如果相邻像素有不同的视差值,则累加惩罚系数P2,公式(10)的第二项与第三项为互斥条件,即对任意点q该两项不可能同时存在,有且仅有一项存在,其中P1

使Ed值最小以得到最优的视差图。

6.根据权利要求4所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:所述的步骤S2中,对原始视差图所划分区域内的视差值求平均的公式为:Davery=∑p∈SDp/n  (11);

其中:S代表整个超像素块,

p是其中的一个像素点,

n是超像素块S中像素点的个数,

Dp是像素点p的视差值,

Davery是超像素块内的平均视差值。

7.根据权利要求4所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:所述的步骤S3中,对视差值设定阀值的公式为:DT=(Dmax+Dmin)/2  (12);

其中:DT表示阈值,

Dmax表示最大视差值,

Dmin表示最小视差值。

8.根据权利要求7所述的一种基于双目立体视觉系统的前景分割方法,其特征在于:所述的步骤S3中,得到左视三色图,通过以下公式得到右视三色图:Tr(x+dx,y)=Tl(x,y)  (13);

其中:dx是右图相对左图的视差值,

Tl(x,y)是左视三色图中点(x,y)的颜色值,Tr(x+dx,y)是映射后右图三色图中(x,y)对应点的颜色值,得到右视三色图之后,通过公式(3)也可得到相对应的左视三色图。