1.一种基于对象的能量约束最小化的运动物体排列方法,其特征在于,包括如下步骤:
1)结合物体本身的大小及其路径,对所有的运动轨迹进行占用空间分布处理;
2)定义三种能量,轨迹分裂能量,轨迹碰撞能量以及时间一致性能量,根据权重比值对这三个能量进行加和,并利用能量最小化算法得到使加和值最小的轨迹出现排列方式;
所述轨迹分裂能量:在原始视频中,当两个运动的人有相互接触的交互式动作时,很难将这两个人准确地分离,往往当做一个人来处理;当二人交互一定时间后分开,则此时视频中就会忽然多检测到一个人,并将二人分离的时刻当做第二个运动物体出现的时刻而非二人同时出现,在进行了相对时间出现能量的计算后,用户无法在摘要视频中观测到原始视频中二者的行为逻辑关系;轨迹分裂能量就是对这一情况作出惩罚,保留二者之间的行为逻辑关系;其计算方法如下:当运动物体首次出现的坐标位置(x1,y1)值均大于其对应阈值,即同时满足x1>Tx和y1>Ty时,轨迹分裂能量为如不能同时满足x1>Tx和y1>Ty时,轨迹分裂能量为
是管道特征方程函数,表示视频摘要中的运动管道,x和y表示运动物体的坐标,t表示视频帧中的时间变量;
运动物体首次出现的位置(x1,y1)的值均大于其对应阈值,表示该物体首次出现的位置距离视频边缘的欧式距离较大,其在视频摘要中出现的位置并非其在原始视频中首次出现的位置;
3)合成视频摘要:将重新排列好的运动管道无缝拼接到背景视频中,产生一个在时间和空间上活动的视频摘要。
2.根据权利要求1所述的方法,其特征在于,步骤1)中结合物体本身的大小及其路径,首先对所有的运动轨迹进行占用分布空间处理,对每一个运动管道进行求和,得到其相对应的活动值并进行归一化,将这些管道的求和放到同一张图片上,即得到其空间运动分布,再将每两个管道单独放置,求两个管道的相关度,管道之间的相关度为两条管道矩阵归一化后的矩阵乘积;
根据用户对摘要视频的摘要紧凑要求,确定一个合适的阈值:
其中 表示两条不同的运动管道,correlation表示求得的两条管道矩阵归一化后的矩阵乘积,threshold表示确定的阈值, 表示两条管道之间的相关度,当相关度大于阈值时,说明两个管道的轨迹重叠,需要继续判断二者方向是否一致,反之,说明二者有相遇或碰撞的概率极低,无需计算轨迹碰撞能量:其中 分别表示视频摘要中两个不同的运动管道, 表示管道的特征方程;
从该方程看出,当管道之间的相关度大于等于阈值,即 为1时,为确定一个合理的阈值,当 的值大于阈值时,说明这两个轨迹方向一致,如果通过计算得到的轨迹碰撞能量很小,说明这两条轨迹中的运动物体的运动方向不一样,二者只会短暂的交错,不影响观测者对原运动物体的观测;反之,如果得到的轨迹碰撞能量大于阈值,说明二者的方向一致,且能量越大,说明二者的遮挡时间越多,对观测者的观测越有负面影响。
3.根据权利要求1所述的方法,其特征在于,步骤2)具体为:分别算出管道之间的轨迹分裂能量,时间一致性能量,根据用户的需求,调整各自的权重,并进行加和:其中Es表示轨迹分裂能量,Ec表示轨迹碰撞能量,Et表示时间一致性能量, 分别表示视频摘要中两个不同的运动管道,B表示运动管道的集合,α,β和ε表示根据用户需求而设置的权重值,β增加,视频摘要中的碰撞减少,反之亦然;
上述轨迹分裂能量、时间一致性能量描述如下:
a)轨迹分裂能量
当运动物体首次出现的坐标位置(x1,y1)值均大于其对应阈值,即同时满足x1>Tx和y1>Ty时,轨迹分裂能量为如不能同时满足x1>Tx和y1>Ty时,轨迹分裂能量
是管道特征方程函数,表示视频摘要中的运动管道,
x和y表示运动物体的坐标,t表示视频帧中的时间变量, 表示t时刻该运动物体在图像中的坐标,Tx,Ty是两个阈值,若运动物体首次出现的坐标位置(x1,y1)的值均大于其对应阈值,表示该物体首次出现的位置距离视频边缘的欧式距离较大;
b)轨迹碰撞能量,根据客户对摘要视频的摘要紧凑要求,确定一个合适的阈值:其中, 表示两条不同的运动管道,correlation表示求得的两条管道矩阵归一化后的矩阵乘积,threshold表示确定的阈值, 表示两条管道之间的相关度,当管道之间的相关度大于阈值时,说明这两个轨迹有重叠,需要继续检测其方向是否一致:其中 分别表示视频摘要中两个不同的运动管道, 表示管道的特征方程;
从该方程看出,当管道之间的相关度大于等于阈值,即 为1时,说明这两个轨迹有重叠;
c)时间一致性能量,其时间一致性惩罚值可表示为:
其中C为常数, 表示运动管道 在原始视频中出现的次序, 表示运动管道 在原始视频中出现的次序,Ttotal表示从检查到第一个运动物体的帧数到最后一个检测到的运动物体运动消失的帧数差。
4.根据权利要求1所述的方法,其特征在于,步骤3)利用泊松图像编辑算法结合透明度的调整,将利用能量最小化重新排列好的运动物体序列无缝拼接到背景中,消除颜色混叠,形成最终的视频摘要。