1.一种基于对象属性关系图的视频描述方法,其特征在于:将给定长视频划分为在内容上基本一致的视频段,然后基于每一视频段对该段视频内容进行分析,提取出视频场景中的关键对象,此处提取的关键对象为包含关键对象的矩形框;
此时,将提取出来的每一关键对象作为表示该视频段所对应对象属性关系图的结点,通过对每一关键对象进行空间和时间上的特征分析来对其进行属性描述,并作为结点属性;
将获取的关键对象之间的相对位置关系作为该视频段所对应对象属性关系图中两个结点之间的连接边,并以此将两关键对象之间相对方向、距离、相对位置关系在时间上的变化作为边属性。
2.如权利要求1所述的基于对象属性关系图的视频描述方法,其特征在于:使用在Microsoft COCO数据集上训练的Faster R-CNN模型来对每一视频段内容进行分析,检测提取获得关键对象。
3.如权利要求1所述的基于对象属性关系图的视频描述方法,其特征在于:所述结点属性是关键对象的特征,选择提取关键对象轮廓特征和关键对象表观特征作为关键对象的空间特征;并通过目标跟踪得到关键对象运动轨迹特征,以此共同描述关键对象的属性。
4.如权利要求3所述的基于对象属性关系图的视频描述方法,其特征在于:所述关键对象轮廓特征是根据Serge Belongie经典形状上下文方法得到的。
5.如权利要求3所述的基于对象属性关系图的视频描述方法,其特征在于:所述关键对象表观特征由Microsoft COCO数据集上训练的Faster R-CNN模型中得到。
6.如权利要求3所述的基于对象属性关系图的视频描述方法,其特征在于:所述关键对象的轨迹特征基于对象的运动轨迹,采用现有的多目标跟踪算法对视频中关键对象进行跟踪,并得到关键对象的运动轨迹。
7.如权利要求6所述的基于对象属性关系图的视频描述方法,其特征在于:将得到的关键对象的运动轨迹分成X轴方向运动轨迹和Y轴方向运动轨迹,并分别对应的转换为X轴方向傅里叶频谱和Y轴方向傅里叶频谱作为结点的时域特征描述符。
8.如权利要求7所述的基于对象属性关系图的视频描述方法,其特征在于:对于所述X轴方向运动轨迹,首先通过中值滤波对该运动轨迹进行平滑,然后构造200个采样点的粗粒度频谱和1000个采样点的细粒度频谱;
取粗粒度频谱中前30个非直流分量作为所述X轴方向运动轨迹的一个描述子;
通过计算频谱的一阶中心矩并提取前三个局部极大值点对应的频率作为X轴方向运动轨迹的另一个描述子;
将X轴方向运动轨迹的两个描述子融合得到X轴方向运动轨迹的描述符;
对于所述Y轴方向运动轨迹,首先通过中值滤波对该运动轨迹进行平滑,然后构造200个采样点的粗粒度频谱和1000个采样点的细粒度频谱;
取粗粒度频谱中前30个非直流分量作为所述Y轴方向运动轨迹的一个描述子;
通过计算频谱的一阶中心矩并提取前三个局部极大值点对应的频率作为Y轴方向运动轨迹的另一个描述子;
将Y轴方向运动轨迹的两个描述子融合得到Y轴方向运动轨迹的描述符;
将所述X轴方向运动轨迹的描述符和Y轴方向运动轨迹的描述符融合得到一个66维的特征向量。
9.如权利要求1-7任一项所述的基于对象属性关系图的视频描述方法,其特征在于:所述对象属性图的连接边描述视频段中两个关键对象的相对位置关系,在视频段中,这种相对位置关系会随着时间变化,对于关键对象相对位置关系变化的特征描述,利用对象运动轨迹特征描述的两种傅里叶频谱连接边来描述关键对象空间关系在时间域的变化特征,即30维的粗粒度频谱连接边和3维的细粒度频谱连接边,由此,边的属性特征由X方向和Y方向的两种傅里叶频谱描述子构成,其维度为1×66。