1.基于多特征融合的群体行为识别方法,其特征是,该方法包括如下步骤:
步骤1、特征提取:分三部分进行不同的特征提取,分别针对单个人提取单人特征信息,对人与人之间的交互提取交互特征,并对群体行为中的人所处的环境进行场景信息提取;
步骤2、特征融合:将人与人之间的交互特征与场景信息融合,采用含有径向基函数的支持向量机分类算法得到行为得分,作为全链接条件随机场模型的一元势,而针对单个人所提取的特征信息作为全链接条件随机场模型的二元势,将所提取的所有特征融合于一个模型中,进行群体行为识别;
所述步骤1具体包括:
步骤1-1、针对单个人所提的特征信息,考虑每个人的位置信息、大小信息、运动信息,这三种信息都属于最基本的外在表征信息;并采用卷积神经网络对单个人提特征,这种特征提取的方法是针对整幅图片提取特征,经过多个卷积层、降采样层操作,最终得到的特征是高层次的语义组合,这种方法比单纯的外在特征能更好地描述单个人的行为、姿态信息;
步骤1-2、针对人与人之间的交互进行特征提取,分别以每个人为中心,将他周围的与他邻近的人视为他的上下文,根据自身行为以及周围邻近人所表现的行为,提取行为上下文特征,记作AC描述符;这种描述符考虑了人与人之间的动作关系,为了提高特征的鲁棒性,在此基础上,考虑每个人与他周围邻近人的相对朝向关系,提取相对上下文特征,记作RAC描述符;具体操作为:(1)行为上下文特征(AC)的提取,这个特征考虑了每个人与他周围与之邻近人的行为表现; 对每个人提HOG特征,然后由SVM进行分类,得到每类行为的得分:Ai=[S1i,S2i,…,SKi],其中Sni表示由SVM分类器所得的第i个人对应行为标签n的得分,以第i个人为中心,将他周围邻近(dis∈(0.5×h,2×h))的人所在区域视为上下文区域,对该区域提取上下文特征,其中h对应每个人的高度:M:上下文区域被划分成M个子区域,Nm(i):第m个子区域中第i个人,比如在第一个sub-context区域内,他周围有2个人与他相近,那么将这两个人的行为得分取出来,并取每个相应行为得分的最大值,得到第一个子上下文特征,得行为上下文特征为:ACi=[Ai,Ci];
(2)相对行为上下文特征(RAC)的提取,RAC不仅考虑了行为特征,还捕捉了中心人与周围人的相对关系;当中心人朝右,他周围的另一个人朝左,则他们的相对关系被定义为朝相反方向;AC描述符由于没有考虑相对朝向关系,RAC描述符的提取方法与AC的类似,因为同时考虑了行为和方向,所以它的行为特征为K维:K=U×V,U:行为类别数,V:方向类别数;根据HOG特征并进行SVM分类所得的第i个人的朝向,得到每个人的相对行为得分:根据HOG特征并进行SVM分类
所得的第i个人的朝向;根据 得第i个人的相对行为描述符和第m个子上下文区域的相对上下文描述符:
整个上下文区域的相对描述符为: 所以第i个人的相对行为描述符
为:
步骤1-3、对人所处的环境提取场景信息,考虑三种场景信息:室外、室内、汽车,场景信息的提取分成两步进行,首先采用空间金字塔分配方法对场景进行室外、室内分类,其次利用眼动仪观察场景图片,得到感兴趣区域,对感兴趣区域进行分析,检测场景中是否有汽车存在;将所提取的这三种场景信息合并在一起,用一个3维的二进制向量表示,如果场景中有符合对应位置的信息,就用1表示,否则用0表示。
2.根据权利要求1所述的群体行为识别方法,其特征是,所述步骤2具体包括:
步骤2-1、将人与人之间的交互特征AC描述符和RAC描述符分别与场景信息融合得到新的特征向量,采用含有径向基函数的支持向量机分类算法,进行分类得到行为得分,再分别经过softmax转换得到概率,将这两种概率通过求max得到新的概率向量,并将得到的结果作为全链接条件随机场模型的一元势;
计算一元势:将所提取的AC描述符和RAC描述符分别与场景信息特征向量S融合,分别得到新的特征向量Scene_AC、Scene_RAC;利用SVM分类器对这两种特征向量训练得到行为得分,经过softmax转换将得分向量转换成矩阵,并对两者求Max;
步骤2-2、针对单个人所提取的特征信息作为全链接条件随机场模型的二元势,实现将所提取的所有特征融合于一个模型中,进行群体行为识别。