1.一种融合深度学习的行人姿势多特征智能辨识方法,其特征在于,包括以下步骤:步骤1:构建行人样本图像数据库;
所述行人样本图像数据库是从路口监控视频中提取连续的行人图像帧,获取三类图像组;
所述三类图像组,分别为不含行人的负样本、包含多个行人的多人样本以及只包含同一行人的单行人样本,每类图像组至少包括300帧图像;
步骤2:对行人样本数据库中的行人图像帧进行预处理,并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量;
所述行人检测框是行人图像帧中行人轮廓的最小外接矩形;
所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P;
所述行人位置标签向量的表达形式为[t,x,y,a,b],t表示当前行人图像帧属于监控视频中的第t帧,x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标,a和b分别表示行人检测框长和宽;
步骤3:构建基于小波神经网络的行人检测模型;
以行人样本数据库中行人图像帧经过预处理后的图像作为输入数据,对应的行人位置标签向量和行人数量作为输出数据,对小波神经网络进行训练,得到基于小波神经网络的行人检测模型;
所述小波神经网络的输入层节点个数为输入图像的像素点个数s,隐含层小波元个数为2s-1,输出层节点个数为4,训练过程中的最大迭代次数设置为2000,训练学习率为0.01,阈值为0.00005;
步骤4:构建基于深度学习的行人跟踪模型;
依次将经过预处理的相邻两帧图像中的行人跟踪检测图和利用基于小波神经网络的行人检测模型提取的对应行人位置标签向量作为输入层数据,以前一帧行人图像中的行人在后一帧行人图像中的跟踪结果为输出层数据,对深度学习模型进行训练,获得基于深度学习的行人跟踪模型;
所述前一帧行人图像中的行人在后一帧行人图像中的跟踪结果是指如果前一帧行人图像中的行人,在后一帧行人图像中出现,则该行人的跟踪结果为1,否则为0;若行人跟踪结果为1,则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中,所述行人轨迹的初始值为在监控视频中第一次出现在图像中的行人位置标签向量;
其中,所述深度学习模型设置有三层隐藏层,输入层和第一隐藏层构成第一层限制玻儿兹曼机RBM,第一隐藏层和第二隐藏层构成第二层限制玻儿兹曼机RBM,第二隐藏层和第三隐藏层构成BP层,使用逐层训练的方法依次对两层限制玻儿兹曼机RBM进行训练,使用BP算法反馈调节对深度学习模型进行微调,得到深度学习模型的权值矩阵、可见层偏置以及隐藏层偏置参数;
步骤5:行人轨迹实时跟踪辨识;
从实时监控视频中,依次提取两帧相邻的行人图像,输入所述基于小波神经网络的行人检测模型中,进行两帧图像中行人位置标签向量和行人数量的检测,然后将两帧图像中的行人跟踪检测图和对应的行人位置标签向量输入所述基于深度学习的行人跟踪模型,对前一帧行人图像中出现的行人进行行人轨迹跟踪,得到监控视频中,所有行人的跟踪轨迹。
2.根据权利要求1所述的方法,其特征在于,对行人样本图像和实时采集的监控图像进行以下预处理:步骤A1:对从路口监控视频中提取的图像帧进行统一尺寸裁剪;
步骤A2:对裁剪后的图像进行灰度化处理,再采用Gamma校正法调节图像对比度;
步骤A3:提取经过对比度调节后的图像的方向梯度直方图特征,并采用PCA对方向梯度直方图特征进行降维处理;
步骤A4:利用降维后的方向梯度直方图特征与设定的方向梯度直方图阈值,提取超过设定的方向梯度直方图阈值的降维后的方向梯度直方图特征,获得对应的行人区域;
步骤A5:对行人区域进行平滑去噪处理,并提取最大连通域作为行人轮廓区域;
步骤A6:以行人轮廓区域的最大宽度和最大高度,作为行人检测框的宽度和高度。
3.根据权利要求1所述的方法,其特征在于,使用教与学算法对基于小波神经网络的行人检测模型中的小波神经网络的权值和阈值进行优化,具体步骤如下:步骤B1:将学员个体成绩作为小波神经网络的权值和阈值,初始化教与学算法参数;
随机初始化所有班级学员个体成绩,种群规模为Np,取值范围为[60,200],作为搜索空间维数的学生所学科目数为2,学习因子Ct,取值范围[0.4,1.2];
步骤B2:设置适应度函数,并令迭代次数t=1;
依次将学员个体成绩对应的权值和阈值代入基于小波神经网络的行人检测模型中,并利用学员个体成绩确定的基于小波神经网络的行人检测模型预测输入图像中包含的行人的标签向量,将输入图像中包含的所有行人标签向量的预测值与对应的行人标签向量实际值之差的和的绝对值的倒数作为第一适应度函数f1(x);
步骤B3:选取第一适应度函数值最大的学员个体成绩的学员作为老师,并以当前老师对其余学员个体教学,提高学员个体成绩;
其中, 表示班级中学员个体i在迭代次数为t+1时的成绩, 表示班级中学员个体i在迭代次数为t时的成绩;Mean为班级所有学员个体的初始成绩的平均值, 表示老师的成绩,T为教学因子,T=round[1+rand(0,1)],round为四舍五入法取整函数,rand(0,1)为随机函数,在(0,1)之间随机取值;
步骤B4:学员个体之间相互学习;
每一个学员个体在班级中随机挑选另一名学员个体进行相互学习,通过成绩好的学员个体带成绩差的学员个体,提高学员个体成绩,具体公式如下:其中, 分别是学员个体i和学员个体k的迭代次数为t时的第一适应度函数值, 为在迭代次数为t时,班级中除学员个体i以外随机选择的学员个体k的成绩;
步骤B5:班级中所有学员个体成绩更新;
如果学员个体在迭代次数t+1的成绩大于在迭代次数t时的成绩,则,以迭代次数为t+1时的成绩作为学员个体的当前成绩,否则,以迭代次数为t时的成绩作为学员个体的当前成绩;
步骤B6:判断是否达到最大迭代次数,若满足则退出,否则,令t=t+1,转入步骤B3,直到满足最大迭代次数,输出最好学员个体成绩对应的小波神经网络权值与阈值,获得基于小波神经网络的行人检测模型。
4.根据权利要求1-4任一项所述的方法,其特征在于,所述基于深度学习行人跟踪模型中的深度学习网络使用的BP反馈调节微调阶段的权值矩阵、可见层偏置以及隐藏层偏置参数采用磷虾算法进行优化,具体步骤如下:步骤C1:以磷虾个体位置作为深度学习网络的权值矩阵、可见层偏置以及隐藏层偏置参数,随机初始化磷虾种群并设置磷虾种群参数,磷虾种群包含多个磷虾个体;
磷虾种群规模的取值范围为[50,180],诱导惯性权重wy的取值范围为[0.24,0.65],觅食惯性权重wm的取值范围为[0.4,0.8],最大诱导速度Ymax的取值范围为[0.03,0.075],最大觅食速度Mmax的取值范围为[0.03,0.175],最大扩散速度Dmax的取值范围为[0.003,
0.01],步长缩放因子的Ct取值范围为[0.3,1.4],最大迭代次数T的取值范围为[500,
2000],时间常量为Δt=0.4;
步骤C2:设定适应度函数,确定初始最优磷虾个体位置和迭代次数t,t=1;
将磷虾个体对应的权值矩阵、可见层偏置以及隐藏层偏置参数代入基于深度学习网络的深度学习行人跟踪模型中,将磷虾个体位置确定的基于深度学习网络的深度学习行人跟踪模型得到的输出和实际输出做差的绝对值作为第二适应度函数f2(x);
步骤C3:磷虾进行诱导运动、觅食活动以及随机扩散,对磷虾个体的位置和速度进行更新,根据第二适应度函数f2(x)确定当前最优磷虾位置;
磷虾速度和位置由以下三个运动改变:
磷虾受周围磷虾的诱导,向周围磷虾移动,方向为αi,进行诱导运动,公式如下:磷虾受“食物”的吸引,进行觅食活动,方向为βi,公式如下:
磷虾进行随机扩散,随机得到方向δi,公式如下:
其中, 为迭代次数t时的诱导速度,觅食速度和扩散速度, 为迭代次数t+1时的诱导速度,觅食速度和扩散速度,αi,βi,δi分别代表诱导方向,觅食方向和扩散方向,t为当前迭代次数,tmax为最大迭代次数;
由三个运动速度分量共同构成磷虾的运动速度:
根据上式得到位置更新公式:
步骤C4:判断是否满足最大迭代次数,若不满足,则t=t+1,返回步骤C3,直到满足最大迭代次数后,以第二适应度函数值最小时对应的磷虾个体位置,确定基于深度学习网络的行人跟踪模型的深度学习网络使用的BP反馈调节微调阶段的权值矩阵、可见层偏置以及隐藏层偏置参数。