利索能及
我要发布
收藏
专利号: 2018114424271
申请人: 中山大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,包括以下步骤:S1、数据的预处理,根据原图像的行人位置生成密度图;

S2、对原图像和步骤S1中生成的密度图进行切片;

S3、基于MCNN计算出初始的MCNN密度图:对原图像进行MCNN多分支特征提取,对各分支特征进行卷积、池化操作后,通过MCNN特征图融合器对各分支特征进行连接,得到MCNN连接特征图,对MCNN连接特征图进行卷积操作,得到初始的MCNN密度图;

S4、对原图像进行卷积,得到具有低层语义特征图;

S5、将低层语义特征图与MCNN多分支特征提取后各分支生成的特征图在通道数这一维度进行连接,完成特征的编码,得到连接特征图;

S6、用若干层卷积层对连接特征图进行解码,生成最终的密度图;对得到的最终密度图的每个像素相加求和,得到图片中的人数;

步骤S1中,一幅有N个人头的带有标签的人头图像表示为:其中,xi表示人头在图像中的像素位置,δ(x-xi)表示图像中人头位置的冲击函数,N为图像中的人头总数;如果x位置有人头,则δ(x)为1,否则为0;H(x)为数据预处理之前的行人位置;

数据预处理之后的密度图F(x)为:

其中, 表示高斯核,σi表示高斯核的标准差;di表示距离xi人头最近m个人头与该人头的平均距离;β为常数,取0.3;

步骤S2进行切片时,对原图像进行长宽均为相同比例的随机切片;所述比例设有三种,分别为原图1/2、1/3和1/4,每种比例切出9张子图像;

步骤S3中,初始MCNN密度图和密度图真实值之间使用平方差损失函数得到Lorigin,即Lorigin=(outputMCNN-target)2,其中,outputMCNN表示MCNN模型的输出,target表示MCNN密度图真实值;

步骤S4中,低层语义特征图包含着边缘特征低层语义的信息,密度图修正网络AmendNet模型根据低层语义的信息对步骤S3所生成的初始MCNN密度图进行一次修正;

步骤S6中,最终密度图和密度图真实值使用平方差损失函数s得到Lfinal,即Lfinal=(outputfinal-target)2,其中,outputfinal表示最终密度图修正网络AmendNet模型的输出。

2.根据权利要求1所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,步骤S3采用多路卷积网络实现。

3.根据权利要求2所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,所述多路卷积网络包括第一分支、第二分支及第三分支,第一分支、第二分支及第三分支分别对原图像进行卷积和池化操作,分别得到三路分支提取出的特征图;多路卷积网络将三路分支提取出的特征图在通道数的维度上进行连接,得到MCNN连接特征图。

4.根据权利要求3所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,所述第一分支先后经过9*9*16的卷积、7*7*32的卷积、2*2的池化层,7*7*16的卷积、2*2的池化层、7*7*8的卷积后,得到第一分支提取出的特征图。

5.根据权利要求3所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,所述第二分支先后经过7*7*20的卷积、5*5*40的卷积、2*2的池化层、5*5*20的卷积、2*2的池化层、5*5*10的卷积后,得到第二分支提取出的特征图。

6.根据权利要求3所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,所述第三分支先后经过5*5*24的卷积、3*3*48的卷积、2*2的池化层、3*3*20的卷积、2*2的池化层、3*3*12的卷积后,得到第三分支提取出的特征图。

7.根据权利要求1所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,步骤S6采用解码器进行解码,解码器包括多层卷积层。

8.根据权利要求7所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,所述解码器包括5层卷积层,5层卷积层的卷积核大小逐层减小,卷积核分别使用11*11、

9*9、7*7、5*5和1*1。

9.根据权利要求1-8中任一项所述的基于CNN低层语义特征密度图的人群密度估计方法,其特征在于,采用密度图修正网络AmendNet模型,根据低层语义的信息对步骤S3所生成的初始MCNN密度图进行一次修正;还包括步骤:S7、在密度图修正网络AmendNet模型训练期间,先根据Lorigin进行梯度的反向传播,对密度图修正网络AmendNet模型进行更新;再根据Lfinal进行梯度的反向传播,对密度图修正网络AmendNet模型进行更新;

Lorigin=(outputMCNN-target)2,式中outputMCNN表示MCNN模型的输出,target表示MCNN密度图真实值;

Lfinal=(outputfinal-target)2,式中outputfinal表示最终密度图修正网络AmendNet模型的输出。