利索能及
我要发布
收藏
专利号: 202110865293X
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于密度估计的人群计数方法,其特征在于,所述方法包括:获取待估计人群图像;

将所述待估计人群图像输入优化后的深度神经网络模型中,得到估计的人群密度图;

所述深度神经网络模型包括依次连接的低层语义特征图提取层、第一尺度感知金字塔注意力层,依次连接的中层语义特征图提取层、第二尺度感知金字塔注意力层,依次连接的高层语义特征图提取层、第三尺度感知金字塔注意力层,以及与所述第一尺度感知金字塔注意力层、第二尺度感知金字塔注意力层和所述第三尺度感知金字塔注意力层均连接的特征融合层,与所述特征融合层连接的人群密度图估计层;所述优化后的深度神经网络模型采用不同人群图像以及与所述图像对应的真实人群密度图对所述深度神经网络模型进行训练和优化得到;

将所述估计的人群密度图进行逐像素相加,得到人群中人数的估计值;

将所述待估计人群图像输入优化后的深度神经网络模型中,得到估计的人群密度图,具体包括:

利用所述低层语义特征图提取层对所述待估计人群图像提取低层语义特征图;

利用所述中层语义特征图提取层对所述低层语义特征图提取中层语义特征图;

利用所述高层语义特征图提取层对所述中层语义特征图提取高层语义特征图;

利用所述第一尺度感知金字塔注意力层对所述低层语义特征图提取尺度感知信息特征,得到低层多尺度语义特征图;

利用所述第二尺度感知金字塔注意力层对所述中层语义特征图提取尺度感知信息特征,得到中层多尺度语义特征图;

利用所述第三尺度感知金字塔注意力层对所述高层语义特征图提取尺度感知信息特征,得到高层多尺度语义特征图;

利用所述特征融合层对所述低层多尺度语义特征图、所述中层多尺度语义特征图和所述高层多尺度语义特征图进行融合,得到多层次多尺度的融合特征图;

利用所述人群密度图估计层对所述多层次多尺度的融合特征图进行人群密度估计,得到估计的人群密度图。

2.根据权利要求1所述的基于密度估计的人群计数方法,其特征在于,所述第一尺度感知金字塔注意力层具体包括依次连接的第一两分支空间可分离卷积层、第一卷积层、第一Sigmoid函数变换层、第一按位相乘层,依次连接的第二两分支空间可分离卷积层、第二卷积层、第二Sigmoid函数变换层、第二按位相乘层,依次连接的第三两分支空间可分离卷积层、第三卷积层、第三Sigmoid函数变换层、第三按位相乘层,以及与所述第一按位相乘层、所述第二按位相乘层和所述第三按位相乘层均连接的第一融合层;所述第一按位相乘层还与所述第一两分支空间可分离卷积层连接;所述第二按位相乘层还与所述第二两分支空间可分离卷积层连接;所述第三按位相乘层还与所述第三两分支空间可分离卷积层连接;

所述第一两分支空间可分离卷积层、所述第二两分支空间可分离卷积层和所述第三两分支空间可分离卷积层均与所述低层语义特征图提取层连接;所述第一两分支空间可分离卷积层、所述第二两分支空间可分离卷积层和所述第三两分支空间可分离卷积层均用于对所述低层语义特征图提取尺度感知信息特征,得到低层尺度感知信息特征;

所述第一卷积层、所述第二卷积层和所述第三卷积层均用于对所述低层尺度感知信息特征进行维度变换,得到低层尺度语义特征图;

所述第一Sigmoid函数变换层、所述第二Sigmoid函数变换层和所述第三Sigmoid函数变换层均用于对所述低层尺度语义特征图进行非线性变换,得到变换后的低层尺度语义特征图;

所述第一按位相乘层、所述第二按位相乘层和所述第三按位相乘层均用于对所述变换后的低层尺度语义特征图和所述低层尺度感知信息特征进行按位相乘操作,得到按位相乘后的低层尺度语义特征图;

所述第一融合层用于对所述按位相乘后的低层尺度语义特征图进行逐元素累加操作,得到低层多尺度语义特征图。

3.根据权利要求2所述的基于密度估计的人群计数方法,其特征在于,所述第一两分支空间可分离卷积层包括第一分支和第二分支;所述第二两分支空间可分离卷积层包括第三分支和第四分支;所述第三两分支空间可分离卷积层包括第五分支和第六分支;

所述第一分支包括依次连接的卷积核尺寸为5*1的卷积层、卷积核尺寸为1*5的卷积层;所述第二分支包括依次连接的卷积核尺寸为1*5的卷积层、卷积核尺寸为5*1的卷积层;

所述第一分支中卷积核尺寸为5*1的卷积层与所述第二分支中卷积核尺寸为1*5的卷积层均与所述低层语义特征图提取层连接;所述第一分支中卷积核尺寸为1*5的卷积层与所述第二分支中卷积核尺寸为5*1的卷积层均与所述第一卷积层和所述第一按位相乘层连接;

所述第三分支包括依次连接的卷积核尺寸为7*1的卷积层、卷积核尺寸为1*7的卷积层;所述第四分支包括依次连接的卷积核尺寸为1*7的卷积层、卷积核尺寸为7*1的卷积层;

所述第三分支中卷积核尺寸为7*1的卷积层与所述第四分支中卷积核尺寸为1*7的卷积层均与所述低层语义特征图提取层连接;所述第三分支中卷积核尺寸为1*7的卷积层与所述第四分支中卷积核尺寸为7*1的卷积层均与所述第二卷积层和所述第二按位相乘层连接;

所述第五分支包括依次连接的卷积核尺寸为9*1的卷积层、卷积核尺寸为1*9的卷积层;所述第六分支包括依次连接的卷积核尺寸为1*9的卷积层、卷积核尺寸为9*1的卷积层;

所述第五分支中卷积核尺寸为9*1的卷积层与所述第六分支中卷积核尺寸为1*9的卷积层均与所述低层语义特征图提取层连接;所述第五分支中卷积核尺寸为1*9的卷积层与所述第六分支中卷积核尺寸为9*1的卷积层均与所述第三卷积层和所述第三按位相乘层连接;

所述第一分支中卷积核尺寸为5*1的卷积层和卷积核尺寸为1*5的卷积层,所述第二分支中卷积核尺寸为1*5的卷积层和卷积核尺寸为5*1的卷积层,所述第三分支中卷积核尺寸为7*1的卷积层和卷积核尺寸为1*7的卷积层,所述第四分支中卷积核尺寸为1*7的卷积层和卷积核尺寸为7*1的卷积层,所述第五分支中卷积核尺寸为9*1的卷积层和卷积核尺寸为

1*9的卷积层以及所述第六分支中卷积核尺寸为1*9的卷积层和卷积核尺寸为9*1的卷积层均用于对所述低层语义特征图提取尺度感知信息特征,得到低层尺度感知信息特征。

4.根据权利要求1所述的基于密度估计的人群计数方法,其特征在于,所述第二尺度感知金字塔注意力层具体包括依次连接的第四两分支空间可分离卷积层、第四卷积层、第四Sigmoid函数变换层、第四按位相乘层,依次连接的第五两分支空间可分离卷积层、第五卷积层、第五Sigmoid函数变换层、第五按位相乘层,依次连接的第六两分支空间可分离卷积层、第六卷积层、第六Sigmoid函数变换层、第六按位相乘层,以及与所述第四按位相乘层、所述第五按位相乘层和所述第六按位相乘层均连接的第二融合层;所述第四按位相乘层还与所述第四两分支空间可分离卷积层连接;所述第五按位相乘层还与所述第五两分支空间可分离卷积层连接;所述第六按位相乘层还与所述第六两分支空间可分离卷积层连接;

所述第四两分支空间可分离卷积层、所述第五两分支空间可分离卷积层和所述第六两分支空间可分离卷积层均与所述中层语义特征图提取层连接;所述第四两分支空间可分离卷积层、所述第五两分支空间可分离卷积层和所述第六两分支空间可分离卷积层均用于对所述中层语义特征图提取尺度感知信息特征,得到中层尺度感知信息特征;

所述第四卷积层、所述第五卷积层和所述第六卷积层均用于对所述中层尺度感知信息特征进行维度变换,得到中层尺度语义特征图;

所述第四Sigmoid函数变换层、所述第五Sigmoid函数变换层和所述第六Sigmoid函数变换层均用于对所述中层尺度语义特征图进行非线性变换,得到变换后的中层尺度语义特征图;

所述第四按位相乘层、所述第五按位相乘层和所述第六按位相乘层均用于对所述变换后的低层尺度语义特征图和所述中层尺度感知信息特征进行按位相乘操作,得到按位相乘后的中层尺度语义特征图;

所述第二融合层用于对所述按位相乘后的中层尺度语义特征图进行逐元素累加操作,得到中层多尺度语义特征图。

5.根据权利要求4所述的基于密度估计的人群计数方法,其特征在于,所述第四两分支空间可分离卷积层包括第七分支和第八分支;所述第五两分支空间可分离卷积层包括第九分支和第十分支;所述第六两分支空间可分离卷积层包括第十一分支和第十二分支;

所述第七分支包括依次连接的卷积核尺寸为5*1的卷积层、卷积核尺寸为1*5的卷积层;所述第八分支包括依次连接的卷积核尺寸为1*5的卷积层、卷积核尺寸为5*1的卷积层;

所述第七分支中卷积核尺寸为5*1的卷积层与所述第八分支中卷积核尺寸为1*5的卷积层均与所述中层语义特征图提取层连接;所述第七分支中卷积核尺寸为1*5的卷积层与所述第八分支中卷积核尺寸为5*1的卷积层均与所述第四卷积层和所述第四按位相乘层连接;

所述第九分支包括依次连接的卷积核尺寸为7*1的卷积层、卷积核尺寸为1*7的卷积层;所述第十分支包括依次连接的卷积核尺寸为1*7的卷积层、卷积核尺寸为7*1的卷积层;

所述第九分支中卷积核尺寸为7*1的卷积层与所述第十分支中卷积核尺寸为1*7的卷积层均与所述中层语义特征图提取层连接;所述第九分支中卷积核尺寸为1*7的卷积层与所述第十分支中卷积核尺寸为7*1的卷积层均与所述第五卷积层和所述第五按位相乘层连接;

所述第十一分支包括依次连接的卷积核尺寸为9*1的卷积层、卷积核尺寸为1*9的卷积层;所述第十二分支包括依次连接的卷积核尺寸为1*9的卷积层、卷积核尺寸为9*1的卷积层;

所述第十一分支中卷积核尺寸为9*1的卷积层与所述第十二分支中卷积核尺寸为1*9的卷积层均与所述中层语义特征图提取层连接;所述第十一分支中卷积核尺寸为1*9的卷积层与所述第十二分支中卷积核尺寸为9*1的卷积层均与所述第六卷积层和所述第六按位相乘层连接;

所述第七分支中卷积核尺寸为5*1的卷积层和卷积核尺寸为1*5的卷积层,所述第八分支中卷积核尺寸为1*5的卷积层和卷积核尺寸为5*1的卷积层,所述第九分支中卷积核尺寸为7*1的卷积层和卷积核尺寸为1*7的卷积层,所述第十分支中卷积核尺寸为1*7的卷积层和卷积核尺寸为7*1的卷积层,所述第十一分支中卷积核尺寸为9*1的卷积层和卷积核尺寸为1*9的卷积层以及所述第十二分支中卷积核尺寸为1*9的卷积层和卷积核尺寸为9*1的卷积层均用于对所述中层语义特征图提取尺度感知信息特征,得到中层尺度感知信息特征。

6.根据权利要求1所述的基于密度估计的人群计数方法,其特征在于,所述第三尺度感知金字塔注意力层具体包括依次连接的第七两分支空间可分离卷积层、第七卷积层、第七Sigmoid函数变换层、第七按位相乘层,依次连接的第八两分支空间可分离卷积层、第八卷积层、第八Sigmoid函数变换层、第八按位相乘层,依次连接的第九两分支空间可分离卷积层、第九卷积层、第九Sigmoid函数变换层、第九按位相乘层,以及与所述第七按位相乘层、所述第八按位相乘层和所述第九按位相乘层均连接的第三融合层;所述第七按位相乘层还与所述第七两分支空间可分离卷积层连接;所述第八按位相乘层还与所述第八两分支空间可分离卷积层连接;所述第九按位相乘层还与所述第九两分支空间可分离卷积层连接;

所述第七两分支空间可分离卷积层、所述第八两分支空间可分离卷积层和所述第九两分支空间可分离卷积层均与所述高层语义特征图提取层连接;所述第七两分支空间可分离卷积层、所述第八两分支空间可分离卷积层和所述第九两分支空间可分离卷积层均用于对所述高层语义特征图提取尺度感知信息特征,得到高层尺度感知信息特征;

所述第七卷积层、所述第八卷积层和所述第九卷积层均用于对所述高层尺度感知信息特征进行维度变换,得到高层尺度语义特征图;

所述第七Sigmoid函数变换层、所述第八Sigmoid函数变换层和所述第九Sigmoid函数变换层均用于对所述高层尺度语义特征图进行非线性变换,得到变换后的高层尺度语义特征图;

所述第七按位相乘层、所述第八按位相乘层和所述第九按位相乘层均用于对所述变换后的高层尺度语义特征图和所述高层尺度感知信息特征进行按位相乘操作,得到按位相乘后的高层尺度语义特征图;

所述第三融合层用于对所述按位相乘后的高层尺度语义特征图进行逐元素累加操作,得到高层多尺度语义特征图。

7.根据权利要求6所述的基于密度估计的人群计数方法,其特征在于,所述第七两分支空间可分离卷积层包括第十三分支和第十四分支;所述第八两分支空间可分离卷积层包括第十五分支和第十六分支;所述第九两分支空间可分离卷积层包括第十七分支和第十八分支;

所述第十三分支包括依次连接的卷积核尺寸为5*1的卷积层、卷积核尺寸为1*5的卷积层;所述第十四分支包括依次连接的卷积核尺寸为1*5的卷积层、卷积核尺寸为5*1的卷积层;

所述第十三分支中卷积核尺寸为5*1的卷积层与所述第十四分支中卷积核尺寸为1*5的卷积层均与所述高层语义特征图提取层连接;所述第十三分支中卷积核尺寸为1*5的卷积层与所述第十四分支中卷积核尺寸为5*1的卷积层均与所述第七卷积层和所述第七按位相乘层连接;

所述第十五分支包括依次连接的卷积核尺寸为7*1的卷积层、卷积核尺寸为1*7的卷积层;所述第十六分支包括依次连接的卷积核尺寸为1*7的卷积层、卷积核尺寸为7*1的卷积层;

所述第十五分支中卷积核尺寸为7*1的卷积层与所述第十六分支中卷积核尺寸为1*7的卷积层均与所述高层语义特征图提取层连接;所述第十五分支中卷积核尺寸为1*7的卷积层与所述第十六分支中卷积核尺寸为7*1的卷积层均与所述第八卷积层和所述第八按位相乘层连接;

所述第十七分支包括依次连接的卷积核尺寸为9*1的卷积层、卷积核尺寸为1*9的卷积层;所述第十八分支包括依次连接的卷积核尺寸为1*9的卷积层、卷积核尺寸为9*1的卷积层;

所述第十七分支中卷积核尺寸为9*1的卷积层与所述第十八分支中卷积核尺寸为1*9的卷积层均与所述高层语义特征图提取层连接;所述第十七分支中卷积核尺寸为1*9的卷积层与所述第十八分支中卷积核尺寸为9*1的卷积层均与所述第九卷积层和所述第九按位相乘层连接;

所述第十三分支中卷积核尺寸为5*1的卷积层和卷积核尺寸为1*5的卷积层,所述第十四分支中卷积核尺寸为1*5的卷积层和卷积核尺寸为5*1的卷积层,所述第十五分支中卷积核尺寸为7*1的卷积层和卷积核尺寸为1*7的卷积层,所述第十六分支中卷积核尺寸为1*7的卷积层和卷积核尺寸为7*1的卷积层,所述第十七分支中卷积核尺寸为9*1的卷积层和卷积核尺寸为1*9的卷积层以及所述第十八分支中卷积核尺寸为1*9的卷积层和卷积核尺寸为9*1的卷积层均用于对所述高层语义特征图提取尺度感知信息特征,得到高层尺度感知信息特征。

8.根据权利要求1所述的基于密度估计的人群计数方法,其特征在于,所述特征融合层具体包括依次连接的第一上采样层、第四融合层、第二上采样层、第五融合层和级联层;

所述第一上采样层还与所述第三尺度感知金字塔注意力层连接;所述第四融合层还与所述第二尺度感知金字塔注意力层连接;所述第五融合层还与所述第一尺度感知金字塔注意力层连接;所述级联层还与所述低层语义特征图提取层和所述人群密度图估计层连接;

所述第一上采样层用于对所述高层多尺度语义特征图进行上采样,得到上采样后的高层多尺度语义特征图;

所述第四融合层用于对所述上采样后的高层多尺度语义特征图和所述中层多尺度语义特征图进行融合,得到融合高中两层的多尺度感知信息的特征;

所述第二上采样层用于对所述融合高中两层的多尺度感知信息的特征进行上采样,得到上采样后的融合高中两层的多尺度感知信息的特征;

所述第五融合层用于对所述上采样后的融合高中两层的多尺度感知信息的特征和所述低层多尺度语义特征图进行融合,得到融合高中低三层多尺度感知信息的特征;

所述级联层用于对所述融合高中低三层多尺度感知信息的特征和所述低层语义特征图进行级联操作,得到多层次多尺度的融合特征图。

9.一种基于密度估计的人群计数系统,其特征在于,所述系统包括:待估计人群图像获取模块,用于获取待估计人群图像;

人群密度图估计模块,用于将所述待估计人群图像输入优化后的深度神经网络模型中,得到估计的人群密度图;所述深度神经网络模型包括依次连接的低层语义特征图提取层、第一尺度感知金字塔注意力层,依次连接的中层语义特征图提取层、第二尺度感知金字塔注意力层,依次连接的高层语义特征图提取层、第三尺度感知金字塔注意力层,以及与所述第一尺度感知金字塔注意力层、第二尺度感知金字塔注意力层和所述第三尺度感知金字塔注意力层均连接的特征融合层,与所述特征融合层连接的人群密度图估计层;所述优化后的深度神经网络模型采用不同人群图像以及与所述图像对应的真实人群密度图对所述深度神经网络模型进行训练和优化得到;

人群中人数值估计模块,用于将所述估计的人群密度图进行逐像素相加,得到人群中人数的估计值;

所述低层语义特征图提取层用于对所述待估计人群图像提取低层语义特征图;

所述中层语义特征图提取层用于对所述低层语义特征图提取中层语义特征图;

所述高层语义特征图提取层用于对所述中层语义特征图提取高层语义特征图;

所述第一尺度感知金字塔注意力层用于对所述低层语义特征图提取尺度感知信息特征,得到低层多尺度语义特征图;

所述第二尺度感知金字塔注意力层用于对所述中层语义特征图提取尺度感知信息特征,得到中层多尺度语义特征图;

所述第三尺度感知金字塔注意力层用于对所述高层语义特征图提取尺度感知信息特征,得到高层多尺度语义特征图;

所述特征融合层用于对所述低层多尺度语义特征图、所述中层多尺度语义特征图和所述高层多尺度语义特征图进行融合,得到多层次多尺度的融合特征图;

所述人群密度图估计层用于对所述多层次多尺度的融合特征图进行人群密度估计,得到估计的人群密度图。