利索能及
我要发布
收藏
专利号: 2024106223878
申请人: 中南民族大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度融合与分布匹配的人群计数方法,其特征在于,所述方法包括:获取人群图像并进行预处理,建立数据集;

以VGG为主干网络、引入注意力机制和多尺度特征融合模块构建多尺度分支预测模型,并基于数据集对多尺度分支预测模型进行预训练;

将预待测人群图像输入预训练的多尺度分支预测模型,生成密度图并进行人群计数;

所述预处理包括:对每一批次的人群图像进行数据增强和裁剪缩放处理;

所述多尺度分支预测模型包括前端网络和后端网络;

所述前端网络包括依次连接的VGG主干网络、多尺度特征融合模块和特征增强模块;

所述VGG主干网络用于对输入的人群图像进行不同尺度的特征提取;

所述多尺度特征融合模块用于将VGG主干网络不同尺度的输出进行自下而上的特征融合,并分别将不同尺度的特征融合结果输入特征增强模块;

所述特征增强模块,包括依次连接的CA注意力模块和卷积层,用于通过CA注意力模块对每个尺度的横向和纵向的位置进行信息编码,并经过卷积操作后输出对应尺度的特征预测图;

所述后端网络用于对对应尺度的特征预测图进行自下而上的特征融合,输出密度图;

所述VGG主干网络包括依次连接的输入层、第一尺度特征提取模块、第二尺度特征提取模块、第三尺度特征提取模块、第四尺度特征提取模块和第五尺度特征提取模块;

所述第一尺度特征提取模块包括2层通道数为64的卷积层和一层池化层;

所述第二尺度特征提取模块包括2层通道数为128的卷积层和一层池化层;

所述第三尺度特征提取模块包括4层通道数为256的卷积层和一层池化层;

所述第四尺度特征提取模块包括4层通道数为512的卷积层和一层池化层;

所述第五尺度特征提取模块包括4层通道数为512的卷积层;

所述多尺度特征融合模块包括依次连接的第一尺度特征融合模块、第二尺度特征融合模块和第三尺度特征融合模块;

所述第一尺度特征融合模块用于将第五尺度特征提取模块的输出依次经过卷积操作和上采样处理后的结果与第三尺度特征提取模块的输出经过卷积操作后的结果拼接,并将拼接结果经过上采样处理后输出至第二尺度特征融合模块和特征增强模块;

所述第二尺度特征融合模块用于将第二尺度特征提取模块的输出经过卷积操作后的结果与第一尺度特征融合模块的输出结果拼接,并将拼接结果经过上采样处理后输出至第三尺度特征融合模块和特征增强模块;

所述第三尺度特征融合模块用于将第一尺度特征提取模块的输出经过卷积操作后的结果与第二尺度特征融合模块的输出结果拼接,并将拼接结果经过上采样处理后输出至特征增强模块;

所述前端网络分别输出第一尺度的特征预测图、第二尺度的特征预测图、第三尺度的特征预测图和第四尺度的特征预测图;

所述后端网络包括依次连接的第一后端融合模块、第二后端融合模块和第三后端融合模块;

所述第一后端融合模块用于将第四尺度的特征预测图经过卷积注意力单元和上采样处理后与第三尺度的特征预测图拼接,并将拼接结果输出至第二后端融合模块;

所述卷积注意力单元包括第一分支单元、第二分支单元和拼接单元,所述第一分支单元包括一个卷积层,所述第二分支单元包括依次连接的卷积层和CBAM注意力模块,所述拼接单元用于将第一分支单元和第二分支单元的拼接结果输出;

所述第二后端融合模块用于将第一后端融合模块的输出结果经过卷积注意力单元和上采样处理后与第二尺度的特征预测图拼接,并将拼接结果输出至第三后端融合模块;

所述第三后端融合模块用于将第二后端融合模块的输出结果经过卷积注意力单元和上采样处理后与第一尺度的特征预测图拼接,并将拼接结果经过卷积操作后输出密度图;

所述多尺度分支预测模型的整体损失函数为:

其中,z、分别代表向量化的实际密度图和预测密度图, 为整体损失函数,λ为权重系数, 为计数损失:为最优传输损失:

W(·)代表预测密度图与实际密度图之间的相似性函数。

2.一种基于多尺度融合与分布匹配的人群计数系统,其使用权利要求1所述的基于多尺度融合与分布匹配的人群计数方法实现,其特征在于,所述系统包括:数据获取模块:用于获取人群图像并进行预处理,建立数据集;

模型建立模块:用于以VGG为主干网络、引入注意力机制和多尺度特征融合模块构建多尺度分支预测模型,并基于数据集对多尺度分支预测模型进行预训练;

模型预测模块:用于将待测人群图像输入预训练的多尺度分支预测模型,生成密度图并进行人群计数。

3.一种电子设备,其特征在于,包括:至少一个处理器、至少一个存储器、通信接口和总线;

其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;

所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如权利要求1所述的方法。

4.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令使计算机实现如权利要求1所述的方法。