利索能及
我要发布
收藏
专利号: 2024100999353
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图像自适应恢复的雾天场景人群计数系统,包括用于获取待计数雾天场景图像的获取图像模块,其特征在于:获取图像模块之后设置有依次相连的图像自适应恢复模块、双分支特征引导模块、频域注意融合模块、人群密度图回归模块和用于对人群密度图的像素值进行求和的人群计数模块;系统各模块具体组成结构如下:图像自适应恢复模块:包括去雾子模块和像素增强子模块,其中去雾子模块包括四个卷积层和元素乘法、元素减法及元素加法操作,其中第一卷积层卷积核的尺寸为1×1、第二卷积层卷积核的尺寸3×3、第三卷积层卷积核的尺寸5×5、第四卷积层卷积核的尺寸7×7;

像素增强子模块包括参数学习单元、全局特征调整单元和图像调整单元,其中参数学习单元包括三个卷积层、一个平均池化层,第一卷积层的卷积核尺寸为7×7,第二、第三卷积层卷积核尺寸均为3×3;全局特征调整单元中包含一个全连接层;图像调整单元包括用于提取图像的基础特征的主干网络,主干网络为三个卷积层,卷积核是尺寸均为1×1;

双分支特征引导模块:包括清晰化计数子模块、雾天计数子模块和雾天鲁棒损失项;其中清晰化计数子模块、雾天计数子模块由两个并行VGG‑19网络的前16层和5个最大池化层组成,从输入到输出均依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层和一个池化层,每个卷积层的卷积核尺寸均为3×3,从输入到输出方向各卷积层通道数依次为64、64、128、128、256、256、256、

256、512、512、512、512、512、512、512和512,五个最大池化层步长均为2;雾天鲁棒损失项LHR计算公式为:式中,GAP表示全局平均池化操作;

频域注意融合模块:包括二维离散余弦变换层、平均池化层、两个全连接层、ReLU层和Sigmoid层;

人群密度图回归模块:包括三个卷积层,第一卷积层卷积核尺寸为3×3,第二卷积层卷积核尺寸为3×3,第三卷积层卷积核尺寸为1×1,卷积层的通道数由输入至输出方向依次为256、128和1;所述计数系统使用前利用若干张雾天场景图像和真实人群密度图对建立的计数系统进行训练,训练过程中使用贝叶斯损失作为真实人群密度图和生成的人群密度图的人群计数损失项,并结合使用雾天鲁棒损失项LHR,形成总损失函数为Lwhole,使Lwhole损失最小为优化训练目的进行训练;具体人群计数损失项表示为:est

式中,Γ(·)是距离函数,E[cn]表示第n个人的计数期望,D 表示估计的密度图,p(yn|2

xm)表示每个像素出现人的后验概率,N(xm;zn,σ12×2)表示在xm处评估的二维高斯分布,xm表示每个目标在图像中的位置分布,yn表示目标标签,M表示每个密度图里的像素数量,N表示每张图像训练样本的总人数;

建立基于图像自适应恢复的雾天场景人群计数系统的总损失函数Lwhole表示为:Lwhole=Lc+λLHR

具体地,人群计数损失项Lc用于衡量估计人数和真实人数的误差距离,雾天鲁棒损失项LHR来衡量生成特征和特征之间的分布差异,λ为两损失项的权重系数,通过模型训练确定;

具体训练方法为建立一种基于图像自适应恢复的雾天场景人群计数系统,所建立系统中双分支特征引导模块的参数由两个并行的预训练VGG‑19前十六层卷积层初始化,其他模块参数随机设定一个初始值,在每次使用计数系统得到图像样本的生成人群密度图之后,根据总损失函数Lwhole对比真实人群密度图和生成人群密度图确定计数系统的每一次迭代误差,将计数系统每一次的误差反向传播,调整所述人群计数系统的参数,对所述一种基于图像自适应恢复的恢复雾天图像人群计数系统进行优化;采用Adam优化算法在每一次优化迭代中更新参数,直到损失函数收敛到一个较小的值,保存参数及训练后的计数系统。

2.一种基于图像自适应恢复的雾天场景人群计数方法,其特征在于:应用于权利要求1所述的计数系统,具体步骤如下:步骤1:获取待处理的雾天场景人群图像;

步骤2:将待处理的雾天场景人群图像输入到图像自适应恢复模块进行清晰化恢复,得到清晰化图像;

步骤3:将待处理的雾天场景人群图像和清晰化图像输入到双分支特征引导模块进行初始特征提取,得到雾天场景初始特征和清晰化初始特征;

步骤4:将雾天场景初始特征和清晰化初始特征输入到频域注意融合模块进行融合得到高级语义特征;

步骤5:将高级语义特征输入到密度图回归模块进行密度图回归,得到人群密度图;

步骤6:将人群密度图的像素值进行求和,得到人群计数结果。

3.根据权利要求2所述的一种基于图像自适应恢复的雾天场景人群计数方法,其特征在于:步骤2具体步骤如下:步骤2.1:将雾天场景图像输入到去雾子模块中,输入到第一卷积层中得到特征图f1;

步骤2.2:将f1输入到第二卷积层中进行特征提取,得到特征图f2;

步骤2.3:将f1和f2进行通道链接得到特征图f3;

步骤2.4:将f3输入到第三卷积层中得到特征图f4;

步骤2.5:将f3和f4进行通道链接得到特征图f5;

步骤2.6:将f5输入到第四卷积层中得到特征图f6;

步骤2.7:将f1、f2、f4和f5进行通道链接得到估计的特征图θ;

步骤2.8:将估计的特征图θ以及雾天场景图像作为输入,进行元素乘法、元素减法和元素加法操作,从而得到去雾后的图像,具体为J(x)=θI(x)‑θ+b,其中J(x)是去雾后的图像,I(x)为雾天场景图像,b是常数默认值为1;

步骤2.9:将步骤2.8得到的去雾后的图像输入到像素增强子模块中,输入到参数学习单元中得到雾天气固有属性向量;

步骤2.10:利用全局特征调整单元对雾天气固有属性向量进行缩放和移动操作,得到参数学习结果;

步骤2.11:将参数学习结果输入到图像调整单元中得到清晰化图像。

4.根据权利要求2所述的一种基于图像自适应恢复的雾天场景人群计数方法,其特征在于:步骤3具体步骤如下:步骤3.1:将清晰化图像输入到双分支特征引导模块中,输入到清晰化计数子模块中得到清晰化初始特征fc;

步骤3.2:将步骤1获取的雾天场景人群图像输入到双分支特征引导模块中,输入到雾天计数子模块中得到雾天场景初始特征fh;

步骤3.3:将得到的清晰化初始特征fc与雾天场景初始特征fh输入到雾天鲁棒损失项中来衡量两特征fc和特征fh之间的分布差异。

5.根据权利要求2所述的一种基于图像自适应恢复的雾天场景人群计数方法,其特征在于:步骤4具体步骤如下:步骤4.1:将步骤3.1得到的清晰化初始特征fc和步骤3.2得到的雾天场景初始特征fh输入到频域注意融合模块中;

0 1

步骤4.2:将清晰化初始特征fc在通道维度上平均分割出n个部分,表示为fc,fc ,…,n‑1fc ,在这里 i∈{0,1,…,n‑1},H是fc的高,W是fc的宽,每个部分的通道为另外C必须被n整除;

i

步骤4.3:对于每个fc,使用二维离散余弦变换层生成频域分量i i

步骤4.4:将 与fc进行元素乘法得到FFreq;

i

步骤4.5:对所有F Freq进行拼接,然后经过两个全连接层、ReLU层和Sigmoid层得到权重Fatt‑weight;

步骤4.6:将权重Fatt‑weight与雾天场景初始特征fh进行元素乘法得到高级语义特征。