1.一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:建立雾先验频域注意表征引导的雾天图像人群计数模型,将待估计人数的雾天场景图像输入雾天图像人群计数模型进行人群计数;具体操作包括如下步骤:S1、将雾天场景图像输入到C1块中,得到第一初始特征图;所述C1块包括八层卷积层和三层池化层;
S2、将所述的第一初始特征图输入第一雾先验引导表征学习过程,得到第一中间特征图和第一雾天信息图;
所述S2的具体操作如下:
所述第一雾先验引导表征学习过程包括C2块、第一残差细节特征恢复模块和第一雾先验预测模块;
将所述第一初始特征图输入到第一雾先验引导表征学习过程的C2块中,得到第二初始特征图;所述C2块依次包括四层卷积层和一层池化层;
将所述第二初始特征图输入到第一雾先验引导表征学习过程的第一残差细节特征恢复模块中,得到第一特征图;所述第一残差细节特征恢复模块依次包括一层池化层和三层卷积层;
将所述第二初始特征图与第一特征图进行通道连接,进行通道降维操作,得到第一中间特征图;
将所述第一特征图与第一中间特征图进行差分操作,得到第一初始雾天信息特征图;
将所述第一初始雾天信息特征图输入到第一雾先验引导表征学习过程的第一雾先验预测模块中,得到第一雾天信息图,所述第一雾先验预测模块包括一层梯度反转层和四层卷积层;
将得到的第一雾天信息图与真实雾先验特征图进行第一雾先验损失lhaze‑1计算;
S3、将所述的第一中间特征图输入到第二雾先验引导表征学习过程,得到高级语义特征图和第二雾天信息图;
所述S3的具体操作为:
所述第二雾先验引导表征学习过程包括C3块、频域嵌入注意模块、第二残差细节特征恢复模块和第二雾先验预测模块;
将所述第一中间特征图输入到第二雾先验引导表征学习过程的C3块中,得到第三初始特征图;所述C3块依次包括四层卷积层和一层池化层;
将所述第一中间特征图输入到第二雾先验引导表征学习过程的第二残差细节特征恢复模块中,得到第二特征图,所述第二残差细节特征恢复模块包括一层池化层和三层卷积层;
将所述第三初始特征图与第二特征图在通道维度上相加,进行通道降维操作,得到第二中间特征图;
将所述第二中间特征图输入到频域嵌入注意模块,所述的频域嵌入注意模块包括:频域注意力聚合块、空间‑像素注意力聚合块和通道注意力聚合块;
将所述第二中间特征图输入到频域嵌入注意模块的频域注意力聚合块中,得到频域注意特征图;所述频域注意力聚合块包括离散小波变换、上采样、一层卷积核为1×1的卷积层和Sigmoid函数;
将所述第二中间特征图输入到频域嵌入注意模块的空间‑像素注意力聚合块中,得到空间‑像素注意特征图,所述空间‑像素注意力聚合块包括空间注意力部分和像素注意力部分;
将所述频域注意特征图和空间‑像素注意特征图在通道维度上相加,进行通道降维操作,得到频域‑空间‑像素注意特征图;
将所述频域‑空间‑像素注意特征图输入到频域嵌入注意模块的通道注意力聚合块中,得到高级语义特征图,所述通道注意力聚合块包括并列池化部分、两个全连接层和Sigmoid函数;
将所述第二特征图和高级语义特征图进行差分操作,得到第二初始雾天信息特征图;
将所述第二初始雾天信息特征图输入到第二雾先验引导表征学习过程的第二雾先验预测模块中,得到第二雾天信息图;所述第二雾先验预测模块包括一层梯度反转层和四层卷积层;
将所述得到的第二雾天信息图与真实雾先验特征图进行第二雾先验损失lhaze‑2计算;
S4、将所述的高级语义特征图输入密度图回归模块,进行密度图回归,得到估计人群密度图;所述密度图回归模块依次为三层卷积层;
S5、将所述的估计人群密度图的像素值求和,得到估计人群计数结果;
在人群计数前,利用若干张雾天场景图像和真实人群密度图对雾先验频域注意表征引导的雾天图像人群计数模型进行训练,使得雾先验频域注意表征引导的雾天图像人群计数模型的总损失函数L损失最小,即训练完成。
2.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述C1块从输入依次为:两层卷积层、一层池化层、两层卷积层、一层池化层、四层卷积层和一层池化层,每层卷积层的卷积核尺寸均为3×3,从输入到输出方向各卷积层依次生成通道数为64、64、128、128、256、256、256和256的特征图,各所述池化层是步长为2的最大池化层。
3.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述步骤2中:所述C2块从输入到输出方向各卷积层依次生成通道数为512、512、512和512的特征图,每层卷积层的卷积核尺寸为3×3,池化层为步长为2的最大池化层;
所述第一残差细节特征恢复模块中池化层是步长为2的最大池化层,每层卷积层的卷积核尺寸均为3×3,从输入到输出方向各卷积层依次生成通道数为512、512和512的特征图,将第二初始特征图输入池化层得到第一池化特征图,将第一池化特征图输入到三层卷积层中,得到第一卷积特征图,将第一池化特征图和第一卷积特征图进行对应像素位置相加操作,得到第一特征图;
第一中间特征图得到过程中的通道降维操作具体为使用卷积核尺寸为1×1的二维卷积进行通道降维操作,将通道数从1024降维到512;
所述的差分操作为第一特征图与第一中间特征图进行对应像素位置相减操作,具体为第一特征图减去第一中间特征图,得到第一初始雾天信息特征图;
所述第一雾先验预测模块中梯度反转层的权重是‑0.1,从输入到输出方向各卷积层依次生成通道数为512、256和64的特征图,其中卷积层的卷积核尺寸均为3×3,最后经过卷积核为1×1的卷积操作,将通道数从512降维到1,得到第一雾天信息图。
4.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述步骤S2中第一雾先验损失lhaze‑1计算公式为:式中,xi为第i个样本,N为雾天人群图像训练样本数量,H1(·)是第一雾先验预测模块,R1(·)是第一残差细节特征恢复模块,F1(·)是C1块,f1是第一中间特征图,σ(xi)为第i个样本的真实雾先验特征图。
5.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述S3中:所述C3块从输入到输出方向各卷积层依次生成通道数为512、512、512和512的特征图,每层卷积层的卷积核尺寸为3×3,池化层为步长为2的最大池化层;
所述第二残差细节特征恢复模块中,池化层是步长为2的最大池化层,每层卷积层的卷积核尺寸均为3×3,从输入到输出方向各卷积层依次生成通道数为512、512和512的特征图,将第一中间特征图输入池化层得到第二池化特征图,将第二池化特征图输入到三层卷积层中,得到第二卷积特征图,将第二池化特征图和第二卷积特征图进行对应像素位置相加操作,得到第二特征图;
第二中间特征图得到过程中使用卷积核为1×1的二维卷积进行通道降维操作,将通道数从1024降维到512;
所述频域注意力聚合块经过离散小波变换,将第二中间特征图在频域上分解为低频分量、水平高频分量、垂直高频分量和对角高频分量,分量的通道数均为512,水平高频分量、垂直高频分量和对角高频分量进行通道连接,并使用卷积核尺寸为1×1的二维卷积进行通道降维操作,将通道数从1536降维到512,接着进行上采样,将降维后的特征图的长和宽都扩大为原来的两倍,然后进行一层卷积核为1×1的卷积操作和Sigmoid操作,得到通道数为
512的频域注意特征图;
所述的空间注意力部分包括并列池化层结构、一层卷积层和Sigmoid函数,并列池化层结构包括一层最大池化层和一层平均池化层,将尺寸为C×h×w的第二中间特征图分别输入到并列池化层结构的最大池化层和平均池化层,得到尺寸为1×h×w的空间最大池化特征图和尺寸为1×h×w的空间平均池化特征图,将这两个特征图进行拼接得到尺寸为2×h×w的特征图,然后经过卷积核为1×1的卷积层和Sigmoid函数得到通道数为512的空间注意加权特征图,将第二中间特征图和空间注意加权特征图进行逐元素相乘,得到空间注意特征图,将空间注意特征图输入到像素注意力部分,像素注意力部分依次为一层卷积核为3×3的卷积层、Sigmoid函数和一层卷积核为3×3的卷积层,得到通道数为512的像素注意加权特征图,然后将像素注意加权特征图与空间注意特征图进行逐元素相乘,得到通道数为
512的空间‑像素注意特征图;
频域‑空间‑像素注意特征图得到过程中使用卷积核尺寸为1×1的二维卷积进行通道降维操作,将通道数从1024降维到512;
所述通道注意力聚合块中并列池化部分为一层最大池化层和一层平均池化层,将频域‑空间‑像素注意特征图分别输入到并列池化部分的最大池化层和平均池化层进行池化操作,得到C×1×1的通道最大池化结果和C×1×1的通道平均池化结果,将通道最大池化结果和通道平均池化结果进行对应位置元素相加,然后输入到全连接层和Sigmoid函数中,第一个全连接层的神经元个数为32,第二个全连接层的神经元个数为512,得到通道数为
512的通道注意加权特征图,将通道注意加权特征图和频域‑空间‑像素注意特征图进行逐元素相乘,得到通道数为512的高级语义特征图;
所述的差分操作为第二特征图和高级语义特征图进行对应像素位置相减操作,具体为第二特征图减去高级语义特征图,得到第二初始雾天信息特征图;
所述第二雾先验预测模块中梯度反转层的权重是‑0.1,从输入到输出方向各卷积层依次生成通道数为512、256和64的特征图,卷积层的卷积核尺寸均为3×3,最后经过卷积核为
1×1的卷积操作,得到通道数为1的第二雾天信息图。
6.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述第二雾先验损失lhaze‑2计算公式为:式中,xi为第i个样本,H2(·)是第二雾先验预测模块,R2(·)是第二残差细节特征恢复模块,F2(·)是C2块,F3(·)是C3块,Ffh(·)是频域嵌入注意模块,σ(xi)为第i个样本的真实雾先验特征图。
7.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述密度图回归模块中前两个卷积层的卷积核尺寸为3×3,最后一层卷积核尺寸为1×1,各所述卷积层的通道数由输入至输出方向依次为256、128和1,输出特征图即为估计人群密度图。
8.根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法,其特征在于:所述总损失函数L表示为:L=lc+0.0001×lhaze‑1+0.005×lhaze‑2;
其中,lhaze‑1为第一雾先验损失;
lhaze‑2为第二雾先验损失;
lc为人群计数损失,即将估计人群密度图和真实人群数量标签做人群计数损失计算,表示为:est
式中,Γ(·)是l1距离函数,E[Cn]表示第n个人的计数期望,D 表示估计的密度图,p2
(yn|xm)表示每个像素出现人的后验概率,N(xm;zn,σ12×2)表示在xm处评估的二维高斯分布,xm表示每个目标在图像中的位置分布,yn表示目标标签,M表示每个密度图里的像素数量,N表示每张图像训练样本的总人数。