1.基于双路多尺度融合网络的人群计数方法,其特征在于,包括:
S1、获取人群图像数据集并进行预处理,将预处理后的数据集划分成训练集、验证集和测试集;利用标注图获得真实人群密度图;
S2、构建双路多尺度融合网络,该网络包括特征提取网络、自注意力特征增强模块、空间注意力多尺度特征融合模块、残差注意力特征融合模块和密度图生成模块;
特征提取网络包括VGG‑16网络的前13个卷积层和前4个池化层,特征提取网络的第10个卷积层和第13个卷积层的输出传输到自注意力特征增强模块中,第7个卷积层、第10个卷积层和第13个卷积层的输出传输到空间注意力多尺度特征融合模块中,自注意力特征增强模块和空间注意力多尺度特征融合模块的输出传输到残差注意力特征融合模块中,残差注意力特征融合模块的输出传输到密度图生成模块中;
其中,自注意力特征增强模块包括浅层特征自注意力分支和深浅层特征融合分支,空间注意力多尺度特征融合模块包括浅层空间注意力分支和深层特征融合分支,残差注意力特征融合模块包括自注意力特征增强分支和残差注意力特征融合分支,密度图生成模块包括依次连接的三个3×3卷积和一个1×1卷积;
具体内容为:
S201、将预处理后的人群图像输入到VGG‑16网络的前13个卷积层和前4个池化层中进行特征提取,得到第7个卷积层输出的第一特征图F1、第10个卷积层输出的第二特征图F2和第13个卷积层输出的第三特征图F3;
S202、将步骤S201中得到的F2和F3依次输入到自注意力特征增强模块中,输出第四特征图S;将步骤S201中得到的特征图F1、F3和F2依次输入到空间注意力多尺度特征融合模块中,输出第五特征图M;具体内容为:将第二特征图F2输入自注意力特征增强模块后,经过浅层特征自注意力分支,使用3×
3卷积降低第二特征图F2的通道数,得到第七特征图T1,将T1分别通过三个1×1卷积生成特征图Q、K、V,将特征图Q进行转置后与特征图K做点乘,通过Softmax函数激活后得到注意力权重,将注意力权重与特征图V做点乘,再通过一个1×1卷积,得到第八特征图T2,将T1与T2相加,得到自注意力特征图;
将第三特征图F3输入自注意力特征增强模块后,经过深浅层特征融合分支,对第三特征图F3进行上采样后与第二特征图F2进行串联拼接,再通过一个1×1卷积,得到第九特征图T3,将T3与自注意力特征图进行点乘,得到第四特征图S;
将第一特征图F1输入空间注意力多尺度特征融合模块后,经过浅层空间注意力分支,将F1分别进行平均池化和最大池化,得到第十特征图T4和第十一特征图T5,将T4和T5相加后,经过一个7×7卷积,再使用Sigmoid函数进行激活,得到空间注意力权重,将F1与空间注意力权重进行点乘,再进行下采样,得到第十二特征图T6;
将第二特征图F2和第三特征图F3输入空间注意力多尺度特征融合模块后,经过深层特征融合分支,对F3进行上采样后与F2进行串联拼接,再通过一个1×1卷积,获得第十三特征图T7;将T6与T7进行串联拼接,再经过一个1×1卷积,得到第五特征图M;
S203、将步骤S202中得到的S和M依次输入到残差注意力特征融合模块中,输出第六特征图R;具体内容为:将第四特征图S输入残差注意力特征融合模块后,经过自注意力特征增强分支,使用全局平均池化捕获S的上下文信息,上下文信息经过一个1×1卷积和一个归一化层,得到第十四特征图T8,将T8用Sigmoid函数激活,得到权重,将权重与S相乘,得到第十五特征图T9;
将第五特征图M输入残差注意力特征融合模块后,经过残差注意力特征融合分支,将M与T9进行串联拼接,再通过一个3×3卷积,得到第十六特征图T10,将T10依次经过全局平均池化、1×1卷积、Relu激活、1×1卷积和Sigmoid函数激活得到融合后的通道注意力权重,将该权重与T10进行点乘,再与T10相加,得到第六特征图R;
S204、将步骤S203中得到的R输入到密度图生成模块中,得到与输入图像相同尺寸的预测人群密度图;具体内容为:第六特征图R输入到密度图生成模块中,依次通过三个3×3卷积减少R的通道数,再使用通道数为1的1×1卷积生成预测的人群密度图;
S3、利用步骤S1中的训练集和验证集对双路多尺度融合网络进行训练,获得训练后的双路多尺度融合网络;
S4、将步骤S1中的测试集输入到训练后的双路多尺度融合网络,得到人群图像计数结果。
2.根据权利要求1所述的基于双路多尺度融合网络的人群计数方法,其特征在于,步骤S1中,图像处理包括以下步骤:S101、从开源数据集网站下载或自制人群图像数据集,对该数据集中的图像人群图像及其标注图进行缩放;
S102、将缩放后的人群图像及其标注图按设定比例划分为训练集、验证集及测试集;
S103、采用高斯核函数对标注图生成真实人群密度图。
3.根据权利要求1所述的基于双路多尺度融合网络的人群计数方法,其特征在于,步骤S3中,获得训练后的双路多尺度融合网络包括以下步骤:S301、设定训练初始参数,包括初始学习率、优化器、权重衰减、批大小和训练轮数;
S302、采用SmoothL1损失、L2损失和总变异损失LTV组合的损失函数计算损失,具体公式为:其中,L表示组合的损失函数;N表示训练集中人群图像的总数量;yi表示双路多尺度融合网络输出的第i张人群图像的预测密度图和真实密度图的人群数量之差;λ表示损失权重; xi表示第i张图像,η表示网络权重,D表示双路多尺度融合网络输出的预测人群密度图,Dgt表示真实人群密度图;
根据组合的损失函数计算梯度,使用Adam优化器更新网络模型参数;
S303、使用平均绝对误差、均方误差和验证集对更新后的双路多尺度融合网络进行评估,平均绝对误差和均方误差的具体公式为:其中,MAE表示平均绝对误差,MSE表示均方误差,Ci表示预测计数, 表示真实计数;
S304、重复步骤S302‑S303,直至达到预设的训练轮数,获得训练后的双路多尺度融合网络。
4.根据权利要求1所述的基于双路多尺度融合网络的人群计数方法,其特征在于,步骤S4中,得到人群图像计数结果包括以下步骤:S401、将步骤S1中得到的测试集输入到训练后的双路多尺度融合网络中,得到预测的人群密度图,对该人群密度图进行积分运算得到预测的人群数量;
S402、基于测试集中人群图像的真实人群数量和预测的人群数量,计算平均绝对误差和均方误差的评分,保存评分结果和预测的人群数量。
5.应用于权利要求1所述的基于双路多尺度融合网络的人群计数方法的系统,其特征在于,包括:图像预处理模块,用于获取人群图像数据集并进行预处理,将预处理后的数据集划分成训练集、验证集和测试集;利用标注图获得人群密度图;
双路多尺度融合网络构建模块,利用Python程序设计语言和深度学习工具包,构建双路多尺度融合网络,该网络包括特征提取网络、自注意力特征增强模块、空间注意力多尺度特征融合模块、残差注意力特征融合模块和密度图生成模块;
网络训练模块,用于利用图像预处理模块中的训练集和验证集对双路多尺度融合网络进行训练,获得训练后的双路多尺度融合网络;
结果获得模块,用于将图像预处理模块中的测试集输入到训练后的双路多尺度融合网络,得到人群图像计数结果。