1.一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,针对人群图像,执行如下步骤S1‑步骤S8,完成图像中的人群计数:步骤S1:采集人群图像构建数据集,将数据集划分为训练集、验证集、测试集,并对数据集进行预处理,包括将人群图像转换成Numpy文件存储,同时将数据集中的图像随机裁剪为预设尺寸,进入步骤S2;
步骤S2:从训练集中选取N对人群图像,每对人群图像包括RGB图像和相应的热成像,RGB图像和热成像分别输入相同的五层编码器进行特征提取,输出RGB图像和热成像的多级特征表示,构成一组两种模态的特征,进入步骤S3;
步骤S3:将步骤S2中提取的一组两种模态的特征分别输入跨策略增强编码网络,得到自适应重新加权后的每层特征,进入步骤S4;
步骤S4:在得到步骤S3的自适应重新加权后的每层特征后,合并第三层、第四层、第五层特征输入跨尺度跨模态解码器模块,经过回归层以生成显著性预测图,进入步骤S5;
步骤S5:将步骤S4中得到的显著性预测图与标签数据中的点列表和空间尺寸的列表密度图采用贝叶斯损失进行计算,通过计算目标计数和预测计数之间的差异,将其累计到损失之中,进入步骤S6;
步骤S6:检查训练集中的训练轮数是否达到设定的轮数,若未达到设定的轮数则返回步骤S2,否则进入步骤S7;
步骤S7:当训练轮数大于30小于设定的训练轮数,且当前训练轮数为5的倍数时进入验证流程和测试流程,如果等于设定的训练轮数则进入步骤S8,否则返回步骤S2;验证流程中根据指标评价当前模型参数,若评价为当前最优模型参数,则进入测试流程,完成测试流程后,进入步骤S8;
步骤S8:输出最优模型参数,结束。
2.根据权利要求1所述的一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,步骤S1的具体步骤如下:步骤S1.1:分别针对数据集的训练集、验证集、测试集,通过其路径获取JSON格式的标注文件列表,输入至步骤S1.2;
步骤S1.2:对每个标注文件,用函数生成图像数据;根据label_path生成RGB图像和对应的热成像的路径,路径包括训练集、验证集、测试集,使用OpenCV读取RGB图像和热成像,同时对RGB图像和热成像进行从BGR到RGB的颜色通道反转,输入至步骤S1.3;
步骤S1.3:分别根据RGB图像和热成像尺寸过滤掉不在图像内的点,通过检查点坐标是否在图像的宽度和高度范围内来实现,将经过处理的RGB图像、热成像和筛选后的点标注输入至步骤S1.4;
步骤S1.4:返回处理后的RGB图像、热成像和筛选后的点标注,同时将数据集对应的JSON文件转换成Numpy文件保存,供后续训练、验证和测试。
3.根据权利要求1所述的一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,步骤S2的具体步骤如下:步骤S2.1:使用已在ImageNet数据集上预训练的ResNet‑34网络构建权重共享编码器,l权重共享编码器的主干由五层编码块构成,编码块表示为X (l∈{1,2,3,4,5}),l为编码块层数;
步骤S2.2:每对RGB图像和热成像分别进入权重共享编码器进行特征提取,RGB图像和热成像经第l层编码块的输出特征定义为 经过五层编码块分别获得RGB图像和热成像的五级特征,构成一组两种模态的特征,进入步骤S3。
4.根据权利要求1所述的一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,步骤S3的具体步骤如下:步骤S3.1:针对步骤S2中提取的一组两种模态的特征使用1*1卷积,将RGB图像特征转换为矩阵表示 其中 为查询、 为键, 为数值,对应的将热成像特征转换为矩阵表示 进入步骤S3.2;
步骤S3.2:采用如下公式对矩阵表示的分辨率进行缩减,然后进入步骤S3.3:其中,r表示缩减率, 表示r具有的核大小和步长的下采样卷积层以及第l层中的批处理归一化;
l
步骤S3.3:针对步骤S3.2所获得的 进行交叉协作操作,对于Q进行转置后输入l lsoftmax函数,与K 的转置和V依次相乘得到RGB图像和热成像交叉协作特征,公式如下,然后进入步骤S3.4:其中, 和 分别是RGB图像和热成像的交叉协作特征,softmax()是softmax函数;
其中,γ和δ是可学习因子,初始值设置为1, 和 分别是RGB图像和热成像的交叉协作特征,与 和 通过剩余连接促进网络训练;
步骤S3.4:得到交叉协作特征后,分别计算RGB图像和热成像特征响应的重要性 和公式如下,然后进入步骤S3.5;
其中,H、W分别为图像的高和宽,(u,v)是位置坐标, 表示跨空间维度的第c通道的统计值,代表特征响应的重要性;
步骤S3.5:分别针对步骤S3.4中所获得RGB图像和热成像的特征响应的重要性,通过可学习增强层进行相互增强,可学习增强层通过全连接层、RELU激活函数和串联操作,得到每个通道对RGB图像和热成像的重要性 和 公式如下,然后进入步骤S3.6;
其中,FC、RELU和C分别指全连接层、ReLU激活函数和串联操作;
步骤S3.6:将步骤S3.5中得到的每个通道对RGB图像和热成像的重要性重新加权,同时利用剩余连接与原模态特征相加,得到增强后的特征被传递到编码器的下一层。
5.根据权利要求1所述的一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,步骤S4的具体步骤如下:步骤S4.1:分别将步骤S3中得到的后三层输出的RGB图像和热成像特征进行3*3卷积,
3 4 5
将它们的通道均匀转换为32,得到第三层特征D、第四层D、第五层特征D,进入步骤S4.2;
3 4 5
步骤S4.2:将得到的D 、D、D,采用不同扩张率的深度可分离卷积来捕获层内多尺度信i息,同时跳过连接至原模态信息,对其进行张量相加得到D,进入步骤S4.3;
采用不同扩张率的深度可分离卷积计算过程如下式:
其中,DWi表示扩张速率为i的3×3深度可分卷积,公式中i分别取1、2和3,表示扩张卷积层数;
步骤S4.3:将步骤S4.2得到的RGB图像和热成像后三层感受野扩大后的特征信息,进行跨级别聚合,通过上采样、卷积和串联操作,最后将RGB图像和热成像聚合为显著性预测图D;
跨级别聚合的计算过程如下式:
其中,C表示串联操作,Ui表示具有上采样因子i的上采样操作,Conv是具有ReLU激活函数的3×3卷积层,DR和DT分别为RGB图像和热成像的显著性预测图。
6.根据权利要求1所述的一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,步骤S5中贝叶斯损失的具体表达如下式:其中N为样本函数,cn为第n个样本的模型预测值,E[cn]为对模型预测值的期望,DF用于度量1‑E[cn]与实际目标之间的差异的损失函数。
7.根据权利要求1所述的一种交叉协作融合的轻量化跨模态人群计数方法,其特征在于,步骤S7中评价当前模型参数的指标为平均绝对误差和均方误差,若平均绝对误差和均方误差低于预设值,则评价为当前最优模型参数。
8.一种电子设备,其特征在于,包括存储装置、一个或多个处理器、存储装置用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑7中任一项所述的一种交叉协作融合的轻量化跨模态人群计数方法。
9.一种计算机可读存储介质,其内部存储计算机程序,其特征在于,计算机程序被处理器执行时实现如权利要求1‑7中任一项所述的一种交叉协作融合的轻量化跨模态人群计数方法。