1.计数图辅助的跨模态人流监控方法，包括如下步骤：

步骤1，生成计数图；

计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：

11)训练深度强化模型；选取RGBT‑CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{‑10，‑5，‑2，‑

1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小；

12)生成计数图；将训练好的LibraNet模型固定，输入RGBT‑CC数据集中所有的热成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的数量信息；

13)计数图优化；因为生成的计数图的长、宽只有原来的 其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行

2*n

上采样，并在每个像素位置除以2 ，以使总的计数值不变并且图像大小与原图一致；

步骤2，基于跨模态的网络模型进行人群计数；

设计跨模态网络模型，该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入作为三个模态的RGB、热成像图和计数图；输出分支为共享分支，它初始化为0，接收并细化三个模态的信息，它的输出为密度图；除了共享分支外，其余分支均由VGG‑

19构成；由于VGG‑19可分为5层模块，除了最后一层模块，每层模块最后都配备一个2×2的池化层，故三个输入分支均可分为5层模块；共享分支由去除前两层的VGG‑19构成，可分为4层模块；设计好模型之后，用RGBT‑CC数据集进行训练；训练好模型之后，基于该模型进行人群计数；具体包括：

21)生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化l‑1 l‑1层来提取上下文信息I；具体地，对于第l层，l＝1,2，...，L，采用一个2 ×2 最大池化层，以h×w特征图F为输入，输出一个 特征，然后用最近邻插值方法上采样到h×w，形l成上下文特征F；最后，上下文信息I可由式(1)计算：

式中 表示特征串联操作，Conv1×1表示一个1×1卷积层；

22)细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式(1)转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；

具体公式如下：

Ir2s＝Ir‑Is，ωr2s＝Conv1×1(Ir2s)，

It2s＝It‑Is，ωt2s＝Conv1×1(It2s)，    (2)

Ic2s＝Ic‑Is，ωc2s＝Conv1×1(Ic2s)，

式中Ir、It、Ic、Is是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图Fr、Ft、Fc、Fs通过公式(1)计算得出的上下文信息， 为细化的共享分支特征图，Ir2s、It2s、Ic2s分别是Ir、It、Ic对Is的残差信息，ωr2s、ωt2s、ωc2s是由1×1卷积层输入对应的上下文信息Ir2s、It2s、Ic2s获得的权重参数，⊙是元素级乘法运算；

23)细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图 通过公式(1)生成上下文特征 再以 为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下：式中Is2r、Is2t、Is2c分别是细化的共享分支上下文信息 对RGB分支、热成像分支、计数图分支每层模块的上下文信息Ir、It、Ic的残差信息，ωs2r、ωs2t、ωs2c是由1×1卷积层输入对应的上下文信息Is2r、Is2t、Is2c获得的权重参数，Fr、Ft、Fc分别是RGB分支、热成像分支、计数图分支每层模块生成的特征图， 分别是对RGB分支、热成像分支、计数图分支每层模块生成的特征图细化后的特征图；

24)数据预处理；先计算出RGBT‑CC数据集中RGB图、热成像图的均值和方差值，将其归一化；训练时采取随即采样法，采样256×256大小的区块；

25)网络训练；设置好数据集的路径后，进行训练；训练时仅训练跨模态的部分，对计数图生成模块固定；训练到20周期后，每过1次训练周期进行一次验证，当验证效果最佳时，记录该模型参数，并进行一次测试，得出测试集的评估结果；每训练一个周期都会记录模型参数、优化器参数、训练周期；

26)人群计数；该网络模型训练好后，进行人群计数；人群计数需要用到RGB图和热成像图，通过热成像图和LibraNet模型生成计数图；以RGB图、热成像图、计数图为输入，输出密度图；密度图作为一种二维数组，能反应计数结果；将密度图里的值进行求和，就能得到作为输入的RGB图像的总人数。

2.计数图辅助的跨模态人流监控系统，其特征在于：计数图生成模块、人群计数模块，其中：计数图生成模块，计数图是对密度图一定区域的积分，能反应出图像的尺度变化；计数图生成方法采用基于深度强化学习的模型LibraNet，该模型LibraNet以VGG16卷积神经网络为前端，以深度强化学习网络为后端，输出计数图；具体包括：

11)训练深度强化模型；选取RGBT‑CC数据集为训练用的数据集，该数据集分为训练集、测试集、验证集，每个集合均有RGB、热成像图、标注数据，标注数据显示了热成像图中每个人的头部中心的像素位置；将训练集的热成像图和标注数据作为训练数据，将该测试集的热成像图和标注数据作为测试数据，以此来训练深度强化模型LibraNet；以{‑10，‑5，‑2，‑

1，1，2，5，10，999}为动作集，其中999为终止动作，剩余的动作表示像素区域中计数值的变化大小；

12)生成计数图；将训练好的LibraNet模型固定，输入RGBT‑CC数据集中所有的热成像图来生成计数图；计数图中的每个值能反应对应热成像图像素区域的数量信息；

13)计数图优化；因为生成的计数图的长、宽只有原来的 其中n表示作为LibraNet前端的VGG16的池化层数量，需要进行上采样来使大小与原图一致；采用最近邻插值方式进行

2*n

上采样，并在每个像素位置除以2 ，以使总的计数值不变并且图像大小与原图一致；

人群计数模块，该模块通过训练好的跨模态网络模型，输入RGB、热成像图和计数图作为三个模态，输出密度图；该模型有四个分支，分为三个输入分支和一个输出分支，三个输入分支分别输入RGB、热成像图和计数图；输出分支为共享分支，它初始化为0，接收并细化三个模态的信息，它的输出为密度图；除了共享分支外，其余分支均由VGG‑19构成；由于VGG‑19可分为5层模块，除了最后一层，每层模块最后都配备一个2×2的池化层，故三个输入分支均可分为5层模块；共享分支由去除前两层的VGG‑19构成，可分为4层模块；通过RGBT‑CC数据集进行训练；训练好模型之后，基于该模型进行人群计数；具体包括：

21)生成上下文信息I；将网络中每个分支每层模块生成的特征图F，用L级金字塔池化l‑1 l‑1层来提取上下文信息I；具体地，对于第l层，l＝1,2，...，L，采用一个2 ×2 最大池化层，以h×w特征图F为输入，输出一个 特征，然后用最近邻插值方法上采样到h×w，形l成上下文特征F；最后，上下文信息I可由式(1)计算：

式中 表示特征串联操作，Conv1×1表示一个1×1卷积层；

22)细化共享分支特征图；RGB分支、热成像分支、计数图分支和共享分支的每层模块生成的特征图通过公式(1)转化为上下文信息，并将该上下文信息作为输入，输出细化的共享分支的特征图；

具体公式如下：

式中Ir、It、Ic、Is是RGB分支、热成像分支、计数图分支、共享分支每层模块生成的特征图Fr、Ft、Fc、Fs通过公式(1)计算得出的上下文信息， 为细化的共享分支特征图，Ir2s、It2s、Ic2s分别是Ir、It、Ic对Is的残差信息，ωr2s、ωt2s、ωc2s是由1×1卷积层输入对应的上下文信息Ir2s、It2s、Ic2s获得的权重参数，⊙是元素级乘法运算；

23)细化RGB分支、热成像分支和计数图分支的特征图；将细化的共享分支特征图 通过公式(1)生成上下文特征 再以 为核心，对的RGB分支、热成像分支、计数图分支每层模块生成的特征图进行细化；具体公式如下：式中Is2r、Is2t、Is2c分别是细化的共享分支上下文信息 对RGB分支、热成像分支、计数图分支每层模块的上下文信息Ir、It、Ic的残差信息，ωs2r、ωs2t、ωs2c是由1×1卷积层输入对应的上下文信息Is2r、Is2t、Is2c获得的权重参数，Fr、Ft、Fc分别是RGB分支、热成像分支、计数图分支每层模块生成的特征图， 分别是对RGB分支、热成像分支、计数图分支每层模块生成的特征图细化后的特征图；

24)数据预处理；先计算出RGBT‑CC数据集中RGB图、热成像图的均值和方差值，将其归一化；训练时采取随即采样法，采样256×256大小的区块；

25)网络训练；设置好数据集的路径后，进行训练；训练时仅训练跨模态的部分，对计数图生成模块固定；训练到20周期后，每过1次训练周期进行一次验证，当验证效果最佳时，记录该模型参数，并进行一次测试，得出测试集的评估结果；每训练一个周期都会记录模型参数、优化器参数、训练周期；

26)人群计数；该网络模型训练好后，进行人群计数；人群计数需要用到RGB图和热成像图，通过热成像图和LibraNet模型生成计数图；以RGB图、热成像图、计数图为输入，输出密度图；密度图作为一种二维数组，能反应计数结果；将密度图里的值进行求和，就能得到作为输入的RGB图像的总人数。