1.一种基于跨模态间尺度注意聚合特征的计数系统,其特征在于包括:获取模块、可见光初始特征提取模块、红外热初始特征提取模块、可见光尺度通道聚合特征提取模块、红外热尺度通道聚合特征提取模块、跨模态尺度感知特征融合模块、人群密度图回归模块和人群计数模块;
获取模块用于获取待计数人群的场景可见光图像和红外热图像;所述可见光初始特征提取模块用于将可见光图像进行可见光模态初始特征提取;所述红外热初始特征提取模块将红外热图像进行红外热模态初始特征提取;所述可见光尺度通道聚合特征提取模块用于将可见光初始特征进行可见光模态尺度通道注意聚合;红外热尺度通道聚合特征提取模块用于将红外热初始特征进行红外热模态尺度通道注意聚合;跨模态尺度感知特征融合模块用于将可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意聚合;人群密度图回归模块将跨模态尺度空间聚合特征进行密度图回归;人群计数模块用于将人群密度图的像素值进行求和;
跨模态尺度感知特征融合模块:包括可见光第一尺度卷积层至可见光第六尺度卷积层等六个尺度卷积层,第一全局平均池化层、可见光空间注意变换卷积层、Sigmoid层、红外热第一尺度卷积层至红外热第六尺度卷积层,六个尺度卷积层、第二全局平均池化层和红外热空间注意变换卷积层;所述可见光第一至第六尺度卷积层,六个卷积层输出通道数均为
512,各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×
13,所述红外热第一至第六尺度卷积层,六个卷积层输出通道数均为512,各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13,所述第一全局平均池化层和第二全局平均池化层均为特征图通道方向的窗口尺寸为1×1的全局平均池化层;
所述可见光空间注意变换卷积层和红外热空间注意变换卷积层均为一个卷积核尺寸为7×
7和输出通道数为1的卷积层;将所述可见光尺度通道聚合特征和红外热尺度通道聚合特征输入跨模态尺度感知特征融合模块进行跨模态间尺度空间注意聚合,将所述可见光尺度通道聚合特征分别输入可见光第一至第六尺度卷积层,分别得到可见光第一至第六尺度特征图;将所述可见光第一尺度特征图、可见光第二尺度特征图、可见光第三尺度特征图、可见光第四尺度特征图、可见光第五尺度特征图和可见光第六尺度特征图进行对应位置像素相加,得到可见光尺度聚合特征图;将可见光尺度聚合特征图依次输入到第一全局平均池化层和可见光空间注意变换卷积层,得到可见光尺度聚合空间注意描述子;
将所述红外热尺度通道聚合特征分别输入红外热第一至第六尺度卷积层,分别得到红外热第一至第六尺度特征图;将所述红外热第一尺度特征图、红外热第二尺度特征图、红外热第三尺度特征图、红外热第四尺度特征图、红外热第五尺度特征图和红外热第六尺度特征图进行对应位置像素相加,得到红外热尺度聚合特征图;将红外热尺度聚合特征图依次输入到第二全局平均池化层和红外热空间注意变换卷积层,得到红外热尺度聚合空间注意描述子;
将所述红外热尺度聚合空间注意描述子和可见光第一至第六尺度特征图进行对应位置像素相乘,得到红外热引导可见光第一至第六尺度空间聚合特征图;将红外热引导可见光第一尺度空间聚合特征图、红外热引导可见光第二尺度空间聚合特征图、红外热引导可见光第三尺度空间聚合特征图、红外热引导可见光第四尺度空间聚合特征图、红外热引导可见光第五尺度空间聚合特征图和红外热引导可见光第六尺度空间聚合特征图进行对应位置像素相加,得到红外热引导可见光跨模态尺度空间聚合特征;
将所述可见光尺度聚合空间注意描述子和红外热第一至第六尺度特征图进行对应位置像素相乘,得到可见光引导红外热第一至第六尺度空间聚合特征图,将可见光引导红外热第一尺度空间聚合特征图、可见光引导红外热第二尺度空间聚合特征图、可见光引导红外热第三尺度空间聚合特征图、可见光引导红外热第四尺度空间聚合特征图、可见光引导红外热第五尺度空间聚合特征图和可见光引导红外热第六尺度空间聚合特征图进行对应位置像素相加,得到可见光引导红外热跨模态尺度空间聚合特征;
将所述红外热引导可见光跨模态尺度空间聚合特征和所述可见光引导红外热跨模态尺度空间聚合特征进行通道链接操作,得到跨模态尺度空间聚合特征。
2.根据权利要求1所述一种基于跨模态间尺度注意聚合特征的计数系统,其特征在于所述各模块具体组成为:
可见光初始特征提取模块:从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层,每个卷积层的卷积核尺寸均为3×3,各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512,各所述池化层均为步长为2的最大池化层;
红外热初始特征提取模块:从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层,每个卷积层的卷积核尺寸均为3×3,各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512,各所述池化层均为步长为2的最大池化层;
可见光尺度通道聚合特征提取模块:包括可见光初始第一尺度卷积层至可见光初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层;六个卷积层输出通道数均为512,各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13,全局平均池化层特征图空间方向的窗口尺寸为1×1;
红外热尺度通道聚合特征提取模块:包括红外热初始第一尺度卷积层至红外热初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层;六个卷积层输出通道数均为512,各所述卷积层卷积核尺寸由第一至第六依次为3×3、5×5、7×7、9×9、11×11和13×13,全局平均池化层特征图空间方向的窗口尺寸为1×1;
人群密度图回归模块:从输入到输出方向依次为三个卷积层,卷积核尺寸均为3×3,生成的特征图通道数依次为256、128和1。
3.一种基于跨模态间尺度注意聚合特征的计数方法,其特征在于基于权利要求2所述一种基于跨模态间尺度注意聚合特征的计数系统,步骤如下:步骤一:获取包括待计数人群的场景可见光图像和红外热图像;
步骤二:将所述可见光图像进行可见光模态初始特征提取,得到可见光初始特征;
步骤三:将所述红外热图像进行红外热模态初始特征提取,得到红外热初始特征;
步骤四:将所述可见光初始特征进行可见光模态尺度通道注意聚合,得到可见光尺度通道聚合特征;
步骤五:将所述红外热初始特征进行红外热模态尺度通道注意聚合,得到红外热尺度通道聚合特征;
步骤六:将所述可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意聚合,得到跨模态尺度空间聚合特征;
步骤七:将所述跨模态尺度空间聚合特征进行密度图回归,得到人群密度图;
步骤八:将所述人群密度图的像素值进行求和,得到人群计数结果。
4.根据权利要求3所述的一种基于跨模态间尺度注意聚合特征的计数方法,其特征在于,所述步骤四具体包括:将所述可见光初始特征输入可见光尺度通道注意聚合特征提取模块进行可见光模态尺度通道注意聚合,将可见光初始特征分别输入可见光初始第一至第六尺度卷积层,分别得到可见光初始第一至第六尺度特征图,将所述可见光初始第一尺度特征图、可见光初始第二尺度特征图、可见光初始第三尺度特征图、可见光初始第四尺度特征图、可见光初始第五尺度特征图和可见光初始第六尺度特征图进行对应位置像素相加,得到可见光初始尺度聚合特征图;
将可见光初始尺度聚合特征图依次输入到所述全局平均池化层、两个全连接层和
Softmax层,得到可见光初始尺度聚合通道注意描述子;将可见光初始尺度聚合通道注意描述子和可见光初始第一至第六尺度特征图进行对应位置像素相乘,得到可见光第一至第六尺度通道聚合特征图;将可见光第一尺度通道聚合特征图、可见光第二尺度通道聚合特征图、可见光第三尺度通道聚合特征图、可见光第四尺度通道聚合特征图、可见光第五尺度通道聚合特征图和可见光第六尺度通道聚合特征图进行对应位置像素相加,得到可见光尺度通道聚合特征。
5.根据权利要求3所述的一种基于跨模态间尺度注意聚合特征的计数方法,其特征在于,所述步骤五具体包括:将所述红外热初始特征输入红外热尺度通道注意聚合特征提取模块进行红外热模态尺度通道注意聚合,将红外热初始特征分别输入红外热初始第一至第六尺度卷积层,分别得到红外热初始第一至第六尺度特征图,将所述红外热初始第一尺度特征图、红外热初始第二尺度特征图、红外热初始第三尺度特征图、红外热初始第四尺度特征图、红外热初始第五尺度特征图和红外热初始第六尺度特征图进行对应位置像素相加,得到红外热初始尺度聚合特征图;
将红外热初始尺度聚合特征图依次输入到所述全局平均池化层、两个全连接层和
Softmax层,得到红外热初始尺度聚合通道注意描述子;将红外热初始尺度聚合通道注意描述子和红外热初始第一至第六尺度特征图进行对应位置像素相乘,得到红外热第一至第六尺度通道聚合特征图;将红外热第一尺度通道聚合特征图、红外热第二尺度通道聚合特征图、红外热第三尺度通道聚合特征图、红外热第四尺度通道聚合特征图、红外热第五尺度通道聚合特征图和红外热第六尺度通道聚合特征图进行对应位置像素相加,得到红外热尺度通道聚合特征。
6.根据权利要求3所述的一种基于跨模态间尺度注意聚合特征的计数方法,其特征在于,所述步骤七具体包括:将所述跨模态尺度空间聚合特征图输入人群密度图回归模块进行密度图回归,得到人群密度图。