1.一种跨模态特征对齐融合的人群计数系统,其特征在于:包括依次相连的初始特征提取层、特征对齐层、频域特征提取层、频域特征融合层和人群密度图估计层,其中特征对齐层包括可见光特征对齐层和热红外特征对齐层,频域特征提取层包括可见光频域特征提取层、跨模态频域特征提取层和热红外频域特征提取层。
2.根据权利要求1所述的一种跨模态特征对齐融合的人群计数系统,其特征在于:各层具体结构如下:初始特征提取层:依次为2个3×3的卷积层、1个最大池化层、2个3×3的卷积层、1个最大池化层、4个3×3的卷积层、1个最大池化层、4个3×3的卷积层、1个最大池化层和4个3×3的卷积层,各卷积层所生成的特征图通道数依次为64、64、128、128、256、256、256、256、512、
512、512、512、512、512、512和512,池化层的步长均为2;
可见光特征对齐层:1个相减操作、1个卷积核尺寸为3×3,输出通道数为18的卷积层、1个卷积核尺寸为3×3,输出通道数为512的卷积层、1个相加操作;
热红外特征对齐层:1个相减操作、1个卷积核尺寸为3×3,输出通道数为18的卷积层、1个卷积核尺寸为3×3,输出通道数为512的卷积层、1个相加操作;
可见光频域特征提取层:小波变换、空间注意力和小波逆变换,其中空间注意力包括1个平均池化操作、1个最大池化操作、1个卷积核尺寸为7×7,输出通道数为1的卷积层和1个Sigmoid激活函数;
跨模态频域特征提取层:1个卷积核尺寸为1×1,输出通道数为512的卷积层、小波变换、空间注意力和小波逆变换,其中空间注意力包括1个平均池化操作、1个最大池化操作、1个卷积核尺寸为7×7,输出通道数为1的卷积层和1个Sigmoid激活函数;
热红外频域特征提取层:小波变换、空间注意力和小波逆变换,其中空间注意力包括1个平均池化操作、1个最大池化操作、1个卷积核尺寸为7×7、输出通道数为1的卷积层和1个Sigmoid激活函数;
频域特征融合层:2个差分操作和1个通道维度连接操作;
人群密度图估计层:1个卷积核尺寸为3×3,输出通道数为256的卷积层、1个卷积核尺寸为3×3,输出通道数为128的卷积层、1个卷积核尺寸为1×1,输出通道数为1的卷积层和2个ReLU层。
3.一种跨模态特征对齐融合的人群计数方法,其特征在于应用于如权利要求1或2所述的计数系统,步骤如下:步骤1:将可见光图像和热红外图像输入初始特征提取层进行初始特征提取,分别得到可见光初始特征图和热红外初始特征图;
步骤2:将可见光初始特征图和热红外初始特征图输入可见光特征对齐层进行特征对齐,得到可见光对齐特征图;
步骤3:将热红外初始特征图和可见光初始特征图输入热红外特征对齐层进行特征对齐,得到热红外对齐特征图;
步骤4:将可见光对齐特征图输入可见光频域特征提取层进行可见光频域特征提取,得到可见光频域特征图;
步骤5:将热红外对齐特征图输入热红外频域特征提取层进行热红外频域特征提取,得到热红外频域特征图;
步骤6:将可见光对齐特征图与热红外对齐特征图进行拼接,得到互补特征图,将互补特征图输入跨模态频域特征提取层进行跨模态频域特征提取,得到互补频域特征图;
步骤7:将可见光频域特征图、热红外频域特征图及互补频域特征图输入频域特征融合层进行融合,得到跨模态融合特征图;
步骤8:将跨模态融合特征图输入人群密度图估计层进行人群密度估计,得到估计的人群密度图;
步骤9:将估计的人群密度图进行逐像素相加,得到人群图像中人数的估计值。
4.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤
2具体如下:
步骤2.1:将热红外初始特征图与可见光初始特征图相减,得到差分特征图;
步骤2.2:将差分特征图输入卷积核尺寸为3×3,输出通道数为18的卷积层中,得到偏移图;
步骤2.3:将偏移图与差分特征图相加后输入卷积核尺寸为3×3,输出通道数为512的卷积层中,得到变形特征图;
步骤2.4:将可见光初始特征图与步骤2.3得到的变形特征图相加,得到可见光对齐特征图。
5.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤
3具体如下:
步骤3.1:将可见光初始特征图与热红外初始特征图相减,得到差分特征图;
步骤3.2:将差分特征图输入卷积核尺寸为3×3,输出通道数为18的卷积层中,得到偏移图;
步骤3.3:将偏移图与差分特征图相加后输入卷积核尺寸为3×3,输出通道数为512的卷积层中,得到变形特征图;
步骤3.4:将热红外初始特征图与步骤3.3得到的变形特征图相加,得到热红外对齐特征图。
6.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤
4具体如下:
步骤4.1:可见光频域特征提取层中的小波变换将可见光对齐特征图分解为对角线高频分量、垂直高频分量、水平高频分量和低频分量;
步骤4.2:利用空间注意力对水平高频分量进行处理以获得水平空间注意力加权矩阵,并将加权矩阵与水平高频分量进行对应位置像素相乘,得到水平高频分量空间注意增强特征;
步骤4.3:将垂直高频分量和步骤4.2得到的水平高频分量空间注意增强特征进行相加,随后将相加结果输入空间注意力进行处理以获得垂直空间注意力加权矩阵,并将加权矩阵与相加结果进行对应位置像素相乘,得到垂直高频分量空间注意增强特征;
步骤4.4:将对角线高频分量和步骤4.3得到的垂直高频分量空间注意增强特征进行相加,随后将相加结果输入空间注意力进行处理以获得对角线空间注意力加权矩阵,并将加权矩阵与相加结果进行对应位置像素相乘,得到对角线高频分量空间注意增强特征;
步骤4.5:将水平高频分量空间注意增强特征、垂直高频分量空间注意增强特征、对角线高频分量空间注意增强特征和低频特征进行通道维度连接,并将连接后的结果进行小波逆变换,得到可见光频域特征图。
7.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤
5具体如下:
步骤5.1:热红外频域特征提取层中的小波变换将热红外对齐特征图分解为对角线高频分量、垂直高频分量、水平高频分量和低频分量;
步骤5.2:利用空间注意力对水平高频分量进行处理以获得水平空间注意力加权矩阵,并将加权矩阵与水平高频分量进行对应位置像素相乘,得到水平高频分量空间注意增强特征;
步骤5.3:将垂直高频分量和步骤5.2得到的水平高频分量空间注意增强特征进行相加,随后将相加结果输入空间注意力进行处理以获得垂直空间注意力加权矩阵,并将加权矩阵与相加结果进行对应位置像素相乘,得到垂直高频分量空间注意增强特征;
步骤5.4:将对角线高频分量和步骤5.3得到的垂直高频分量空间注意增强特征进行相加,随后将相加结果输入空间注意力进行处理以获得对角线空间注意力加权矩阵,并将加权矩阵与相加结果进行对应位置像素相乘,得到对角线高频分量空间注意增强特征;
步骤5.5:将水平高频分量空间注意增强特征、垂直高频分量空间注意增强特征、对角线高频分量空间注意增强特征和低频特征进行通道维度连接,并将连接后的结果进行小波逆变换,得到热红外频域特征图。
8.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤
6具体如下:
步骤6.1:将可见光对齐特征图和热红外对齐特征图进行通道维度连接并通过卷积核尺寸为1×1,输出通道数为512的卷积层进行降维,得到互补特征图;
步骤6.2:跨模态频域特征提取层中的小波变换将互补特征图分解为对角线高频分量、垂直高频分量、水平高频分量和低频分量;
步骤6.3:利用空间注意力对水平高频分量进行处理以获得水平空间注意力加权矩阵,并将加权矩阵与水平高频分量进行对应位置像素相乘,得到水平高频分量空间注意增强特征;
步骤6.4:将垂直高频分量和步骤6.3得到的水平高频分量空间注意增强特征进行相加,随后将相加结果输入空间注意力进行处理以获得垂直空间注意力加权矩阵,并将加权矩阵与相加结果进行对应位置像素相乘,得到垂直高频分量空间注意增强特征;
步骤6.5:将对角线高频分量和步骤6.4得到的垂直高频分量空间注意增强特征进行相加,随后将相加结果输入空间注意力进行处理以获得对角线空间注意力加权矩阵,并将加权矩阵与相加结果进行对应位置像素相乘,得到对角线高频分量空间注意增强特征;
步骤6.6:将水平高频分量空间注意增强特征、垂直高频分量空间注意增强特征、对角线高频分量空间注意增强特征和低频特征进行通道维度连接,并将连接后的结果进行小波逆变换,得到互补频域特征图。
9.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤
7具体如下:
步骤7.1:利用互补频域特征图分别与可见光频域特征图、热红外频域特征图进行差分操作,得到两个过渡特征图;
步骤7.2:将两个过渡特征图进行通道维度连接,得到跨模态融合特征图。
10.根据权利要求3所述的一种跨模态特征对齐融合的人群计数方法,其特征在于:步骤8具体如下:步骤8.1:将跨模态融合特征图输入人群密度图估计层,依次经过卷积核尺寸为3×3,输出通道数为256的卷积层、1个ReLU层、卷积核尺寸为3×3,输出通道数为128的卷积层、1个ReLU层、卷积核尺寸为1×1,输出通道数为1的卷积层,得到估计的人群密度图。