利索能及
我要发布
收藏
专利号: 2023118151683
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向跨模态空间错位的双阶段特征对齐融合计数系统,其特征在于:包括依次相连的共享权重初始特征提取层、并联双层次特征对齐阶段、低频注意力过滤融合阶段和人群密度图估计层,其中并联双层次特征对齐阶段包括空间特征对齐单元、语义特征对齐单元以及双层次特征融合单元;各层具体结构如下:共享权重初始特征提取层依次包含2个卷积层、1个最大池化层、2个卷积层、1个最大池化层、4个卷积层、1个最大池化层、4个卷积层、1个最大池化层、4个卷积层,各卷积层卷积核尺寸均为3×3,步长为1且所生成特征图通道数按从输入到输出方向依次为64、64、128、

128、256、256、256、256、512、512、512、512、512、512、512和512,最大池化层的步长均为2;

空间特征对齐单元依次包含1个通道拼接操作、1个用于下采样操作的第一卷积处理块、1个用于下采样操作的第二卷积处理块、1个用于下采样操作的第三卷积处理块、1个用于生成变换参数的第四卷积处理块;所述第一卷积处理块、第二卷积处理块和第三卷积处理块结构均为依次包含1个卷积核尺寸为3×3,输出通道数为128,步长为2的卷积层、1个批归一化、1个ReLU激活函数、1个卷积核尺寸为1×1,输出通道数为128,步长为2的卷积层、1个批归一化、1个ReLU激活函数;第四卷积处理块依次包含1个窗口尺寸为1×1的自适应平均池化层、1个卷积核尺寸为1×1,输出通道数为6,步长为2的卷积层、1个双线性插值的空间采样操作;

语义特征对齐单元依次包含1个通道拼接操作、1个卷积核尺寸为3×3,输出通道数为

18的卷积层、1个卷积核尺寸为3×3,输出通道数为512的卷积层、1个ReLU激活函数、1个相加操作;

双层次特征融合单元依次包含1个通道拼接操作、1个卷积核尺寸为1×1,输出通道数为512的卷积层;

低频注意力过滤融合阶段依次包含1个离散小波变换操作、1个低频分量注意力单元、1个相乘操作、1个通道拼接操作、1个逆小波变换操作,其中低频分量注意力单元依次包括1个卷积核尺寸为3×3,输出通道数为512的卷积层、1个卷积核尺寸为3×3,输出通道数为

512的卷积层、1个Sigmoid激活函数;

人群密度图估计层依次包含1个采样率为2的双线性插值上采样层、1个卷积核尺寸为3×3,输出通道数为256的卷积层、1个ReLU激活函数、1个卷积核尺寸为3×3,输出通道数为

128的卷积层、1个ReLU激活函数、1个卷积核尺寸为1×1,输出通道数为1的卷积层,最后一个卷积层输出通道数为1的目的是生成估计的人群密度图。

2.一种面向跨模态空间错位的双阶段特征对齐融合计数方法,其特征在于应用于如权利要求1所述的计数系统,步骤如下:步骤1:将可见光图像和热红外图像输入共享权重初始特征提取层进行不同模态初始特征提取,分别得到可见光初始特征图和热红外初始特征图;

步骤2:将可见光初始特征图和热红外初始特征图输入并联双层次特征对齐阶段进行空间‑语义双层次特征对齐,得到跨模态对齐特征图;步骤2具体如下:步骤2.1:将可见光初始特征图和热红外初始特征图输入空间特征对齐单元,得到空间对齐特征图;步骤2.1具体如下:步骤2.1.1:将可见光初始特征图和热红外初始特征图进行通道拼接,得到跨模态特征图;

步骤2.1.2:将跨模态特征图输入第一卷积处理块,依次经过第一卷积处理块的卷积核尺寸为3×3,输出通道数为128,步长为2的卷积层、批归一化、ReLU激活函数、卷积核尺寸为

1×1,输出通道数为128,步长为2的卷积层、批归一化、ReLU激活函数,得到第一空间对齐特征图;

步骤2.1.3:将第一空间对齐特征图输入第二卷积处理块,依次经过第二卷积处理块的卷积核尺寸为3×3,输出通道数为128,步长为2的卷积层、批归一化、ReLU激活函数、卷积核尺寸为1×1,输出通道数为128,步长为2的卷积层、批归一化、ReLU激活函数,得到第二空间对齐特征图;

步骤2.1.4:将第二空间对齐特征图输入第三卷积处理块,依次经过第三卷积处理块的卷积核尺寸为3×3,输出通道数为128,步长为2的卷积层、批归一化、ReLU激活函数、卷积核尺寸为1×1,输出通道数为128,步长为2的卷积层、批归一化、ReLU激活函数,得到第三空间对齐特征图;

步骤2.1.5:将第三空间对齐特征图输入第四卷积处理块,依次经过第四卷积处理块的窗口尺寸为1×1的自适应平均池化层、卷积核尺寸为1×1,输出通道数为6,步长为2的卷积层、双线性插值的空间采样操作,得到空间对齐特征图;

步骤2.2:将可见光初始特征图和热红外初始特征图输入语义特征对齐单元,得到语义对齐特征图;步骤2.2具体如下:步骤2.2.1:将可见光初始特征图和热红外初始特征图进行通道拼接,得到跨模态特征图;

步骤2.2.2:将跨模态特征图输入卷积核尺寸为3×3,输出通道数为18的卷积层,得到偏移特征图;

步骤2.2.3:将偏移特征图与跨模态特征图相加后依次输入卷积核尺寸为3×3,输出通道数为512的卷积层、ReLU激活函数,得到初步语义对齐特征图;

步骤2.2.4:将可见光初始特征图与初步语义对齐特征图相加,得到语义对齐特征图;

步骤2.3:将空间对齐特征图和语义对齐特征图输入双层次特征融合单元,得到可见光对齐特征图;

步骤2.4:将可见光对齐特征图与热红外初始特征图相加,得到跨模态对齐特征图;

步骤3:将跨模态对齐特征图输入低频注意力过滤融合阶段进行频域特征对齐融合,得到双阶段对齐融合特征图;

步骤4:将双阶段对齐融合特征图输入人群密度图估计层进行人群密度估计,得到估计的人群密度图;

步骤5:将估计的人群密度图进行逐像素相加,得到人群图像中人数的估计值。

3.根据权利要求2所述的一种面向跨模态空间错位的双阶段特征对齐融合计数方法,其特征在于:步骤2.3具体如下:步骤2.3.1:将空间对齐特征图和语义对齐特征图进行通道拼接,得到初步可见光对齐特征图;

步骤2.3.2:将初步可见光对齐特征图输入卷积核尺寸为1×1,输出通道数为512的卷积层,得到可见光对齐特征图。

4.根据权利要求2所述的一种面向跨模态空间错位的双阶段特征对齐融合计数方法,其特征在于:步骤3具体如下:步骤3.1:对跨模态对齐特征图进行离散小波变换,得到低频分量、对角线高频分量、垂直高频分量和水平高频分量;

步骤3.2:对低频分量依次经过低频分量注意力单元的2个卷积核尺寸为3×3,输出通道数为512的卷积层和1个Sigmoid激活函数进行注意力计算,得到低频注意力图;

步骤3.3:将低频分量与低频注意力图相乘,得到过滤低频分量;

步骤3.4:将过滤低频分量和对角线高频分量、垂直高频分量、水平高频分量进行通道拼接后进行离散逆小波变换,得到双阶段对齐融合特征图。

5.根据权利要求2所述的一种面向跨模态空间错位的双阶段特征对齐融合计数方法,其特征在于:步骤4具体如下:步骤4.1:将双阶段对齐融合特征图输入人群密度图估计层,依次经过采样率为2的双线性插值上采样层,得到初步人群特征图;

步骤4.2:将初步人群特征图依次经过1个卷积核尺寸为3×3,输出通道数为256的卷积层、1个ReLU激活函数、1个卷积核尺寸为3×3,输出通道数为128的卷积层、1个ReLU激活函数、1个卷积核尺寸为1×1,输出通道数为1的卷积层,得到估计的人群密度图。