利索能及
我要发布
收藏
专利号: 2024112742237
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双分支时空交互网络的视频人群计数方法,其特征在于,包括如下步骤:

S1,通过对训练集的每T个连续视频帧统一进行随机剪裁和水平翻转实现数据增强,得到扩展后的训练集;

S2,构建由编码器、解码器和融合网络组成的双分支时空交互网络;所述编码器包括一个ConvNeXt‑2D模型、一个ConvNeXt‑3D模型和一个时空全连接聚合;解码器通过集成多个通道交叉注意力模块和转置卷积在多个尺度上实现2D空间特征和3D时空特征的交互,并生成ConvNeXt‑2D模型和ConvNeXt‑3D模型对于连续T帧图像的人群密度图;所述融合网络融合ConvNeXt‑2D模型和ConvNeXt‑3D模型对应的每一帧的人群密度图,实现同时对T个训练帧进行人群计数;

S3,对双分支时空交互网络进行训练后,保存最优双分支时空交互网络模型用于测试;

S4,将测试集的所有视频帧按照每连续T帧为一组进行划分,分别输入到最优双分支时空交互网络模型中,估计出测试集所有的视频帧所包含的人数;

步骤S2中,所述编码器通过ConvNeXt‑2D模型和ConvNeXt‑3D模型分别获得输入帧的空间特征和时空特征;在编码的过程中,通过时空全连接聚合将ConvNeXt‑2D模型的多尺度特征融入到ConvNeXt‑3D模型的各个阶段;

所述时空全连接聚合是通过转换模块将ConvNeXt‑2D模型中4个阶段的特征进行转换后,累加到ConvNeXt‑3D模型每个下采样层之后,累加后的特征再将经过两个堆叠的3D ConvNeXt块进行时空相关性学习并得到ConvNeXt‑3D模型在第n阶段输出的特征图Un,Un的计算表达式如下:其中,n=1,2,3,4;Ln表示ConvNeXt‑2D模型在第n阶段输出的特征图;transform(a,b)表示转换模块,将a的维度、通道和大小转换成与b一致;Down3D(a)表示a经过ConvNeXt‑3D2

下采样层的处理;Block3D (a)表示a经过两个连续3D ConvNeXt块的处理;当n=1时,U0表示通过转置操作把RGB视频帧的通道维度和时间维度交换得到的特征;

所述转换模块由变形、转置、1×1卷积和双线性插值组成,变形和转置用于调整ConvNeXt‑2D模型空间特征的维度与ConvNeXt‑3D模型时空特征一致;1×1卷积、双线性插值分别用于调整ConvNeXt‑2D模型空间特征的通道数和大小,确保与ConvNeXt‑3D模型时空特征一致;

步骤S2中,所述解码器对由编码器提取的ConvNeXt‑2D模型输出的空间特征L4和ConvNeXt‑3D模型输出的时空特征U4分别经过三个通道交叉注意力模块;在每相邻两个交叉注意力模块中还嵌入了转置卷积,用于对特征图的分辨率上采样2倍;每个通道交叉注意力模块之后都采用残差连接;然后,对两个分支分别应用1×1卷积,生成ConvNeXt‑2D模型对连续T帧密度图的估计Ld和ConvNeXt‑3D模型对连续T帧密度图的估计Ud;

所述通道交叉注意力模块的实现过程如下:将ConvNeXt‑2D模型输出的空间特征L4输入第一个通道交叉注意力模块,首先采用转置和变形操作将ConvNeXt‑3D模型的输出特征U4的维度转换为ConvNeXt‑2D模型的输出特征L4的维度,得到 将 展平为1D序列并作为线性交叉注意力的键K和值V;同时,对空间特征L4采用全局平均池化得到其全局特征表示Lv,随后将Lv展平为1D序列并作为线性交叉注意力的查询Q;最后,根据通道重要性重构ConvNeXt‑2D空间特征 为:其中,Sigmoid( )表示激活函数;Wc表示ConvNeXt‑2D模型空间特征的通道权重;⊙表示逐元素乘法;CAl表示第l个头的线性交叉注意力;Wp表示重投影矩阵,用于融合l个头的线性交叉注意力;Concat(CA1,…,CAl)表示把CA1到CAl按照通道维度拼接; 表示矩阵乘法;

所述线性交叉注意力的表达式为:

其中,Wq、Wk和Wv都是可学习的参数矩阵,用于增强模型的拟合能力;FL(Lv)表示将Lv展平为1D序列;Softmax()表示激活函数;d表示Q,K,V共同的维度;Tm表示矩阵转置;CA(Q,K,V)表示根据查询Q、键K和值V计算出的线性交叉注意力;

将ConvNeXt‑3D模型输出的时空特征U4输入第一个通道交叉注意力模块:首先利用转置和变形操作将ConvNeXt‑3D模型的输出特征U4的维度转换为ConvNeXt‑2D模型的输出特征L4的维度得到 然后对 采用全局平均池化得到其全局特征表示Uv,再将Uv展平为1D序列并作为线性交叉注意力的查询Q;同时,将L4展平为1D序列并作为线性交叉注意力的键K和值V;接着,利用所述通道重要性重构和线性交叉注意力的公式,得到对U4重构后的时空特征 最后,将 通过变形和转置操作恢复为输入时的特征维度。

2.根据权利要求1所述基于双分支时空交互网络的视频人群计数方法,其特征在于,所述ConvNeXt‑2D模型是去除了全局平均池化层和全连接层的ConvNeXt‑T;所述ConvNeXt‑3D模型由四个阶段组成,每个阶段包括一个下采样层和两个堆叠的3D ConvNeXt块;

所述ConvNeXt‑3D模型每个阶段的通道数设置与ConvNeXt‑2D模型每个阶段的通道数设置一致。

3.根据权利要求1所述的基于双分支时空交互网络的视频人群计数方法,其特征在于,步骤S2中,所述融合网络的构成如下:C(32,3,2)‑G‑C(64,3,2)‑G‑C(64,3,2)‑G‑C(32,3,2)‑G‑C(32,3,2)‑G‑C(1,1,1)其中,C(i,j,k)表示核大小为j、膨胀率为k的i个滤波器的卷积层,G为GeLU激活函数。

4.根据权利要求1所述基于双分支时空交互网络的视频人群计数方法,其特征在于,步骤S3中,训练双分支时空交互网络采用均方误差损失函数,设ConvNeXt‑2D模型的估计损失为Ls、ConvNeXt‑3D模型的估计损失为Lt和融合网络的估计损失为Lf,则总损失函数L计算式为:L=Ls+Lt+λLf

其中,B是预先设定的批处理的大小;T是一个批次中包含的连续图像帧数;Ld、Ud和Fd分别是ConvNeXt‑2D模型、ConvNeXt‑3D模型和融合网络对B个批次人群密度图的估计,每个批次具有T个连续帧;GT是B个批次的真实密度图;λ为权重因子; 表示欧几里得范数的平方。