利索能及
我要发布
收藏
专利号: 2022116542334
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向目标计数的类增量学习网络建模方法,其特征在于包括:S1:获取不同类样本的数据集,其中,所述数据集是需要计数的图的集合;

S2:对数据集样本进行在线增广;

S3:构建目标计数的类增量学习网络,所述类增量学习网络包括特征提取器、类无关模块和类增量模块,所述特征提取器分别与类无关模块、类增量模块相连,所述类无关模块与类增量模块相连,所述特征提取器用于提取基础特征向量,所述类无关模块用于根据所述基础特征向量进行学习,得到一致性的密度图,所述类增量模块用于根据所述基础特征向量进行分类,并基于分类结果和密度图进行回归计数;

S4:采用增广后的数据集样本对所述类增量学习网络进行训练,得到训练好的类增量学习网络;

所述类无关模块具体包括:

第一卷积层,包括两个3×3卷积层;

掩码层,包括依次相连的4个单卷积层和一个上采样层,所述4个单卷积层用于从第一卷积层的输出中获取掩码,所述上采样层用于对掩码进行双线性差值上采样,得到与输入样本大小相同的标准掩码;

激活层,用于先对标准掩码经过Sigmoid函数进行激活,再进行Ones‑like操作并与Sigmoid函数输出的激活特征做差,得到激活特征;

注意力层,包括依次连接的3×3卷积层、ReLu函数、3×3卷积层,用于根据激活特征得到注意力特征;

第二卷积层,包括拼接单元和3×3卷积层,所述拼接单元用于将第一卷积层的输出和所述注意力特征进行拼接,所述3×3卷积层用于将拼接后的特征卷积得到密度图;

所述类增量模块包括:

全局平均池化层,用于将所述基础特征向量进行全局平均池化;

分类器,用于基于全局平均池化层的输出进行分类,得到输入样本所属类别;

回归层,用于根据分类器的输出和密度图进行回归计数,得到不同类的计数。

2.根据权利要求1所述的面向目标计数的类增量学习网络建模方法,其特征在于:所述S2具体包括:S2‑1:将样本进行随机缩放;

S2‑2:将样本进行随机位置裁剪;

S2‑3:将样本进行随机翻转;

S2‑4:将样本进行伽马校正;

S2‑5:将样本进行灰度图转换。

3.根据权利要求1所述的面向目标计数的类增量学习网络建模方法,其特征在于:所述S3中的所述特征提取器具体为预训练的VGG16网络的前10层。

4.根据权利要求1所述的面向目标计数的类增量学习网络建模方法,其特征在于:所述S4具体包括:S4‑1:将每个类的数据集划分出训练数据集、验证数据集;

S4‑2:从所有类的数据集中任意选取一个类的数据集进行下面的训练;

S4‑3:设置训练参数,如果当前阶段为基训练阶段,对类增量学习网络进行随机初始化,如果是增量训练阶段,则直接采用之前训练得到的网络参数进行初始化,并扩充类增量模块的维度,使其维度能与之前已训练类和当前类的类总个数相匹配,扩充后新维度的参数进行随机初始化;其中,对于第一个类的训练为基训练阶段,对于其他后续类的训练为增量训练阶段;

S4‑4:采用范例集和当前类的训练数据集对类增量学习网络进行训练,并通过计算总损失对网络进行优化;

S4‑5:用验证数据集中的样本对训练完的类增量学习网络进行测试,并保存误差最小的网络参数,作为当前类训练得到的网络参数,所述验证数据集包括当前类和之前已训练类的验证数据集;

S4‑6:从当前类的数据集中选取符合预设条件的若干样本加入范例集;

S4‑7:返回执行步骤S4‑2,直至所有类的数据集训练完成,得到最终的目标计数的类增量学习网络。

5.根据权利要求4所述的面向目标计数的类增量学习网络建模方法,其特征在于:所述S4‑4中总损失的计算步骤包括:S4‑4‑1:计算类无关模块的掩码损失L1:其中,Xi表示每个批加载的数据,ai∈{0,1}是在语义分割图中的真实标签,0表示背景区域,1表示目标区域,pi表示类无关模块掩码层的像素级预测,σ( )表示Sigmoid激活函数;

S4‑4‑2:计算类增量模块中的分类损失L2:qi=σ(Fcls)

avg

Fcls=FC(F1 )

avg

其中,FC表示全连接层,F1 表示类增量模块全局平均池化层的输出,Fcls表示类增量模块分类器的预测输出,yi表示对不同类的类别标签,qi表示分类器分类预测的置信度;

S4‑4‑3:计算类增量模块的密度图估计损失L3:其中,B表示批的大小,Zi表示密度图的真实标签, 表示密度图的预测;

S4‑4‑4:计算之前已训练类的样本密度图预测的蒸馏损失L4:其中, 分别表示对于已训练类的密度图与当前类的密度图预测;

S4‑4‑5:计算各个损失的加权和,作为总损失:L=L1+L2+(1‑λ)*L3+λ*L4

其中,λ表示超参数。

6.根据权利要求4所述的面向目标计数的类增量学习网络建模方法,其特征在于:所述S4‑6具体包括:S4‑6‑1:根据预先设定的范例集的内存K,计算平均分配到已训练类的个数K/Ii,Ii表示已训练类总个数;

S4‑6‑2:移除范例集中每个类末尾的样本,即对于每个已训练类移除K/(Ii‑1)‑K/Ii个样本;

S4‑6‑3:根据herding算法,选出当前类中最具代表性的K/Ii个样本添加到范例集中。

7.根据权利要求4所述的面向目标计数的类增量学习网络建模方法,其特征在于:所述S4‑1中划分训练数据集、验证数据集之后,在训练数据集、验证数据集中添加负样本。

8.一种面向目标计数的类增量学习网络建模装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1‑7中任意一项所述的方法。