1.一种基于终身学习的目标检测方法,其特征在于,包括如下步骤:
步骤1,构建基于终身学习的基础目标检测模型,使其具备基本的目标检测任务;所述基于终身学习的目标检测学习模型包括主干网络、多尺度融合网络、多任务学习和终身学习四大部分;
步骤2,已知任务学习,利用主干网络和多尺度融合网络对已知目标检测任务及对应的样本进行基础目标检测模型训练学习,使其能够完成已知目标的检测任务;
步骤3,新任务学习,当遇到新目标检测任务时,利用多任务学习和终身学习部分对新任务样本和已知任务知识进行迁移学习,优化基础目标检测模型,并对优化后的目标检测模型进行训练,使得优化后的目标检测模型不仅可以很好的完成新目标的检测任务,还不忘记原有目标的检测任务;
步骤4,重复执行S3,使得目标检测模型越来越健全,完成各种不同的目标检测任务。
2.如权利要求1所述的一种基于终身学习的目标检测方法,其特征在于:多尺度融合网络在每一个尺度上,首先对上一个尺度层的最终特征图进行下采样得到与本尺度层大小一致的特征图;然后,将上尺度层特征图和本尺度层输入的特征图进行拼接得到本尺度层新的特征图;随后,对新的特征图进行卷积和池化操作得到本尺度层最终的特征图;最后,利用头部预测网络进行目标检测,输出本尺度层检测到的目标类别和位置信息,其中头部预测网络引用CenterNet策略,采用Anchor‑free思想的网络头部进行目标检测框回归和类别识别。
3.如权利要求2所述的一种基于终身学习的目标检测方法,其特征在于:头部预测网络包括热力图分类部分、中心点偏移和边框长宽回归部分,其对应的损失函数包括:热力图分类、偏移回归和边框大小回归3个损失函数;热力图分类损失函数为:其中,N为训练样本数,xyc分别表示坐标值和类别, 表示预测的关键点处类别置信度,Yxyc∈[0,1]表示真实的关键点处类别置信度,Yxyc=1表示目标,Yxyc=0表示为背景,α=2,β=4为常数;
偏移回归损失函数为:
其中,P表示原图上真实边框中心点坐标,R表示特征图相比原图缩放倍数,表示向下取整, 表示预测的边框中心点偏移量;
边框大小回归损失函数为:
其中, 为中心点k处目标框的长和宽真实值,即面积的真实值, 为中心点k处目标框的长和宽预测值,最终的损失函数为:L=λkLk+λsizeLsize+λoffLoff
其中,λk,λsize,λoff为各损失函数的权值。
4.如权利要求1所述的一种基于终身学习的目标检测方法,其特征在于:步骤2中目标检测模型训练学习包括模型训练和测试两个过程;
模型训练的目的是利用训练数据集进行网络参数学习,包括数据预处理、检测网络、以及标签匹配与损失计算;
21.数据预处理
对训练数据集进行数据增强操作,包括翻转、缩放、均值归一化、色调变化,以及使用从图像中擦除部分子区域、将不同图像和标签进行差值表示和将其他训练图像粘贴到擦除的子区域;
22.检测网络
检测网络包括基础骨干网络、特征融合网络及预测网络三部分,其中,基础骨干网络为步骤1中的主干网络,采用EfficientNet B7进行特征提取,特征融合网络为步骤1中多尺度融合网络的特征融合部分,具体的特征融合方式采用基于Transformer编解码的方式进行多尺度特征融合,预测网络为步骤1中多尺度融合网络的头部预测网络部分,其分类和回归采用全卷积的方式进行;
23.标签分配与损失计算
标签分配是为检测网络预测提供真实值,采用交并比准则,根据锚点框与目标物体真实框之间的交并比将锚点框分配到对应的物体,基于标签分类的结果,采用损失函数计算分类和回归任务的损失,并利用反向传播算法更新检测网络的权重,其中损失函数包括:热力图分类、偏移回归和边框大小回归3个损失函数;
热力图分类损失函数为:
其中,N为训练样本数,xyc分别表示坐标值和类别, 表示预测的关键点处类别置信度,Yxyc∈[0,1]表示真实的关键点处类别置信度,Yxyc=1表示目标,Yxyc=0表示为背景,α=2,β=4为常数;
偏移回归损失函数为:
其中,P表示原图上真实边框中心点坐标,R表示特征图相比原图缩放倍数,表示向下取整, 表示预测的边框中心点偏移量;
边框大小回归损失函数为:
其中, 为中心点k处目标框的长和宽真实值,即面积的真实值, 为中心点k处目标框的长和宽预测值,最终的损失函数为:L=λkLk+λsizeLsize+λoffLoff
其中,λk,λsize,λoff为各损失函数的权值;
在测试阶段输出给定图像中存在物体的类别以及位置信息,包括输入图像、检测网络、后处理;对于一张给定的图像,先利用训练好的检测网络生成分类和回归结果,然后采用Soft‑NMS进行后处理,通过降低交并比高的检测结果的分类得分来抑制冗余检测;通过收集的测试集对目标检测模型进行结果测试,如果测试结果达到预设的阀值,就说明目标检测模型已具备已有目标检测任务的能力,则停止模型训练;否则继续训练。
5.如权利要求1所述的一种基于终身学习的目标检测方法,其特征在于:步骤3中知识迁移的具体实现过程如下:对每个目标检测任务,在训练完成该任务之后,计算目标检测模型中每个参数对于该任务的重要性Ωij,即第i行第j列的参数值占整个参数值的比例大小,并沿用到训练后续的任务中去,Ωij以正则项的形式添加到损失函数中去,每当进行新任务训练时:对于Ωij较大的参数,在梯度下降中尽量减少它的改变幅度,因为该参数对过去的某任务很重要,需要保留它的值来避免灾难性遗忘;而对于Ωij较小的参数,可以以较大的幅度对其进行梯度更新,以得到在新任务上较好的性能,因此,第n个任务的损失函数为:其中,Ln(θ)是当前任务的损失函数,λ是平衡因子,θij是当前的模型参数矩阵中第i行第j列的参数, 是由前n‑1个任务训练后得到的模型参数,每当训练完一个任务之后,Ωij都会进行更新,进行第一个任务时, 取0;
1 2
对优化后的目标检测模型进行训练的具体方法为:假定有M个目标检测任务T ,T ,…M m m m m mT ,每个任务T=(f (θ),X ,y),即每个任务的标签由一个真实隐含函数f (θ)决定,其中θ为目标检测模型的网络参数,它随着检测任务的增加不断更新优化;每个任务给定nm个训m练样本 和相应的标签y ,d为提取的样本特征维数;在任意的时间点,优化后的目标检测模型接收到一批来自任务m的有标签样本时,依据要求做出对已学任务的预测;训练的目标是通过给定的训练样本学习每个任务的目标检测模型 尽可能接近真实的目标函m数f。
6.如权利要求1所述的一种基于终身学习的目标检测方法,其特征在于:步骤4的具体实现方式如下:
61.利用基础目标检测网络构建第一个任务型神经网络作为第一列,训练某一个或一批任务,为已知的旧任务;
62.利用基础目标检测网络构建第二个任务型神经网络,然后固定第一列也就是上一个任务型神经网络,将上一列的神经网络的每一层都通过降维处理连接到第二列的神经网络的每一层作为额外输入,也就是第二个任务型神经网络每一层除了原始的输入,还加上经过a处理的之前的任务型神经网络对应层的输入;
63.利用基础目标检测网络构建第三个任务型神经网络,训练第三个任务,将前两列的神经网络固定,然后同步骤62一样的方法连接到第三个任务型神经网络中,依此类推,构建N个任务型神经网络,学习N个新任务。
7.一种基于终身学习的目标检测装置,其特征在于:所述装置用于实现所述权利要求
1‑6中任一所述方法。