1.一种目标跟踪方法,其特征在于,所述方法包括:
获取需要进行目标跟踪的视频;
通过目标识别模型,确定所述视频的每帧视频图像中的检测框的位置,以及确定每个检测框内的目标的类别和图像特征,所述目标识别模型是交替使用或者同时使用目标检测数据集和检索数据集,采用多任务学习的方式对神经网络模型进行训练得到,所述目标检测数据集中的每个目标检测数据标记有检测框位置及对应的目标类别,所述检索数据集中的每个检索数据标记有目标标识,所述目标检测数据集用于训练所述神经网络模型执行目标检测任务,所述检索数据集用于训练所述神经网络模型执行特征提取任务,所述神经网络模型中的各个层共同完成所述目标检测任务和所述特征提取任务;
根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对所述视频中包含的目标进行跟踪。
2.如权利要求1所述的方法,其特征在于,
当所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据第一神经网络模型中的参数的梯度值,对所述第一神经网络模型中的参数进行更新后得到,所述第一神经网络模型中的参数的梯度值是根据所述检索数据集确定得到,所述第一神经网络模型是根据所述神经网络模型中的参数的梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的梯度值是根据所述目标检测数据集确定得到;或者,当所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据第二神经网络模型中的参数的梯度值,对所述第二神经网络模型中的参数进行更新后得到,所述第二神经网络模型中的参数的梯度值是根据所述目标检测数据集确定得到,所述第二神经网络模型是根据所述神经网络模型中的参数的梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的梯度值是根据所述检索数据集确定得到。
3.如权利要求1所述的方法,其特征在于,
当所述目标识别模型是同时使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据所述神经网络模型中的参数的平均梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的平均梯度值是对所述神经网络模型中的参数的第一梯度值和第二梯度值进行平均后得到,所述神经网络模型中的参数的第一梯度值是根据所述目标检测数据集确定得到,所述神经网络模型中的参数的第二梯度值是根据所述检索数据集确定得到。
4.如权利要求1‑3任一所述的方法,其特征在于,所述获取需要进行目标跟踪的视频之后,还包括:
获取所述视频的每帧视频图像中每个检测框内的目标的跟踪特征;
相应地,所述根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对所述视频中包含的目标进行跟踪,包括:根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,对所述视频中包含的目标进行跟踪。
5.如权利要求4所述的方法,其特征在于,所述根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,对所述视频中包含的目标进行跟踪,包括:根据所述视频的前n帧视频图像中每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,确定跟踪目标集和所述跟踪目标集中每个跟踪目标的跟踪片段和跟踪信息,所述n为大于或等于2的整数;
令i=n,根据所述视频的第i+1帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征、跟踪特征和所述跟踪目标集中每个跟踪目标的跟踪信息,将所述第i+1帧视频图像中包含的目标与所述跟踪目标集中的每个跟踪目标进行匹配;
如果所述第i+1帧视频图像中包含的指定目标与所述跟踪目标集中的指定跟踪目标匹配成功,则将所述第i+1帧视频图像添加到所述指定跟踪目标的跟踪片段中,并根据所述指定目标所在的检测框的位置、所述指定目标的类别、图像特征和跟踪特征,更新所述指定跟踪目标的跟踪信息,所述指定目标为所述第i+1帧视频图像中包含的任意一个目标,所述指定跟踪目标为所述跟踪目标集中的任意一个跟踪目标;
如果所述第i+1帧视频图像中包含的指定目标与所述跟踪目标集中所有的跟踪目标均未匹配成功,则将所述指定目标添加到所述跟踪目标集中;将所述第i+1帧视频图像确定为所述指定目标的跟踪片段,并根据所述指定目标所在的检测框的位置、所述指定目标的类别、图像特征和跟踪特征,生成所述指定目标的跟踪信息;令i=i+1,返回所述根据所述视频的第i+1帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征、跟踪特征和所述跟踪目标集中每个跟踪目标的跟踪信息,将所述第i+1帧视频图像中包含的目标与所述跟踪目标集中的每个跟踪目标进行匹配。
6.一种目标跟踪装置,其特征在于,所述装置包括:
第一获取模块,用于获取需要进行目标跟踪的视频;
确定模块,用于通过目标识别模型,确定所述视频的每帧视频图像中的检测框的位置,以及确定每个检测框内的目标的类别和图像特征,所述目标识别模型是交替使用或者同时使用目标检测数据集和检索数据集,采用多任务学习的方式对神经网络模型进行训练得到,所述目标检测数据集中的每个目标检测数据标记有检测框位置及对应的目标类别,所述检索数据集中的每个检索数据标记有目标标识,所述目标检测数据集用于训练所述神经网络模型执行目标检测任务,所述检索数据集用于训练所述神经网络模型执行特征提取任务,所述神经网络模型中的各个层共同完成所述目标检测任务和所述特征提取任务;
跟踪模块,用于根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别和图像特征,对所述视频中包含的目标进行跟踪。
7.如权利要求6所述的装置,其特征在于,
当所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据第一神经网络模型中的参数的梯度值,对所述第一神经网络模型中的参数进行更新后得到,所述第一神经网络模型中的参数的梯度值是根据所述检索数据集确定得到,所述第一神经网络模型是根据所述神经网络模型中的参数的梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的梯度值是根据所述目标检测数据集确定得到;或者,当所述目标识别模型是交替使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据第二神经网络模型中的参数的梯度值,对所述第二神经网络模型中的参数进行更新后得到,所述第二神经网络模型中的参数的梯度值是根据所述目标检测数据集确定得到,所述第二神经网络模型是根据所述神经网络模型中的参数的梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的梯度值是根据所述检索数据集确定得到。
8.如权利要求6所述的装置,其特征在于,
当所述目标识别模型是同时使用所述目标检测数据集和所述检索数据集对所述神经网络模型进行训练得到时,所述目标识别模型是根据所述神经网络模型中的参数的平均梯度值,对所述神经网络模型中的参数进行更新后得到,所述神经网络模型中的参数的平均梯度值是对所述神经网络模型中的参数的第一梯度值和第二梯度值进行平均后得到,所述神经网络模型中的参数的第一梯度值是根据所述目标检测数据集确定得到,所述神经网络模型中的参数的第二梯度值是根据所述检索数据集确定得到。
9.如权利要求6‑8任一所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取所述视频的每帧视频图像中每个检测框内的目标的跟踪特征;
相应地,所述跟踪模块包括:
跟踪单元,用于根据所述视频的每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,对所述视频中包含的目标进行跟踪。
10.如权利要求9所述的装置,其特征在于,所述跟踪单元用于:
根据所述视频的前n帧视频图像中每帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征和跟踪特征,确定跟踪目标集和所述跟踪目标集中每个跟踪目标的跟踪片段和跟踪信息,所述n为大于或等于2的整数;
令i=n,根据所述视频的第i+1帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征、跟踪特征和所述跟踪目标集中每个跟踪目标的跟踪信息,将所述第i+1帧视频图像中包含的目标与所述跟踪目标集中的每个跟踪目标进行匹配;
如果所述第i+1帧视频图像中包含的指定目标与所述跟踪目标集中的指定跟踪目标匹配成功,则将所述第i+1帧视频图像添加到所述指定跟踪目标的跟踪片段中,并根据所述指定目标所在的检测框的位置、所述指定目标的类别、图像特征和跟踪特征,更新所述指定跟踪目标的跟踪信息,所述指定目标为所述第i+1帧视频图像中包含的任意一个目标,所述指定跟踪目标为所述跟踪目标集中的任意一个跟踪目标;
如果所述第i+1帧视频图像中包含的指定目标与所述跟踪目标集中所有的跟踪目标均未匹配成功,则将所述指定目标添加到所述跟踪目标集中;将所述第i+1帧视频图像确定为所述指定目标的跟踪片段,并根据所述指定目标所在的检测框的位置、所述指定目标的类别、图像特征和跟踪特征,生成所述指定目标的跟踪信息;令i=i+1,返回所述根据所述视频的第i+1帧视频图像中的检测框的位置和每个检测框内的目标的类别、图像特征、跟踪特征和所述跟踪目标集中每个跟踪目标的跟踪信息,将所述第i+1帧视频图像中包含的目标与所述跟踪目标集中的每个跟踪目标进行匹配。
11.一种目标跟踪装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1‑5任一项所述的方法的步骤。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1‑5任一项所述的方法的步骤。