利索能及
我要发布
收藏
专利号: 2018115821682
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种目标检测神经网络训练方法,所述目标检测神经网络包括特征提取子网络和检测子网络,其特征在于,所述方法包括:利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述参考视频帧的图像特征,得到关键视频帧的预估图像特征,所述参考视频帧为所述样本视频中未经过标定的视频帧,所述关键视频帧为所述样本视频中经过标定的视频帧;所述参考视频帧与所述关键视频帧之间间隔的帧数小于预设帧数间隔;

利用所述检测子网络对所述预估图像特征进行处理,得到预测结果;

基于所述预测结果与所述关键视频帧的标定结果之间的误差计算损失,对所述目标检测神经网络的网络参数进行调整;

所述参考视频帧的数目大于一个;

所述利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述参考视频帧的图像特征,得到关键视频帧的预估图像特征,包括:针对每个参考视频帧,分别利用所述特征提取子网络对该参考视频帧进行处理,以基于该参考视频帧与关键视频帧之间的映射关系,计算参考视频帧的图像特征,得到该参考视频帧的计算结果;

对所有参考视频帧的计算结果,按照归一化权重进行加权求和,得到加权求和的结果,作为关键视频帧的预估图像特征。

2.根据权利要求1所述的方法,其特征在于,所述利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述参考视频帧的图像特征,得到关键视频帧的预估图像特征,包括:利用所述特征提取子网络提取样本视频中参考视频帧的图像特征,作为参考图像特征;

基于所述参考视频帧与关键视频帧之间的光流,对所述参考图像特征进行映射,得到所述参考视频帧的映射图像特征,作为关键视频帧的预估图像特征。

3.根据权利要求2所述的方法,其特征在于,所述基于所述参考视频帧与关键视频帧之间的光流,对所述参考图像特征进行映射,得到所述参考视频帧的映射图像特征,作为关键视频帧的预估图像特征,所述方法还包括:基于所述参考视频帧与关键视频帧之间的稠密光流,将所述参考图像特征通过双线性插值进行映射,得到所述参考视频帧的映射图像特征,作为关键视频帧的预估图像特征。

4.根据权利要求1所述的方法,其特征在于,所述利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述参考视频帧的图像特征,得到关键视频帧的预估图像特征,包括:基于样本视频中参考视频帧与关键视频帧之间的变换因子,对所述特征提取子网络的卷积核进行变形;

利用卷积核经过变形的所述特征提取子网络提取所述参考视频帧的图像特征,作为关键视频帧的预估图像特征。

5.根据权利要求1所述的方法,其特征在于,每个计算结果的归一化权重,与该计算结果和关键图像特征的相似度正相关,所述关键图像特征为利用所述特征提取子网络从所述关键视频帧提取到的图像特征。

6.一种目标检测神经网络训练装置,所述目标检测神经网络包括特征提取子网络和检测子网络,其特征在于,所述装置包括:特征迁移模块,用于利用所述特征提取子网络对样本视频中参考视频帧进行处理,以基于所述参考视频帧与关键视频帧之间的变换关系,计算所述参考视频帧的图像特征,得到关键视频帧的预估图像特征,所述参考视频帧为所述样本视频中未经过标定的视频帧,所述关键视频帧为所述样本视频中经过标定的视频帧;所述参考视频帧与所述关键视频帧之间间隔的帧数小于预设帧数间隔;

特征检测模块,用于利用所述检测子网络对所述预估图像特征进行处理,得到预测结果;

参数调整模块,用于基于所述预测结果与所述关键视频帧的标定结果之间的误差计算损失,对所述目标检测神经网络的网络参数进行调整;

所述参考视频帧的数目大于一个;

所述特征迁移模块,具体用于针对每个参考视频帧,分别利用所述特征提取子网络对该参考视频帧进行处理,以基于该参考视频帧与关键视频帧之间的映射关系,计算参考视频帧的图像特征,得到该参考视频帧的计算结果;

对所有参考视频帧的计算结果,按照归一化权重进行加权求和,得到加权求和的结果,作为关键视频帧的预估图像特征。

7.根据权利要求6所述的装置,其特征在于,所述特征迁移模块,具体用于利用所述特征提取子网络提取样本视频中参考视频帧的图像特征,作为参考图像特征;

基于所述参考视频帧与关键视频帧之间的光流,对所述参考图像特征进行映射,得到所述参考视频帧的映射图像特征,作为关键视频帧的预估图像特征。

8.根据权利要求7所述的装置,其特征在于,所述特征迁移模块,具体用于基于所述参考视频帧与关键视频帧之间的稠密光流,将所述参考图像特征通过双线性插值进行映射,得到所述参考视频帧的映射图像特征,作为关键视频帧的预估图像特征。

9.根据权利要求6所述的装置,其特征在于,所述特征迁移模块,具体用于基于样本视频中参考视频帧与关键视频帧之间的变换因子,对所述特征提取子网络的卷积核进行变形;

利用卷积核经过变形的所述特征提取子网络提取所述参考视频帧的图像特征,作为关键视频帧的预估图像特征。

10.根据权利要求6所述的装置,其特征在于,每个计算结果的归一化权重,与该计算结果和关键图像特征的相似度正相关,所述关键图像特征为利用所述特征提取子网络从所述关键视频帧提取到的图像特征。