利索能及
我要发布
收藏
专利号: 2016109804572
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种目标检测方法,其特征在于,所述方法包括:

根据基于视频时序的图像序列确定算法,从待检测视频中获得待检测图像序列;

基于预先训练的卷积神经网络CNN模型,提取所述待检测图像序列的第一CNN特征,并根据第二CNN特征对所述第一CNN特征进行特征融合,获得所述待测试图像序列的第一融合CNN特征,其中,所述第二CNN特征为:所述待检测视频中已检测图像序列的CNN特征,所述CNN模型包括:第一级分类器和第二级分类器,所述第一级分类器为:根据样本图像序列的第二融合CNN特征和所述样本图像序列中目标所在标定区域,对CNN进行训练得到的分类器,所述第二级分类器为:根据所述第二融合CNN特征、标定区域和第一级分类器的输出结果对CNN进行训练得到的分类器,所述样本图像序列为:根据所述图像序列确定算法,从样本视频中获得的图像序列;

将所述第一融合CNN特征输入至所述第一级分类器,从所述第一级分类器的输出结果中,获得所述待测试图像序列中的第一备选目标区域;

根据所述第一备选目标区域,确定所述第二级分类器的第一输入区域;

根据所述第一融合CNN特征,获得所述第一输入区域的第三CNN特征;

将所述第三CNN特征输入至所述第二级分类器,根据所述第二级分类器的输出结果,获得针对所述待检测图像序列的目标检测结果。

2.根据权利要求1所述的方法,其特征在于,所述根据基于视频时序的图像序列确定算法,从待检测视频中获得待检测图像序列的步骤,包括:基于视频时序,根据预设的图像重复度,从待检测视频中获得包含预设数量个图像的待检测图像序列,其中,所述图像重复度,表示相邻两次从所述待检测视频中获得的图像序列之间所包含重复图像的数量。

3.根据权利要求1所述的方法,其特征在于,所述根据第二CNN特征对所述第一CNN特征进行特征融合,获得所述待测试图像序列的第一融合CNN特征的步骤,包括:获得第一已检测图像序列的第三融合CNN特征,其中,所述第一已检测图像序列为:按照视频时序、与所述待检测图像序列相邻的已检测图像序列,所述第三融合CNN特征,是根据所述第一已检测图像序列之前已检测图像序列的CNN特征确定的;

采用所述第三融合CNN特征对所述第一CNN特征进行特征融合,获得待测试图像序列的第一融合CNN特征。

4.根据权利要求3所述的方法,其特征在于,所述采用所述第三融合CNN特征对所述第一CNN特征进行特征融合,获得所述待测试图像序列的第一融合CNN特征的步骤,包括:基于预先训练的循环神经网络RNN模型,对所述第三融合CNN特征和所述第一CNN特征进行特征融合,获得所述待测试图像序列的第一融合CNN特征,其中,所述RNN模型是:根据第一样本图像序列的融合CNN特征和第二样本序列的CNN特征对RNN进行训练得到的,所述第一样本图像序列为:按照视频时序在所述第二样本图像序列之前,且与所述第二样本图像序列相邻的样本图像序列。

5.根据权利要求1-4中任一项所述的方法,其特征在于,通过以下方式获得所述第一级分类器:确定所述样本图像序列中的所述标定区域;

获得所述第二融合CNN特征;

基于所述标定区域,确定所述样本图像序列中的初始样本区域,其中,对于每一标定区域,所述初始样本区域中至少存在一个样本区域与该标定区域的重合度大于预设阈值;

采用所述第二融合CNN特征、所述标定区域和所述初始样本区域对CNN进行第一次训练,获得所述第一级分类器和第一次训练的结果。

6.根据权利要求5所述的方法,其特征在于,所述第一次训练的结果中包含第二备选目标区域;

通过以下方式获得所述第二级分类器:

根据所述第二备选目标区域,确定针对所述第二级分类器的第二输入区域;

根据所述第二融合CNN特征,获得所述第二输入区域的第四CNN特征;

通过所述第四CNN特征和所述标定区域对CNN进行第二次训练,获得所述第二级分类器。

7.根据权利要求6所述的方法,其特征在于,所述第一次训练的结果中还包括:所述第二备选目标区域中包含目标的第一概率;

所述根据所述第二备选目标区域,确定针对所述第二级分类器的第二输入区域的步骤,包括:根据预设的非极大值抑制算法和所述第一概率,从所述第二备选目标本区域中选择针对所述第二级分类器的第二输入区域。

8.根据权利要求7所述的方法,其特征在于,所述第一级分类器的输出结果中包括:所述第一备选目标区域中包含目标的第二概率;

所述根据所述第一备选目标区域,确定所述第二级分类器的第一输入区域的步骤,包括:根据所述非极大值抑制算法和所述第二概率,从所述第一备选目标区域中选择所述第二级分类器的第一输入区域。

9.一种目标检测装置,其特征在于,所述装置包括:

序列获得模块,用于根据基于视频时序的图像序列确定算法,从待检测视频中获得待检测图像序列;

特征提取模块,用于基于预先训练的卷积神经网络CNN模型,提取所述待检测图像序列的第一CNN特征,其中,所述CNN模型包括:第一级分类器和第二级分类器,所述第一级分类器为:根据样本图像序列的第二融合CNN特征和所述样本图像序列中目标所在标定区域,对CNN进行训练得到的分类器,所述第二级分类器为:根据所述第二融合CNN特征、标定区域和第一级分类器的输出结果对CNN进行训练得到的分类器,所述样本图像序列为:根据所述图像序列确定算法,从样本视频中获得的图像序列;

第一特征获得模块,用于根据第二CNN特征对所述第一CNN特征进行特征融合,获得所述待测试图像序列的第一融合CNN特征,其中,所述第二CNN特征为:所述待检测视频中已检测图像序列的CNN特征;

区域获得模块,用于将所述第一融合CNN特征输入至所述第一级分类器,从所述第一级分类器的输出结果中,获得所述待测试图像序列中的第一备选目标区域;

区域确定模块,用于根据所述第一备选目标区域,确定所述第二级分类器的第一输入区域;

第二特征获得模块,用于根据所述第一融合CNN特征,获得所述第一输入区域的第三CNN特征;

结果获得模块,用于将所述第三CNN特征输入至所述第二级分类器,根据所述第二级分类器的输出结果,获得针对所述待检测图像序列的目标检测结果。

10.根据权利要求9所述的装置,其特征在于,

所述序列获得模块,具体用于基于视频时序,根据预设的图像重复度,从待检测视频中获得包含预设数量个图像的待检测图像序列,其中,所述图像重复度,表示相邻两次从所述待检测视频中获得的图像序列之间所包含重复图像的数量。

11.根据权利要求9所述的装置,其特征在于,所述特征获得模块,包括:第一特征获得单元,用于获得第一已检测图像序列的第三融合CNN特征,其中,所述第一已检测图像序列为:按照视频时序、与所述待检测图像序列相邻的已检测图像序列,所述第三融合CNN特征,是根据所述第一已检测图像序列之前已检测图像序列的CNN特征确定的;

第二特征获得单元,用于采用所述第三融合CNN特征对所述第一CNN特征进行特征融合,获得待测试图像序列的第一融合CNN特征。

12.根据权利要求11所述的装置,其特征在于,

所述第二特征获得单元,具体用于基于预先训练的循环神经网络RNN模型,对所述第三融合CNN特征和所述第一CNN特征进行特征融合,获得所述待测试图像序列的第一融合CNN特征,其中,所述RNN模型是:根据第一样本图像序列的融合CNN特征和第二样本序列的CNN特征对RNN进行训练得到的,所述第一样本图像序列为:按照视频时序在所述第二样本图像序列之前,且与所述第二样本图像序列相邻的样本图像序列。

13.根据权利要求9-12中任一项所述的装置,其特征在于,所述装置还包括:第一分类器获得模块,用于获得所述第一级分类器;

其中,所述第一分类器获得模块,包括:

第一区域确定单元,用于确定所述样本图像序列中的所述标定区域;

第三特征获得单元,用于获得所述第二融合CNN特征;

第二区域确定单元,用于基于所述标定区域,确定所述样本图像序列中的初始样本区域,其中,对于每一标定区域,所述初始样本区域中至少存在一个样本区域与该标定区域的重合度大于预设阈值;

第一分类器获得单元,用于采用所述第二融合CNN特征、所述标定区域和所述初始样本区域对CNN进行第一次训练,获得所述第一级分类器和第一次训练的结果。

14.根据权利要求13所述的装置,其特征在于,所述第一次训练的结果中包含第二备选目标区域;

所述装置还包括:

第二分类器获得模块,用于获得所述第二级分类器;

其中,所述第二分类器获得模块,包括:

第三区域确定单元,用于根据所述第二备选目标区域,确定针对所述第二级分类器的第二输入区域;

第四特征获得单元,用于根据所述第二融合CNN特征,获得所述第二输入区域的第四CNN特征;

第二分类器获得单元,用于通过所述第四CNN特征和所述标定区域对CNN进行第二次训练,获得所述第二级分类器。

15.根据权利要求14所述的装置,其特征在于,所述第一次训练的结果中还包括:所述第二备选目标区域中包含目标的第一概率;

所述第三区域确定单元,具体用于根据预设的非极大值抑制算法和所述第一概率,从所述第二备选目标区域中选择针对所述第二级分类器的第二输入区域。

16.根据权利要求15所述的装置,其特征在于,所述第一级分类器的输出结果中包括:所述第一备选目标区域中包含目标的第二概率;

所述区域确定模块,具体用于根据所述非极大值抑制算法和所述第二概率,从所述第一备选目标区域中选择所述CNN网络的第二级分类器的第一输入区域。