利索能及
我要发布
收藏
专利号: 2017108287272
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种异常驾驶行为检测方法,其特征在于,所述方法包括:获取第一视频帧,并检测所述第一视频帧中驾驶员脸部区域对应的第一位置信息;

获取所述第一视频帧之后且与所述第一视频帧相邻的第二视频帧,并检测所述第二视频帧中所述驾驶员脸部区域对应的第二位置信息;

根据所述第一位置信息、所述第二位置信息、以及预设区域对应的目标位置信息,判断是否满足所述第一视频帧中驾驶员脸部区域位于所述预设区域内,且所述第二视频帧中所述驾驶员脸部区域位于所述预设区域外;

如果是,依次获取所述第二视频帧之后的第三视频帧,并检测各所述第三视频帧中所述驾驶员脸部区域对应的第三位置信息;

根据所述第一位置信息、所述第二位置信息、以及各所述第三位置信息,确定所述驾驶员的头部移动轨迹;

根据所述头部移动轨迹,确定所述驾驶员是否存在低头行为,当所述驾驶员存在低头行为时,确定所述驾驶员存在异常驾驶行为。

2.根据权利要求1所述的方法,其特征在于,所述根据所述头部移动轨迹,确定所述驾驶员是否存在低头行为的步骤包括:根据所述头部移动轨迹,确定所述驾驶员的头部垂直移动距离;

判断所述头部垂直移动距离是否大于预设距离阈值;

如果是,确定所述驾驶员存在低头行为。

3.根据权利要求2所述的方法,其特征在于,所述判断所述头部垂直移动距离是否大于预设距离阈值之前,所述方法还包括:检测当前车速;

当所述当前车速大于第一速度阈值时,减小所述预设距离阈值;

当所述当前车速小于第二速度阈值时,增大所述预设距离阈值,其中,所述第一速度阈值大于所述第二速度阈值。

4.根据权利要求1所述的方法,其特征在于,所述根据所述头部移动轨迹,确定所述驾驶员是否存在低头行为的步骤包括:根据所述头部移动轨迹,拟合得到所述驾驶员头部移动直线;

计算所述头部移动直线到所述第一视频帧中所述驾驶员脸部区域中任一点所在水平线之间的角度;

判断所述角度是否大于预设角度阈值;

如果是,确定所述驾驶员存在低头行为。

5.根据权利要求4所述的方法,其特征在于,所述判断所述角度是否大于预设角度阈值之前,所述方法还包括:检测当前车速;

当所述当前车速大于第三速度阈值时,减小所述预设角度阈值;

当所述当前车速小于第四速度阈值时,增大所述预设角度阈值,其中,所述第三速度阈值大于所述第四速度阈值。

6.根据权利要求1所述的方法,其特征在于,在所述依次获取所述第二视频帧之后的第三视频帧之后,所述当所述驾驶员存在低头行为时,确定所述驾驶员存在异常驾驶行为之前,所述方法还包括:分别对所述第一视频帧、所述第二视频帧、所述各第三视频帧进行检测,提取所述驾驶员在各视频帧中的头部姿态特征;

根据所述驾驶员在各视频帧中的头部姿态特征,以及预先训练得到的头部姿态分类器,确定所述驾驶员在各视频帧中的头部姿态;

根据所述驾驶员在各视频帧中的头部姿态,确定所述驾驶员的目标头部姿态,并根据所述目标头部姿态确定所述驾驶员是否目视前方;

相应的,所述当所述驾驶员存在低头行为时,确定所述驾驶员存在异常驾驶行为的步骤包括:当所述驾驶员存在低头行为,且所述驾驶员非目视前方时,确定所述驾驶员存在异常驾驶行为。

7.根据权利要求6所述的方法,其特征在于,所述根据所述驾驶员在各视频帧中的头部姿态,确定所述驾驶员的目标头部姿态的步骤包括:统计所述驾驶员在各视频帧中出现次数最多的候选头部姿态出现的第一数量,以及所述第一视频帧、所述第二视频帧、和所述第三视频帧的总数量,并确定所述第一数量与所述总数量的比值;

判断所述比值是否大于预设比值阈值;

如果是,将所述候选头部姿态确定为所述驾驶员的目标头部姿态;

如果否,将预设默认头部姿态确定为所述驾驶员的目标头部姿态。

8.根据权利要求7所述的方法,其特征在于,所述判断所述比值是否大于预设比值阈值之前,所述方法还包括:检测当前车速;

当所述当前车速大于第五速度阈值时,减小所述预设比值阈值;

当所述当前车速小于第六速度阈值时,增大所述预设比值阈值,其中,所述第五速度阈值大于所述第六速度阈值。

9.根据权利要求1-8任一项所述的方法,其特征在于,所述检测所述第一视频帧中驾驶员脸部区域对应的第一位置信息的步骤包括:提取所述第一视频帧的第一图像特征;其中,所述第一图像特征包括以下至少一项:颜色特征和纹理特征;

将所述第一图像特征输入预先训练的人脸检测模型中,识别第一图像特征中与所述人脸检测模型中的图像特征相匹配的第二图像特征所在的区域,并将所述区域的位置信息确定为所述第一视频帧中驾驶员脸部区域对应的第一位置信息。

10.根据权利要求9所述的方法,其特征在于,所述人脸检测模型的训练过程包括:获取包含人脸的样本图像,并提取各样本图像的样本图像特征;

将所述各样本图像特征作为训练样本,训练得到所述人脸检测模型。

11.根据权利要求1-9任一项所述的方法,其特征在于,所述确定所述驾驶员存在异常驾驶行为之后,所述方法还包括:输出报警信息。

12.一种异常驾驶行为检测装置,其特征在于,所述装置包括:第一获取模块,用于获取第一视频帧,并检测所述第一视频帧中驾驶员脸部区域对应的第一位置信息;

第二获取模块,用于获取所述第一视频帧之后且与所述第一视频帧相邻的第二视频帧,并检测所述第二视频帧中所述驾驶员脸部区域对应的第二位置信息;

判断模块,用于根据所述第一位置信息、所述第二位置信息、以及预设区域对应的目标位置信息,判断是否满足所述第一视频帧中驾驶员脸部区域位于所述预设区域内,且所述第二视频帧中所述驾驶员脸部区域位于所述预设区域外;

第三获取模块,用于当所述判断模块判断结果为是时,依次获取所述第二视频帧之后的第三视频帧,并检测各所述第三视频帧中所述驾驶员脸部区域对应的第三位置信息;

第一确定模块,用于根据所述第一位置信息、所述第二位置信息、以及各所述第三位置信息,确定所述驾驶员的头部移动轨迹;

第二确定模块,用于根据所述头部移动轨迹,确定所述驾驶员是否存在低头行为,当所述驾驶员存在低头行为时,确定所述驾驶员存在异常驾驶行为。

13.根据权利要求12所述的装置,其特征在于,所述第二确定模块包括:第一确定子模块,用于根据所述头部移动轨迹,确定所述驾驶员的头部垂直移动距离;

第一判断子模块,用于判断所述头部垂直移动距离是否大于预设距离阈值;

第二确定子模块,用于当所述第一判断子模块判断结果为是时,确定所述驾驶员存在低头行为。

14.根据权利要求13所述的装置,其特征在于,所述装置还包括:第一检测模块,用于检测当前车速;

第一调整模块,用于当所述当前车速大于第一速度阈值时,减小所述预设距离阈值;当所述当前车速小于第二速度阈值时,增大所述预设距离阈值,其中,所述第一速度阈值大于所述第二速度阈值。

15.根据权利要求12所述的装置,其特征在于,所述第二确定模块包括:拟合子模块,用于根据所述头部移动轨迹,拟合得到所述驾驶员头部移动直线;

计算子模块,用于计算所述头部移动直线到所述第一视频帧中所述驾驶员脸部区域中任一点所在水平线之间的角度;

第二判断子模块,用于判断所述角度是否大于预设角度阈值;

第三确定子模块,用于当所述第二判断子模块判断结果为是时,确定所述驾驶员存在低头行为。

16.根据权利要求15所述的装置,其特征在于,所述装置还包括:第二检测模块,用于检测当前车速;

第二调整模块,用于当所述当前车速大于第三速度阈值时,减小所述预设角度阈值;当所述当前车速小于第四速度阈值时,增大所述预设角度阈值,其中,所述第三速度阈值大于所述第四速度阈值。

17.根据权利要求12所述的装置,其特征在于,所述装置还包括:提取模块,用于分别对所述第一视频帧、所述第二视频帧、所述各第三视频帧进行检测,提取所述驾驶员在各视频帧中的头部姿态特征;

第三确定模块,用于根据所述驾驶员在各视频帧中的头部姿态特征,以及预先训练得到的头部姿态分类器,确定所述驾驶员在各视频帧中的头部姿态;

第四确定模块,用于根据所述驾驶员在各视频帧中的头部姿态,确定所述驾驶员的目标头部姿态,并根据所述目标头部姿态确定所述驾驶员是否目视前方;

相应的,所述第二确定模块,具体用于当所述驾驶员存在低头行为,且所述驾驶员非目视前方时,确定所述驾驶员存在异常驾驶行为。

18.根据权利要求17所述的装置,其特征在于,所述第四确定模块包括:统计子模块,用于统计所述驾驶员在各视频帧中出现次数最多的候选头部姿态出现的第一数量,以及所述第一视频帧、所述第二视频帧、和所述第三视频帧的总数量,并确定所述第一数量与所述总数量的比值;

第三判断子模块,用于判断所述比值是否大于预设比值阈值;

第四确定子模块,用于当所述第三判断子模块判断结果为是时,将所述候选头部姿态确定为所述驾驶员的目标头部姿态;

第五确定子模块,用于当所述第三判断子模块判断结果为否时,将预设默认头部姿态确定为所述驾驶员的目标头部姿态。

19.根据权利要求18所述的装置,其特征在于,所述装置还包括:第三检测模块,用于检测当前车速;

第三调整模块,用于当所述当前车速大于第五速度阈值时,减小所述预设比值阈值;当所述当前车速小于第六速度阈值时,增大所述预设比值阈值,其中,所述第五速度阈值大于所述第六速度阈值。

20.根据权利要求12-19任一项所述的装置,其特征在于,所述第一获取模块包括:提取子模块,用于提取所述第一视频帧的第一图像特征;其中,所述第一图像特征包括以下至少一项:颜色特征和纹理特征;

识别子模块,用于将所述第一图像特征输入预先训练的人脸检测模型中,识别第一图像特征中与所述人脸检测模型中的图像特征相匹配的第二图像特征所在的区域,并将所述区域的位置信息确定为所述第一视频帧中驾驶员脸部区域对应的第一位置信息。

21.根据权利要求20所述的装置,其特征在于,所述装置还包括:第四获取模块,用于获取包含人脸的样本图像,并提取各样本图像的样本图像特征;

训练模块,用于将所述各样本图像特征作为训练样本,训练得到所述人脸检测模型。

22.根据权利要求12-19任一项所述的装置,其特征在于,所述装置还包括:报警模块,用于输出报警信息。

23.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-11任一所述的方法步骤。