1.深度光流与YOLOv3时空融合的目标检测与定位方法,其特征在于,包括以下步骤:步骤1、采集不同场景下的人体行走视频并转换为视频序列;
步骤2、将步骤1所得视频序列制作人体行走训练集;
步骤3、对步骤2所得训练集进行标注获得训练集标签文件;
步骤4、搭建YOLOv3深度学习框架;
步骤5、利用步骤3所得标签文件训练步骤4所得YOLOv3深度学习框架获取人体足部目标检测权重模型;
步骤6、搭建FlowNet2深度光流网络框架;
步骤7、利用步骤2所得训练集训练步骤6所得FlowNet2深度光流网络框架获取人体行走光流模型;
步骤8、采集复杂场景下的人体行走视频作为测试集进行人体足部目标检测,复杂场景包括的条件有:光照变化、背景及物体干扰、目标和相机共同运动、目标尺度变化和目标遮挡;
步骤9、将步骤8所得测试集输入步骤7所得人体行走光流模型获取足部时域运动信息,通过颜色编码将足部时域运动信息可视化;具体为:首先在FlowNetC网络下输入连续的两帧待求解图像1和图像2,卷积网络求解后得到光流场图像、图像1、图像2,利用上一层网络估计的光流对图像2扭曲变换得到连续的图像及亮度差;其次将每组图像预测出的光流场作为输入,通过融合网络将大、小位移网络的结果融合起来,再进行卷积操作获得光流估计结果;最后将其进行颜色编码得到足部目标光流可视化图;
步骤10、将步骤9所得足部时域运动信息进行定位处理,同时将步骤8所得测试集输入步骤5所得人体足部目标检测权重模型获取足部空间位置信息,将足部时空信息进行均值融合获得足部目标位置;具体包括以下步骤:步骤10.1、足部时域运动信息定位处理
将光流可视化图进行二值化,同时利用形态学运算获取最大连通区域并计算该区域左、上边界的最小值 、 和右、下边界的最大值 、 ,得到足部目标的边界框;
步骤10.2、足部空间位置信息获取
将足部RGB图像同时输入到YOLOv3网络中,通过编写的边界框获取代码自动输出足部目标边界框;
步骤10.3、足部时空信息融合
当YOLOv3和FlowNet2检测到足部目标时,先对检测结果进行定位获取其边界框位置,然后比较两只脚边界框水平坐标的最小值,较小的为左脚,通过公式(1)对左脚和右脚进行时空信息融合:(1)
式(1)中, 为足部的融合边界框, 为YOLOv3检测的足部边界框, 为FlowNet2检测的足部边界框,融合时将边界框的左、上、右和下坐标同时进行均值融合;
若YOLOv3没有预测到足部,则FlowNet2的预测结果作为最终的预测结果;若FlowNet2没有预测到足部,则YOLOv3的预测结果作为最终的预测结果。
2.如权利要求1所述的深度光流与YOLOv3时空融合的目标检测与定位方法,其特征在于,所述步骤2中将视频序列按照“00001.jpg”的格式进行重命名,制作人体行走训练集。
3.如权利要求1所述的深度光流与YOLOv3时空融合的目标检测与定位方法,其特征在于,所述步骤3中利用LabelImg工具对训练集进行标注。