利索能及
我要发布
收藏
专利号: 202110662092X
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于机器视觉的高空抛物监测定位方法,其特征在于:包括以下步骤:S1,双目相机同步;

S2,相机标定,获取左右相机的内外参数;

S3,采集图像并对左右图像进行校正;

S4,对左右相机分别进行基于混合高斯建模和背景差分法的运动物体检测;

所述步骤S4包括以下子步骤:

S41,建立高斯混合背景模型;取100帧背景视频图像作为样本,对图像中每个像素一个混合高斯模型,每个混合高斯模型包含多个子高斯模型,每个子高斯模型的参数包括均值、方差和权重;

S42,将当前图像与背景进行差分;对于新输入图像的每一个像素,将其与子模型进行匹配,匹配条件为:其中Ib(u,v)为输出差分二值图像中位置为(u,v)的像素的索引值;I(u,v)为输入图像中坐标为(u,v)的像素的索引值;meanm为子高斯模型参数中的均值;varm为子高斯模型参数中的方差;vt为预设的阈值系数,varm×vt称为匹配阈值;

通过匹配获得差分二值图像,二值图像索引值为1表示该像素属于前景;索引值0为表示该像素属于背景;

S43,处理差分二值图像;对差分二值图像进行滤波和闭运算;其中滤波采用中值滤波;

闭运算将属于同一目标的多块小连通区域连通成一块大的连通区域;

S44,寻找最大连通区域;在滤波后的二值图中寻找最大的连通区域,并统计其像素个数,如果大于设定的阈值,则判定为存在运动物体;对所有大于设定阈值的连通区域,取其外接矩形作为特征区域S;

S45,计算特征区域S的质心,计算方法如下:其中M称为特征区域的质量;(umass,vmass)为特征区域质心的位置,将其作为特征区域的特征点;

S46,对当前帧的同步左右图像分别进行步骤S41至S45所述的目标检测,记录特征区域的数量,并对特征区域编号、记录其覆盖的范围和特征点坐标;

S5,在左连续图像序列中进行基于SORT算法的目标跟踪;

S6,在左右同步图像中进行基于SAD算法的目标特征匹配;

S7,根据左右图像的匹配结果对目标进行三维定位,获得目标运动过程中的空间坐标集合;

所述步骤S7包括以下子步骤:

S71,对当前帧的同步左右图像分别进行S4和S6所述的检测、追踪与匹配,获取目标点在左右图像中的像素坐标;将目标点的像素坐标转换至以相机主点为原点的图像坐标系:其中(x,y)为目标点在图像坐标系下的坐标;(u,v)为目标点在像素坐标系下的坐标;

(u0,v0)为相机主点在像素坐标系下的坐标;

S72,根据目标点当前帧左右图像中的坐标,计算目标点的视差d:d=xl‑xr (19)

其中xl和xr为目标点在左、右图像的图像坐标系下的横坐标;

S73,根据三角形相似原理:

其中L为左相机和右相机的光心距离;f为左相机和右相机的焦距;Z为目标点的深度值;

利用式(20)计算目标点的在左相机坐标系下的Z坐标:对于横坐标X与深度Z有如下关系:

利用式(22)计算目标点的在左相机坐标系下的X坐标:对于横坐标Y与深度Z有如下关系:

利用式(24)计算目标点的在左相机坐标系下的Y坐标:T

其中yl为左图像中目标点在图像坐标系下的纵坐标;则(Xl,Yl,Zl) 即为目标点在左相机坐标系下的三维空间坐标;

S74,对同步相机视频流的每一帧图像依序进行S71~S73操作,获取物体运动过程中的三维空间坐标集合;

S8,根据左相机的外参数将坐标从相机坐标系变换至世界坐标系;

所述步骤S8中,由相机坐标系至世界坐标系的变换为:其中(Xw,Yw,Zw)为目标点在世界坐标系下的坐标;R与T为左相机的外参数;R为旋转矩‑1阵,R 为R的逆矩阵;T为平移矩阵;

S9,根据世界坐标系下的空间坐标集合计算物体轨迹方程,判断物体是否为高空抛物,进而推定坠物方位;

所述步骤S9包括以下子步骤:

S91,以视频流相邻帧之间的时间差t为自变量,以目标点的三维坐标值(Xw,Yw,Zw)为因变量,预设的多项式次数分别为1,1和2,用最小二乘法进行多项式拟合;拟合结果为:其中p为方程的系数;

S92,如果方程z=k(t)的二次项系数 即物体在竖直方向的加速度大于设定的阈值,则判定物体为高空抛物;参数方程(27)即为运动物体在世界坐标系下的轨迹方程。

2.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法,其特征在于:所述步骤S1中,通过相机的输入同步信号对双目相机进行同步,获取同一时刻的双目同步图像。

3.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法,其特征在于:所述步骤S2包括以下子步骤:S21,分别对左右两个相机进行标定,获取两相机的焦距、主点坐标、畸变映射矩阵;

S22,利用S21中的结果进行立体标定,获得右相机的内外参数和左相机的内参数;

S23,根据左相机坐标系相对于世界坐标系的旋转和位移,确定左相机坐标系相对于世界坐标系的旋转矩阵R和位移矩阵T,R和T称为左相机的外参数;其中,选取的世界坐标系的z轴正方向应竖直向上。

4.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法,其特征在于:所述步骤S3包括以下子步骤:S31,基于左右相机的内外参数和畸变映射矩阵,计算左校正矩阵和右校正矩阵;

S32,分别用左右校正矩阵对左右相机输入的每一幅图像进行校正,使左右图像处于行对准状态,即左右相机中的匹配点有相同的纵坐标。

5.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法,其特征在于:所述步骤S5包括以下子步骤:S51,对每一个移动物体建立加速运动模型:xk称为模型的状态向量,其中u和v分别代表目标特征点的水平和垂直像素位置;s和r表示目标特征区域的尺寸大小和比例;和 表示目标特征点在水平和垂直方向上的移动速度;表示目标特征区域的尺寸的变化量;和 表示目标特征点在水平和垂直方向上的加速度;同时初始化该运动模型的误差矩阵P;

S52,通过卡尔曼滤波预测目标特征区域和特征点在下一帧的位置;目标特征区域和特征点在图像中的位置记为:T

z=[u v s r](6)

定义状态转移矩阵A:

其中t表示相邻帧之间的时间差;

定义观测矩阵H:

预测步骤如下;

x'k+1=Axk(9)

z'k+1=Hx'k+1(10)

T

P'k+1=APkA+Q(11)

其中x'k+1表示预测的目标在下一帧中的状态;Q为4×4预测噪声协方差矩阵;通过式(10)得到预测的目标特征区域和特征点在下一帧中的位置z'k+1;

S53,计算在下一帧预测的特征区域与实际检测到的各移动物体特征区域的交并比IoU:其中I表示预测的特征区域与检测到的特征区域重叠部分的像素数;U表示表示预测的特征区域与检测到的特征区域在图像中共同覆盖的像素数;

S54,以IoU为权重,将IoU小于阈值IoUmin的路径权重设为0;用KM算法对相邻帧的移动物体进行匹配;

S55,对于成功匹配的两个移动物体,认为它们是同一物体,统一它们的编号;

S56,对于未能成功匹配的移动物体,认为当前帧中的移动物体消失,下一帧中的移动物体为新物体;

S57,对于消失的物体,停止对它的追踪;对于新物体,建立S51所述的运动模型参数,开始对它的追踪;

S58,校正模型状态;将匹配结果作为观测值zk+1:T

zk+1=[u'v's'r'](13)

其中u'和v'表示下一帧中匹配到的移动物体特征点的水平和垂直像素位置;s'和r'表示匹配到的移动物体特征区域的尺寸大小和比例;

对系统状态x和误差矩阵P进行校正:

T T ‑1

Kk+1=P'k+1H(HP'k+1H+R) (14)xk+1=x'k+1+Kk+1(zk+1‑z'k+1)(15)Pk+1=(E‑Kk+1H)P'k+1(16)T

其中Kk称为卡尔曼增益;H为H的转置矩阵;E为单位矩阵;R为预设的4×4测量噪声协方差矩阵;

S59,在连续图像中逐帧对物体进行追踪,记录各个物体的特征点轨迹。

6.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法,其特征在于:所述步骤S6包括以下子步骤:S61,将左右图像转换为灰度图或转换为HSV图像后提取H分量分布图;

S62,按编号选定目标进行匹配;记录目标的特征区域SL的特征点纵坐标Y;

S63,以SL尺寸为搜索窗尺寸,将特征点在SL中的位置作为为搜索中心C在搜索窗中的位置,构建滑动搜索窗W,C相对于W的位置不变;

S64,在右图像中检测并记录由纵坐标为Y的直线和其穿过的特征区域所确定的线段,将其作为搜索中心C自左向右滑动的范围,计算SAD:其中(x,y)为某像素在区域内的坐标;SL(x,y)为SL中坐标为(x,y)的像素的索引值;W(x,y)为W所覆盖的区域中坐标为(x,y)的像素的索引值;将搜索中心C在线段上滑动过程中SAD最小的点作为匹配点PR;左图像中的特征点与其在同步右图像中的匹配点称为移动物体在左右图像中的目标点。