1.一种基于全局运动的视觉目标对齐方法,其特征在于,包括以下步骤:(1)对冰壶运动视频中的冰壶进行目标跟踪,得到每一帧中冰壶所在位置的像素点坐标;
(2)对视频帧与帧之间的角点进行配对,得到仿射变换矩阵,在此基础上进行估计,得到视频中摄像机的全局运动数据;
(3)手动获取视频最后一帧冰壶计分区域中心点坐标,并用全局运动数据对其进行处理,得到所有帧中计分区域中心点位置坐标;
(4)结合冰壶位置数据和冰壶计分区域中心点位置数据,计算得到冰壶在场地上的完整运动轨迹,避免了镜头运动所产生的的干扰,实现视觉目标对齐;
步骤(2)中,全局运动的估计方法为:分别对视频里的每一帧图像检测角点,使用的是Shi‑Tomasi算法;
角点质量评价方法如下:
其中w(x,y)是窗口函数,I(x,y)是该点的强度,I(x+u,y+v)是该点位移强度,E(u,v)是[u,v]这个方向上的图像灰度变化;角点检测需要使E(u,v)的值最大;
2 2 2 2
由I(x+u,y+v)=I(x,y)+Ixu+Iyv+Ο(u +v),其中,Ο(u+v)代表将I(x+u,y+v)展开后,得到的除I(x,y)+Ixu+Iyv以外的余项部分,其大小忽略不计;因此得到:将 记为Δ,则,
这里Ix和Iy是x和y方向的导数;令λ1,λ2为M的特征值,则打分函数为:R=min(λ1,λ2)
如果打分R超过设定的角点质量评价值,就认为它是角点;设定的角点质量评价值设置为0.01;
之后根据两帧之间配对成功的角点,估计出两帧之间的仿射变换矩阵,从中提取出后一帧相对于前一帧的全局运动变量,包括水平方向位移量、垂直方向位移量、倾斜角度、缩放尺度。
2.根据权利要求1所述的方法,其特征在于步骤(1)中,对冰壶的目标跟踪的具体方法为:对冰壶进行目标检测,使用的是siamRPN++深度学习算法,该方法直接对视频每一帧里的冰壶进行跟踪,得到冰壶在当前图像里的位置,返回结果是每一帧里冰壶检测矩形框的四个角的坐标值;继续对该结果进行处理,得到矩形框中心位置的坐标,并将其视为冰壶中心位置坐标。
3.根据权利要求1所述的方法,其特征在于步骤(3)中,对于手动获取到的冰壶计分区域中心点的位置坐标,使用步骤(2)中得到的全局运动变量对其进行处理,便能得到前一帧的计分区域中心点位置坐标;以此类推,直到获得视频所有帧中的计分区域中心点位置坐标。
4.根据权利要求1所述的方法,其特征在于步骤(4)中,对步骤(1)得到的冰壶位置数据进行处理,求得冰壶检测框的中心位置坐标,将该数据与步骤(3)得到的每一帧中冰壶计分区域中心点位置坐标相结合进行计算,得到视频每一帧中冰壶相对于计分区域中心的相对位置坐标;将结果绘制在冰壶比赛场地全景图上,得到冰壶完整运动轨迹的可视化数据。