利索能及
我要发布
收藏
专利号: 2017102698929
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-04-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种保证准确性的车辆运动状态估计方法,其特征在于,包括:步骤一、特征提取:首先,根据装载于车辆上的视频摄像机,获得以帧为单位的待分析视频图像数据,每一帧视频图像对应一个二维点阵;然后,提取当前帧中图像特征点集合,采用光流算法计算当前帧图像特征点在下一帧图像中对应特征的位置,获得关于当前帧图像和下一帧图像中的特征点对集合;之后,反向使用光流算法过滤掉特征点对集合中的噪声数据;

步骤二、数据分析:首先,采用随机采样一致算法和八点算法相结合,从步骤一得到的特征点对集合中求得一个基本矩阵;然后,通过多次迭代采样过程,将所得的基本矩阵按对整个特征点对集合的匹配程度由高到低排序,并根据视频摄像机的固有参数求得本质矩阵;之后,对所得本质矩阵做分解,求解对应的运动方向向量与旋转矩阵;

步骤三、结果验证:对求得的运动方向向量与旋转矩阵进行校验,确定最终的车辆运动状态估计结果;

其中步骤二中求得本质矩阵的具体步骤如下:步骤41)、在集合S和S′中随机选取8组对应点,分别记为(xl,yl)和(x′l,y′l),l∈[1,8],构造一个矩阵A:步骤42)、对矩阵A进行分解得到A=UADAVA,具体步骤如下:步骤421)计算矩阵B=ATA;

步骤422)初始化特征向量矩阵VA为9×9的单位矩阵,其中单位矩阵是指主对角线上元素全为1,其余元素为0的矩阵;

步骤423)在矩阵B中找到除主对角线外绝对值最大的元素brc,其中brc是指矩阵B中第r行第c列的元素,根据公式 求得 计算矩阵H,H是一个旋转矩阵,其中余下元素中主对角线元素为1,非对角线元素为

0;

步骤424)迭代计算B←HTBH,VA←HVA,若此时B中除主对角线上的元素外绝对值最大的元素大于阈值thB,则返回步骤423)继续迭代,否则此时B中主对角元素就是矩阵ATA的特征值,对应列的矩阵VA中的列向量就是对应的特征向量;将特征值按绝对值大小依次排列,记为λ1,λ2,…,λ9,对应的特征向量为s1,s2,…,s9;得到DA=diag(λ1,λ2,…,λ9),VA=(s1,s2,…,s9);

步骤425)计算 得到矩阵UA=(w1,w2,…,w8),得到A=UADAVA;

步骤43)、选取VA的第9列作为向量s:s=[s1 s2 s3 s4 s5 s6 s7 s8 s9]T步骤44)、计算得到基本矩阵F′:步骤45)、计算矩阵 其中,fx、fy为视频摄像机的焦距;x0、y0是视频摄像机相对于成像平面的主点坐标,w为坐标轴倾斜参数,理想状态下为0;

步骤46)计算求得本质矩阵E=KTF′K。

2.根据权利要求1所述的车辆运动状态估计方法,其特征在于,步骤一具体如下:步骤1)、设共获得n帧视频图像,所述的每一帧视频图像对应一个二维点阵,点阵中每一个点上的数值指该位置图像的灰度值,每一帧图像以左下角为起始位置,用元组(1,1)表示左下角位置的点,初始化数值k为2,对第k-1帧中图像提取所需特征点,形成点集S;

步骤2)、定义点集S′,表示集合S中的特征点在第k帧中的对应点集合,并将其初始化为空集,寻找S中的特征点在第k帧中的对应点加入集合S′;

步骤3)、反向计算集合S′中的对应点在第k-1帧的位置,并构成点集S″,比较集合S和集合S″中的对应点,如果距离大于设定阈值则在S和S′中将对应点删去。

3.根据权利要求2所述的车辆运动状态估计方法,其特征在于,步骤1)具体如下:步骤11)、定义点集S,将其初始化为空集,所述S是指第k-1帧中特征点的集合,所述的特征点是指二维平面上的点;

步骤12)、在第k-1帧中选取未计算过的点(i,j),计算Mi,j:其中,(i,j)指的是第k-1帧中第i行,第j列的点,W是以(i,j)为中点的矩形点集,Ix和Iy分别是图像水平和竖直方向的导数,

I(x,y)指点(x,y)处的灰度值;

步骤13)、求矩阵Mi,j的特征值λ1,λ2,当其中模较小的特征值的模大于一个质量因子Mf,将点(i,j)加入点集S,所述λ1,λ2是关于λ的方程|Mi,j-λE|=0的两个根,E指的是二阶单位矩阵,即 λ是方程中的变量;

步骤14)、当第k-1帧中还有未计算的点时,转到步骤12)。

4.根据权利要求3所述的车辆运动状态估计方法,其特征在于,步骤2)具体步骤如下:步骤21)、选取点集S中未被选取的一点u,计算在S′的对应点为u′,具体步骤如下:步骤211)对第k-1帧图像I,第k帧图像J,建立图像I和图像J的金字塔模型:{IL}L=0,1...Lm,{JL}L=0,1...Lm,其中IL,JL是原始帧图像I、图像J的第L层采样层,Lm是采样的最高层层数,原始图像对应的层数为0,初始化金字塔的光流估计量: 并初始Lm

化g : 符号T指的是矩阵的转置符号,将数值L初始化为Lm;

步骤212)定位图像IL上点u的位置 用IL对x求偏导数,有用IL对y求偏导数,有

计算矩阵 其中wx,wy是指计算矩阵G时所考虑周围点的范围;

步骤213)定义数值P表示迭代次数,初始化P为1,初始化迭代向量v=[0 0]T,光流估计矢量g=[0 0]T,迭代步骤如下:L

步骤a)计算图像像素差δI(x,y):根据像素差计算图像的不匹配量

步骤b)计算光流η=G-1b;

步骤c)对迭代中的v进行修改v←v+η;

步骤d)计算P←P+1,当P≤Pm时转到步骤a),所述的Pm是设置的迭代次数;

步骤214)求得第L层的最终光流d=v,当L不为0时,计算L-1层上的光流为并对L修改为L←L-1,转到步骤212);

步骤215)计算最终的光流矢量d←g+d,得出u′=u+d,所述的u′是点u在第k帧中的位置矢量;

步骤22)、根据步骤21),将计算得到的点u′加入S′;

步骤23)、当没有将S中的点全部遍历时,转到步骤21)执行。

5.根据权利要求4所述的车辆运动状态估计方法,其特征在于,步骤3)具体步骤如下:步骤31)、对于点集S′中的任意一点u′,求得其在点集S″的对应点为u″,具体步骤如下:步骤311)对第k-1帧图像I,第k帧图像J,建立图像I和图像J的金字塔模型:{IL′}L′=0,1...Lm′,{JL′}L′=0,1...Lm′,所述的IL′,JL′是原始帧图像I,J的第L′层采样层,Lm′是采样的最高层层数,原始图像对应的层数为0;初始化金字塔的光流估计量:并初始化g′Lm′=[0 0]T,将数值L′初始化为Lm′;

步骤312)定位图像JL′上点u′的位置 用JL′对x求偏导数,用JL′对y求偏导数,

计算矩阵

所述的w′x,w′y是指计算矩阵G′时所考虑周围点的范围;

T

步骤313)定义数值P′表示迭代次数,初始化P′为1,初始化迭代向量v′=[0 0] ,光流估计矢量g′=[0 0]T,迭代步骤如下:步骤a)计算图像像素差δJ′L(x,y):根据像素差计算图像的不匹配量

步骤b)计算光流η′=G′-1b′;

步骤c)对迭代中的v′进行修改v′←v′+η′;

步骤d)计算P′←P′+1,当P′≤Pm′时转到步骤a),所述的Pm′是设置的迭代次数;

步骤314)求得第L′层的最终光流d′=v′,当L′不为0时,计算L′-1层上的光流为并对L′修改为L′←L′-1,转到步骤312);

步骤315)计算最终的光流矢量d′←g′+d′,得出u″=u′+d′,所述的u″是点u′在第k-1帧中的位置矢量;

步骤32)、将点u″加入S″,当没有将S′中的点全部遍历时,转到步骤311)执行;

步骤33)、在S中的取未遍历一点u=[x y]T,在S″中的对应的点为u′=[x″ y″]T,如果两点的距离 大于预设阈值thd,则在S中删去u,在S′中删去u的对应点u′;

步骤34)、当S中还有未遍历的点时,转到步骤33)执行。

6.根据权利要求1所述的车辆运动状态估计方法,其特征在于,步骤二中,对所得本质矩阵做分解,求解对应的运动方向向量与旋转矩阵具体步骤如下:步骤51)、对本质矩阵E按步骤42)的方法分解为 并保证det(UE)>0且det(VE)>0,所述的det指的是求解矩阵的行列式值;

步骤52)、计算得到运动方向矢量 其中u13,u23,u33分别是步骤51)中矩阵UE对应位置的元素值;

T

步骤53)定义 计算得旋转矩阵R=UEMV。

7.根据权利要求6所述的车辆运动状态估计方法,其特征在于,步骤三根据运动方向和旋转矩阵的约束关系做验证,具体如下:步骤61)、根据旋转矩阵R,求得前一帧时车辆的运动方向t0=R-1t,以t0在xoz平面的投影为x′轴方向,原y轴为y′建立新的局部坐标系,将R和t在新的坐标系里记为R′和t′,车辆绕y′轴的旋转角度,记为β;

步骤62)、计算|t′z tan(β/2)-t′x|,其中t′x、t′z是运动方向t′在x′、z′方向的分量,当该值小于预设的阈值,那得到的R,t即为所求的旋转矩阵和运动方向向量,否则转向步骤

41)。

8.根据权利要求1所述的一种保证准确性的车辆运动状态估计方法,其特征在于:所述的矩阵A是8×9的矩阵。

9.根据权利要求1所述的一种保证准确性的车辆运动状态估计方法,其特征在于所述的矩阵B是实对称矩阵。