利索能及
我要发布
收藏
专利号: 2019109882185
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于相机位姿估计和深度学习的机器人运动状态识别方法,其特征在于,包括以下步骤:

步骤1,采集连续视频帧序列图像并进行预处理,提取每一帧图像的加速稳健特征点,根据上一帧提取的加速稳健特征点进行加速稳健特征点对的位置的预判,进行加速稳健特征点的匹配,并对匹配的加速稳健特征点对进行筛选;

步骤2,使用光流法和对极约束的方法分析提取的加速稳健特征点,并依据随机抽样一致算法,排除离群值,计算出每一个时间段内相机的欧式变化矩阵;

步骤3,把相机的欧式变化矩阵的变化转化为经时间修正过的运动描述向量,再把经时间修正过的运动描述向量转化为运动描述矩阵;

步骤4,构建卷积神经网络,把运动描述矩阵和动作标签矩阵作为输入训练,得到运动预测模型;

步骤5,利用运动预测模型实时判断机器人运动状态。

2.根据权利要求1所述的方法,其特征在于,步骤1包括如下步骤:步骤1‑1,采集连续视频帧序列图像,所述图像为彩色图像,保留彩色图像,并将彩色图像转化为灰度图像;

步骤1‑2,按照光照亮度把彩色图像进行分区,如果临域亮度大于220区域的像素点数大于整个图像所含像素点数的80%,则进行针对高亮度的区域的灰度图像增强对比度,如果临域亮度小于35区域的像素点数大于整个图像所含像素点数的80%,则进行针对低亮度的区域的灰度图像增强对比度,临域是指一个像素点和该像素点的八临域的像素点所构成的区域;

像素点的亮度由以下公式定义:

Y(u,v)=0.299×R(u,v)+0.587×G(u,v)+0.114×B(u,v),   (1)其中,Y(u,v)表示像素点(u,v)的亮度,R(u,v)、G(u,v)和B(u,v)分别表示该像素点(u,v)的红色分量值、绿色分量值和蓝色分量值;以图像左上角为基准,u表示像素点所在行数,v代表像素点所在列数;

针对高亮度的区域的灰度图像增强对比度是指对灰度图像内的所有像素点进行灰度值变化,该变化由以下公式定义:

针对低亮度的区域的灰度图像增强对比度是指对灰度图像内的所有像素点进行灰度值变化,该变化由以下公式定义:

对于公式(2)和(3),Gy(u,v)表示当前像素点(u,v)变化后的灰度值,Gy0(u,v)表示当前像素点(u,v)变化前的灰度值;

步骤1‑3,提取图像的加速稳健特征点;

步骤1‑4,对所有提取的距离过近的特征点进行筛选:对于两个距离过近的加速稳健特征点,任意选取其中一个加速稳健特征点保留,删除另一个加速稳健特征点;如果两个加速稳健特征点的坐标满足如下公式,则为距离过近:x1、y1分别表示两个加速稳健特征点中的一个加速稳健特征点的横坐标和纵坐标,x2、y2分别表示另一个加速稳健特征点的横坐标和纵坐标;width指图像水平方向的像素点的数量,height指图像竖直方向的像素点的数量;

反复判断,直至任意两个加速稳健特征点都不满足不等式(4);

筛选后的特征点的像素坐标记为pp[i,j],i代表当前帧的编号,j代表特征点的编号;

步骤1‑5,计算加速稳健特征点的世界坐标;

步骤1‑6,计算下一帧图像预测的欧式变化矩阵;

步骤1‑7,进行加速稳健特征点对位置的预判;

步骤1‑8,依据步骤1‑7中得出来的特征点对位置的预判,划分出当前帧图像的旧区域和新区域,其中旧区域为包含原有像素点在新的图像中的区域,新区域为当前帧图像不包含旧区域的区域;使用暴力匹配的方法将当前帧图像的旧区域的特征点和上一帧图像的特征点进行匹配,得出匹配的特征点对集合Matchsori,并对匹配的特征点对集合Matchsori进行筛选,初步去除离群值,得到筛选后的匹配的特征点对集合Matchs。

3.根据权利要求2所述的方法,其特征在于,步骤1‑5包括:根据当前帧的特征点的像素坐标,计算出所有特征点的世界坐标,计算过程由以下公式给出:

‑1 ‑1

pwnc[i,j]=T[i] K pp[i,j],    (17)其中,pw[i,j],pwnc[i,j],pp[i,j]均为三维列向量,pwnc[i,j]代表特征点的未修正的世界坐标,pw[i,j]代表特征点的世界坐标,T[i]代表累计的欧式变化矩阵,其初始值为4×4的单位矩阵,K代表相机的内参矩阵,pwnc[i,j](2)指三维列向量pwnc[i,j]中第三个元素。

4.根据权利要求3所述的方法,其特征在于,步骤1‑6包括:计算出下一帧图像预测的欧式变化矩阵Tpct[i+1]:Tct[i]表示当前帧的欧式变化矩阵。

5.根据权利要求4所述的方法,其特征在于,步骤1‑6中,根据如下公式计算当前帧的欧式变化矩阵Tct[i]:

其中,相机的欧式变化矩阵Tct[i] 为4×4的矩阵,代表第j个匹配的特征点对相邻两帧图像相机欧式变换;R[i]为3×3的矩阵,代表相邻两帧图像相机欧式变换的旋转矩阵;t[i]为三维列向量,代表相邻两帧图像相机欧式变换的位移向量。

6.根据权利要求5所述的方法,其特征在于,步骤1‑7包括:使用加速稳健特征点的世界坐标以及下一帧图像预测的欧式变化矩阵,计算出每个特征点的像素坐标的预测值,计算过程由如下公式给出:Tp[i]=Tpct[i]T[i‑1],    (5)ppr[i+1,j]=KTp[i]pw[i,j],     (6)其中,ppr[i+1,j]为三维列向量,代表下一帧特征点的像素坐标的预测值;ppr[i+1,j](k)代表向量中第k个元素,k=0,1,2;Tp[i]代表当前帧累计的欧式变化矩阵的预测值;T[i‑1]代表上一帧累计的欧式变化矩阵;u′[i,j],v′[i,j]分别代表像素点在新的图像中的横坐标和纵坐标。

7.根据权利要求6所述的方法,其特征在于,步骤2包括如下步骤:步骤2‑1,通过光流法提取出光流的分布情况,得出光流方向的矢量vld[i];

步骤2‑2,对极约束:对于筛选后的匹配的特征点对集合Matchs,使用对极几何计算出相邻2帧图像中每个匹配的特征点对对应的相邻两帧图像相机欧式变换的旋转矩阵和相邻两帧图像相机欧式变换的位移向量,由以下公式给出:T

pp[i,j]=[u[i,j],v[i,j],1],    (10)T

pp[i‑1,j]=[u[i‑1,j],v[i‑1,j],1],    (11)其中pp[i,j],pp[i‑1,j]均为三维列向量,pp[i,j]表示匹配的特征点对中的一个点的像素坐标,pp[i‑1,j]表示匹配的特征点对中的另一个点的像素坐标,(u[i,j],v[i,j])指当前帧图像特征点的像素平面坐标,(u[i‑1,j],v[i‑1,j])指前一帧图像特征点的像素坐标;

使用随机抽样一致算法去除离群值之后,解出R[i]、t[i],使得所有特征点对的综合偏离值最小,偏离值dbias由以下公式给出:步骤2‑3,根据如下公式计算得到预估的光流方向的矢量vldp[i]:vldp[i]=Tct[i]vld[i‑1],    (14)其中,vld[i‑1]表示上一帧的光流方向的矢量,vld[i]表示当前帧的光流方向的矢量;

预估的光流方向的矢量vldp[i]为三维列向量;

将vldp[i]与vld[i]相比较,如果相差过大,则使用光流方向的矢量vld[i‑1]、vld[i]与任意4个不是步骤2‑2中被判定为离群值的筛选后的匹配点对重新解方程(12),得出欧式变化矩阵Tct[i],当满足如下不等式,表示相差过大:|vld[i]‑vldp[i]|>0.2×|vld[i]+vldp[i]|,    (15)步骤2‑4,根据如下公式计算出当前帧图像的累计的欧式变化矩阵T[i]:T[i]=Tct[i]T[i‑1],    (16)。

8.根据权利要求7所述的方法,其特征在于,步骤3包括如下步骤:步骤3‑1,将得出的欧式变化矩阵转化为欧式变换描述向量,欧式变换描述向量为一个

5维行向量且与欧式变化矩阵有一一对应的关系,由以下公式给出:ar[i]=[θx[i] θy[i] θz[i] mx[i] my[i]],     (27)其中,θx[i]代表俯仰角,θy[i]代表偏航角,θz[i]代表翻滚角,mx[i]代表修正后的x轴方向位移量,my[i]代表修正后的y轴方向位移量,ar[i]代表欧式变换描述向量;R[i]r0,c0代表矩阵R[i]中第r0行第c0列的元素;t[i](n0)代表向量t[i]中第n0个元素;

步骤3‑2,将得出的欧式变换描述向量ar[i]除以两帧之间的时间,得到第i帧的图像的经时间修正过的欧式变换描述向量a[i]:其中Δt为编号为i‑1和编号为i的两帧图像之间的时间间隔;

步骤3‑3,对于第i帧的图像计算出的经时间修正过的欧式变换描述向量,经过以下变换得出运动描述向量:

vd[i]=[a[i] a[i+1] a[i+2] … a[i+9]],     (29)其中,vd[i]代表第i帧的图像的运动描述向量,为一个50维的向量;

动作标签向量用于标记需要识别的运动类型;记运动类型有n种,分别为运动1、运动2、运动3、……、运动n,运动h的动作标签向量为一个n维向量,其中第h项为1,其余项为0,1≤h≤n,且h为整数;

由运动描述向量得出运动描述矩阵:Va代表运动描述矩阵;

由动作标签向量得出动作标签矩阵:ld[i]代表第i帧的图像的动作标签向量,La代表动作标签矩阵;

动作标签矩阵中每一个行向量和运动描述矩阵中每一个行向量有着一一对应的关系。

9.根据权利要求8所述的方法,其特征在于,步骤4:把运动描述矩阵和动作标签矩阵作为输入输入卷积神经网络,设置迭代次数为x,经过训练,得到运动预测模型Model。

10.根据权利要求9所述的方法,其特征在于,步骤5包括如下步骤:步骤5:在得到运动预测模型Model之后,在实时运行过程之中,重复步骤1~步骤3,得到运动描述向量a[i],把运动描述向量a[i]输入运动预测模型,输出判定结果向量res[i],遍历res[i]直到找到res[i]中最大元素的编号,记为s,则实时的运动状态为运动s,1≤s≤n。