1.基于融合不确定性和偏差消除的相机位姿估计方法,其特征在于,方法包括以下步骤:获取图片,利用图片对相机进行标定,得到相机内参矩阵,基于相机内参矩阵采用不确定性传播公式计算得出融合不确定性的协方差矩阵;
所述利用图片对相机进行标定,得到相机内参矩阵的过程:使用目标相机采集m张图片,提取并匹配n个特征点信息,特征点信息包括图像点和三维点 其中i表示第i个特征点,j表示第j张图片,且i=1,2,...,n,j=1,2,...,m,uij和vij分别表示像素平面坐标系下图像点qij的u轴坐标和v轴坐标,Xij,Yij和Zij分别表示世界坐标系下三维点pij的XW,YW和ZW轴的坐标,使用m张图片对目标相机标定得到相机内参矩阵K:其中,fx,fy分别为相机x轴和y轴上的焦距,(u0,v0)为主点坐标;
所述融合不确定性的协方差矩阵通过建立相机标定的重投影误差函数,对相机参数求偏导建立雅可比矩阵J,得到相机内参的协方差矩阵ΣK,通过不确定性传播公式,得到相机内参不确定性传播到像素点的不确定性的协方差Φi,构建特征点提取误差的协方差逆矩阵 特征点提取误差的协方差矩阵为Ci,融合不确定性的协方差矩阵建模为Σi=Φi+Ci;
所述相机内参的协方差矩阵ΣK的计算如下:
特征点的投影误差建模为:
其中,和 分别表示像素坐标系下图像点和投影点u轴坐标和v轴坐标的差值,e1,e2,e3为中间矩阵,形式为e1=[1,0,0],e2=[0,1,0],e3=[0,0,1];R和t表示相机的外参,形式如下:其中r1,r2,r3为旋转矩阵第一列,表示世界坐标系XW轴在相机坐标系中的投影;r4,r5,r6为旋转矩阵第二列,表示世界坐标系YW轴在相机坐标系中的投影;r7,r8,r9为旋转矩阵第三列,表示世界坐标系ZW轴在相机坐标系中的投影;t1,t2,t3分别表示平移在XW,YW和ZW方向的分量,令T=[R,t],表示相机的外参矩阵,对式(2)的相机参数K和T求偏导,得到雅可比矩阵J:其中,Aj和Bj是中间矩阵,j=1,2,...,m,Aj表示第j张图片中每个像素点残差对相机内参的偏导矩阵;Bj表示第j张图片中每个像素点残差对相机外参的偏导矩阵,形式如下:其中, 表示函数(*)对变量(·)求偏导;
Ki表示K的第i个参数,顺序为fx,fy,u0,v0;
Ti表示T的第i个参数,顺序为r1,r2,r3,r4,r5,r6,r7,r8,r9,t1,t2,t3;
·
相机参数K和T的协方差矩阵为J J:
其中, 表示矩阵[*]的转置矩阵;
令 其中,diag[*]表示[*]的对角矩阵, 表示为:
从式(7)中提取关于相机内参K的协方差矩阵ΣK:所述相机内参不确定性传播到像素点的不确定性的协方差Φi的计算过程:将相机坐标系下的点 投影到像素坐标系下的点 的投影方程为:其中,xi,yi和zi分别表示相机坐标系下三维点 的XC,YC和ZC轴的坐标;ui和vi分别表示像素坐标系下图像点qi的u轴坐标和v轴坐标,而将像素坐标系反向投影到相机坐标系下,反投影得到相机坐标系的点 为:由相机内参不确定性传播引起的像素不确定性的协方差Φi为:其中,Pi是公式(9)中相机内参的偏导矩阵:对特征点提取误差的协方差逆矩阵 建模:
其中,Ci为测量误差的协方差矩阵,Wi为以特征点(ui,vi)为中心的椭圆区域,wi(ui,vi)为椭圆区域的像素灰度之和,和 分别为图像在u和v方向上的梯度;
所述融合不确定性的协方差矩阵Σi为:
Σi=Φi+Ci (14)
然后,构造基于融合不确定性的目标函数,针孔相机投影模型为:两边同时除以深度信息,通过式(15)可得到像素点残差εi:其中, 为简化式(16),令 式(16)简写为:则有基于融合不确定性的目标函数:
其中, 是Σi的逆矩阵;
对每个残差项εi进行一阶泰勒展开:
εi≈HiδT(19)
其中,Hi是残差对相机外参数T=[R,t]的雅可比矩阵,δT是旋转矩阵和平移向量的偏差;
构建线性最小二乘目标函数:
从线性最小二乘目标函数式(20)构建正规方程:其中,
获取相机外参的雅可比矩阵和扰动,将预先建立的融合不确定性的目标函数转换为线性最小二乘目标函数,其中,所述预先建立的融合不确定性的目标函数基于融合不确定性的协方差矩阵构建;
对线性最小二乘目标函数进行迭代优化,并进行求解,得到校正最小二乘解,作为相机位姿估计结果;
所述得到校正最小二乘解的计算过程:
将式(20)作为优化目标函数求解位姿参数,对式(20)进行迭代优化,直到δT小于阈值或迭代次数超过设定的最大迭代次数,输出当前的旋转矩阵,如下:k k k
假设第k次迭代时的相机外参数为T=[R ,t],根据式(17)和式(19)得到当前的像素k点残差 雅可比矩阵 和偏差δT,当前的正规方程为:k
求解正规方程来得到δT:
则当前估计的校正值为:
k+1 k k
T =T+δT (24)
并作为下一次迭代的相机外参,直到δT小于阈值或迭代次数超过设定的最大迭代次数,k输出当前的旋转矩阵T。
2.基于融合不确定性和偏差消除的相机位姿估计系统,采用了权利要求1中所述的基于融合不确定性和偏差消除的相机位姿估计方法,其特征在于,包括:相机标定模块,用于获取图片,利用图片对相机进行标定,得到相机内参矩阵,基于相机内参矩阵采用不确定性传播公式计算得出融合不确定性的协方差矩阵;
目标函数建立模块,用于获取相机外参的雅可比矩阵和扰动,将预先建立的融合不确定性的目标函数转换为线性最小二乘目标函数,其中,所述预先建立的融合不确定性的目标函数基于融合不确定性的协方差矩阵构建;
位姿估计模块,用于对线性最小二乘目标函数进行迭代优化,并进行求解,得到校正最小二乘解,作为相机位姿估计结果。
3.一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了权利要求1中所述的基于融合不确定性和偏差消除的相机位姿估计方法。