利索能及
我要发布
收藏
专利号: 2021106755715
申请人: 西安电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多传感器松紧耦合的无人机位姿估计方法,其特征在于,利用融合视觉、IMU和GPS传感器数据,分别构建视觉残差、IMU残差和GPS残差,通过紧耦合优化得到紧耦合优化后的无人机位姿,对紧耦合优化后的无人机位姿进行松耦合得到优化后的无人机位姿;该方法的步骤包括如下:(1)获取传感器的数据:

(1a)无人机携带的视觉传感器以采集频率a实时采集至少20帧的黑白图像,a为区间[10,30]赫兹内任选的一个整数;

(1b)无人机携带的IMU传感器以采集频率b实时采集至少200组的无人机加速度和角速度读数值,b为区间[100,200]赫兹内任选的一个整数;

(1c)无人机携带的GPS传感器以采集频率c实时采集至少40个的无人机经纬度值,c为区间[20,100]赫兹内任选的一个整数;

(2)对传感器的数据进行预处理:

(2a)从每帧黑白图像中提取至少30,至多200个FAST特征点,计算每个特征点的BRIEF描述子,从该特征点所在图像的相邻图像中寻找描述子相同的特征点;

(2b)利用预积分公式,计算相邻图像之间的预积分量;

(2c)利用坐标系转换公式,将所有采集到的无人机经度、纬度和高度转换为东北天坐标系下的坐标;

(3)对无人机位姿进行紧耦合:

(3a)利用重投影公式,计算每个图像中提取特征点的视觉残差;

(3b)利用运动学公式,计算每个图像与相邻图像对应无人机位置之间的IMU残差;

(3c)按照下式,计算每个图像对应无人机的GPS残差:

EN=Pi‑Nx

其中,EN表示第i个图像对应无人机的GPS残差,Pi表示第i个图像与第1个图像分别对应无人机的位置差值,Nx表示x时刻与第1个图像时刻分别对应的GPS差值;

(3d)将每个图像中每个特征点的视觉残差、每个图像与相邻图像对应无人机位置之间的IMU残差和每个图像对应无人机的GPS残差和最小化,即可得到紧耦合优化后的无人机位姿;

(4)优化无人机的位姿:

(4a)按照下式,计算每个图像对应无人机的绝对误差;

其中,E1,i表示第i个图像对应无人机的绝对残差,‖·‖表示取模长操作,μx表示无人机携带的GPS传感器在x时刻的置信度;

(4b)按照下式,计算每个图像与相邻图像分别对应无人机之间的相对误差;

其中,E2,(i,i+1)表示第i个图像与相邻的第i+1个图像分别对应无人机之间的相对误差,T(i,i+1)表示紧耦合优化后第i个图像与相邻的第i+1个图像分别对应无人机的位置差值,N(i,i+1)表示第i个图像与相邻的第i+1个图像分别对应无人机在东北天坐标系中的坐标差值,R(i,i+1)表示第i个图像与相邻的第i+1个图像分别对应无人机的旋转差值,T表示矩阵的转置操作,Ri表示紧耦合优化后第i个图像与第1个图像分别对应无人机的旋转差值,Ri+1紧耦合优化后表示第i+1个图像与第1个图像分别对应无人机的旋转差值;

(4c)利用下式,得到无人机松耦合优化后的位姿:

其中,min{·}表示最小化操作,n表示无人机携带的视觉传感器在飞行过程中获取到的所有图像的总数量,∑表示求和操作。

2.根据权利要求1所述的基于多传感器融合的无人机位姿估计方法,其特征在于,步骤(2a)中所述计算每个特征点的BRIEF描述子是由下述步骤得到的:第一步,在待计算的特征点周围随机选取256对像素点;

第二步,对于每一对像素点,如果先选取像素点的亮度大于后选取像素点的亮度,则将待计算的特征点的描述子对应位置为1,否则设置为0,得到该像素点对的二进制数;

第三步,将256对像素点的二进制数组合成一个二进制串,作为该特征点的BRIEF描述子。

3.根据权利要求1所述的基于多传感器融合的无人机位姿估计方法,其特征在于,步骤(2b)中所述预积分公式如下:其中,P(i,i+1)表示第i个图像与相邻的第i+1个图像分别对应的无人机位置之间的预积分量中加速度对位移的增量,a(t)表示t时刻无人机的加速度,n1(t)表示t时刻无人机加速度中的噪声,V(i,i+1)表示第i个图像与相邻的第i+1个图像分别对应的无人机位置之间的预积分量中加速度对速度的增量,Q(i,i+1)表示第i个图像与相邻的第i+1个图像分别对应的无人机位置之间的预积分量中角速度对旋转的增量,w(t)表示t时刻无人机的角速度,n2(t)表示t时刻无人机角速度中的噪声,R(i,t)表示从第i个图像对应的无人机位置到t时刻无人机位置的旋转变化量。

4.根据权利要求1所述的基于多传感器融合的无人机位姿估计方法,其特征在于,步骤(2c)中所述坐标系转换公式如下:x(t)=(N+alt(t))cos(lat(t))cos(lon(t))y(t)=(N+alt(t))cos(lat(t))sin(lon(t))2

z(t)=(N(1‑u)+alt(t))sin(lat(t))

其中,x(t)表示t时刻无人机在东北天坐标系中位姿的横坐标值,N表示基准椭球体的曲率半径,alt(t)表示t时刻无人机的高度,lat(t)表示t时刻无人机的纬度,lon(t)表示t时刻无人机的经度,y(t)表示t时刻无人机在东北天坐标系中位姿的纵坐标值,z(t)表示t时刻无人机在东北天坐标系中位姿的竖坐标值,u表示基准椭球体的偏心率。

5.根据权利要求1所述的基于多传感器融合的无人机位姿估计方法,其特征在于,步骤(3a)中所述重投影公式如下:其中,Eh表示第h个特征点的视觉残差,xh表示第h个特征点在第i个图像中归一化坐标系的横坐标值,zh表示第h个特征点在第i个图像中归一化坐标系的竖坐标值,uh表示第h个特征点在第i个图像中像素坐标系的横坐标值,yh表示第h个特征点在第i个图像中归一化坐标系的纵坐标值,vh表示第h个特征点在第i个图像中像素坐标系中的纵坐标值。

6.根据权利要求3所述的基于多传感器融合的无人机位姿估计方法,其特征在于,步骤(3b)中所述运动学公式如下:其中,Ei表示第i个图像与相邻的第i+1个图像分别对应无人机位姿之间的IMU残差,Pi+1表示第i+1个图像与第1个图像分别对应无人机的位置差值,Vi表示第i个图像对应无人机的速度,Δt(i,i+1)表示第i个图像与相邻的第i+1个图像之间的时间差值,g表示重力加速度,Vi+1表示第i+1个图像对应无人机的速度,qi+1表示第i+1个图像与第1个图像分别对应无人机的旋转差值, 表示四元数乘法操作,qi第i个图像与第1个图像分别对应无人机的旋转差值。