利索能及
我要发布
收藏
专利号: 2024105475975
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双目相机的四旋翼无人机视觉目标识别与定位方法,其特征在于,包括如下步骤:S1、两对双目相机及参数的配置:在四旋翼无人机的前后各配置一对RGBD双目相机,对前后双目相机进行参数配置、同步和校准,减少结构光的干扰,具体为:位于无人机的前后的双目相机分别为A和B,在同一时间t分别捕捉带有结构光模式的环境图像,获取结构光照明产生的A和B相互干扰情况下的坐标(x,y)处的深度信息,表示为和 ;

最小化双目相机A和B在结构光环境下受干扰的深度测量值与理想无干扰深度值之间的差异,通过如下误差函数,最小化 和 与真实深度 和 之间的差异,并综合额外误差项f:

;

其中,  和 分别为A和B结构光照明无干扰情况下的坐标(x,y)处的深度信息, ;w1和w2为权重系数,用于表示当前无人机飞行状态下,相机A和B对深度估计准确性的重要程度或预期噪声水平;

基于前后双目相机两个视角获得的图像信息,估计深度值的一致性,深度估计差异越小,深度信息更可靠:;

其中,V表示深度估计的一致性度量,最小化V以提高深度估计的鲁棒性;

S2、进行环境感知与数据获取:两对双目相机分别从前后两个方向实时捕捉环境图像,通过HDR图像处理模块,对双目相机捕捉到的图像信息进行实时高动态范围HDR图像处理;

基于双目相机捕获的图像信息,根据环境变化自动调整双目相机参数,在低光环境下增加降噪处理,在高光环境下应用HDR图像合成处理,平衡处理速度与图像质量,调整曝光时间和增益,保证图像质量,步骤S2中高动态范围图像处理,包括如下子步骤:S2.1、对双目相机捕获的图像信息进行预处理,包括:对图像信息的去噪声、亮度调整、对比度增强,提高图像质量和深度信息的准确性;

S2.2、对双目相机捕获的图像信息进行HDR图像合成处理,以适应复杂的光照条件,基于不同曝光时间下捕获的图像Ii,通过以下公式合成HDR图像IHDR:;

其中,n是参与合成的图像数量, 是曝光时间为i时的图像映射函数, 是权重函数,用于衡量图像Ii在每个像素上的贡献度;

S3、目标识别:将HDR处理后的图像数据输入深度学习目标识别模型,根据需求,训练模型,对图像中特定的目标物体进行实时识别和分类;

所述深度学习目标识别模型,基于YOLO深度学习算法训练捕捉到的图像信息数据集,通过GPU加速,对图像中的目标进行实时识别和分类,根据训练的模型不同,分类的类别不同;

S4、飞机自身定位姿态估计与计算:从双目相机捕捉到的图像信息中提取特征点,结合IMU数据估计飞机的姿态和速度变化,将视觉和惯性数据进行融合,估计四旋翼无人机的位置和姿态;

S5、进行深度信息获取与三维定位:进行双目立体视觉深度估计,结合立体匹配算法及坐标转换算法,从双目相机获取的图像中计算目标物体的深度信息,基于点云模型构建三维地图;

所述双目立体视觉深度估计,包括如下子步骤:

S5.1、基于双目相机捕捉到的图像,利用立体匹配算法计算目标的深度信息,深度 通过如下相机模型公式计算:;

其中, 是双目相机的焦距, 是双目相机的基线距离,d是同一场景点在两个相机图像上的视差;

S5.2、通过使用相机捕获的图像数据和IMU提供姿态信息,创建初始的三维地图,表示为是一个稀疏的点云或特征点云;

S5.3、根据深度信息生成三维点云,将前后相机生成的点云数据通过深度图融合成一个统一的点云模型,进一步结合机载IMU数据进行精准三维定位;

深度图融合公式如下:

;

其中,wf和wb是根据图像质量动态调整的权重系数,用于平衡前后视角深度信息的贡献;Df和Db分别表示前视和后视深度图中的深度值;

S5.4、对融合后的点云模型进行优化,提高三维地图精度,得到基于优化后的点云模型构建三维地图;

S6、特征匹配和地图更新:双目相机持续地捕获图像,并从图像中提取特征点,利用特征点与构建的三维地图进行匹配,采用视觉里程计的方法,通过连续帧之间的特征点匹配估计相机在世界坐标系下的位置和姿态,得到四旋翼无人机自身在世界坐标系下的坐标;

S7、进行目标定位及路径规划:将定位得到的四旋翼无人机自身坐标、视觉识别到的目标物体的深度融合为路径规划的前置条件,规划四旋翼无人机的飞行路径。

2.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法,其特征在于,四旋翼无人机前方的RGBD双目相机对应于无人机的飞行方向,用于探测前方的障碍物和目标;后方的RGBD双目相机则用于监测无人机后方的情况,用于辅助避障和路径规划;

双目相机的参数配置,包括:双目相机的内参、双目相机的外参,双目相机的内参包括:焦距、图像中心主点坐标、畸变系数,双目相机的外参包括:相机相对于参考坐标系的位置、朝向。

3.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法,其特征在于,步骤S4中,飞机自身定位姿态估计与计算,包括如下子步骤:S4.1、从双目相机捕获的图像中提取特征点,所述特征点是图像中的角点或者显著的特征,使用跟踪算法跟踪特征点在连续帧中的运动;

S4.2、使用来自IMU的数据,包括加速度计和陀螺仪测量值进行惯性数据融合,估计飞机的姿态和速度变化,具体如下:基于IMU传感器数据,通过积分加速度和角速度数据估计双目相机的运动,计算双目相t t机在世界坐标系下的位移p 和姿态R ,公式如下:

;

t t

其中,t为当前时刻,t‑1为上一时刻,IMU测量的t时刻的速度为v 、加速度为a 、角速度t为w ,采样时间间隔为△t,bg为零偏;

S4.3、视觉惯性融合:使用视觉和惯性数据进行融合,通过将两者的信息进行联合优化,估计相机的运动和相机在地图中的位置。

4.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法,其特征在于,步骤S5中还包括通过特征点匹配,进行三维重建,进一步提高三维地图精度,方法如下:进行结构光干扰抑制,分析图像中的光模式变形,生成和解码结构光图案以进行三维扫描,计算出目标物体表面的三维信息;

进行模式识别:通过分析捕获的图像中的结构光模式如何因物体表面的不同深度和凹凸而扭曲或变形,计算出目标物体表面的三维形状;

进行三维重建:利用从不同视角捕获的图像,结合光模式的已知特性,通过几何和光学原理,恢复出目标物体的三维表面信息。

5.根据权利要求4所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法,其特征在于,步骤S5.1中,基于Structured‑Light光源编码,利用相机从不同角度捕获反射光图像,分析图像中的光模式变形,进行结构光干扰抑制,计算出物体表面的三维信息,减少由于相机间结构光投射的相互干扰;

所述结构光干扰抑制,方法如下:设 为三维空间中的一点,无人机前方的RGBD双目相机深度图Df中的投影为 ,无人机后方的RGBD双目相机深度图Db中的投影为,通过如下公式进行光源编码,实现对P点深度值的精确恢复:;

其中,Decode是解码函数,θ是光源编码参数,用于识别和消除由于结构光相互干扰而产生的误差。

6.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法,其特征在于,对前后双目相机进行校准,还包括畸变校正,所述畸变校正包括径向畸变和切向畸变,对成像时及线条、形状、大小发生扭曲的畸变,通过标定,获得畸变参数,进行校正,恢复物体的真实形状和尺寸。