利索能及
我要发布
收藏
专利号: 2024105069702
申请人: 广州航海学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于计算机视觉的水下结构测距系统,其特征在于:包括图像采集与预处理模块,通过双摄像头结合计算机视觉技术捕捉水下图像,并对原始图像进行降噪和增强,以获取高质量的图像数据;

摄像头标定与图像校正模块,使用张正友标定法获取摄像头的内外参数,校正图像畸变,确保双摄像头具有准确的立体对应关系,为后续深度估计提供准确的几何信息;

立体视觉匹配与深度估计模块,从左右视图提取特征点,通过立体视觉匹配算法计算视差,得到视差图并转换为深度图,获取图像场景的深度信息;

深度图处理模块,对初步深度图进行滤波和孔洞填充,减少匹配误差并增强深度数据的连续性和可靠性,校正深度误差并生成经过处理的深度图;

三维重建模块,利用已校正的深度图和摄像头参数,结合位置信息进行三维空间点云重建,生成高精度的三维点云模型;

目标跟踪与分析模块,利用多目标跟踪算法分析水下场景中的动态目标,通过数据关联和分析得出目标的移动状态和轨迹;

完成从水下图像采集到三维结构测距的全过程,实现了对水下环境的深度信息获取和目标跟踪分析;

通过双摄像头同步捕捉水下环境以获取原始视觉信息,采用双边滤波对原始图像进行降噪处理,双边滤波技术能够在保持边缘信息的同时去除噪声,对降噪后的图像执行直方图均衡化处理,增强图像对比度;再分析经过直方图均衡化的图像,提取特征点,用于后续图像之间的匹配和位置估计;

采用标定板对双摄像头进行同步拍摄,获取用于标定的图像序列,提取图像序列中的标定板角点,进行角点检测,采用OpenCV库中的函数进行角点检测,获取标定板上的角点坐标,对双摄像头拍摄的图像序列中的角点进行匹配,确定左右相机对应的角点在匹配时能够正确对应,利用角点的世界坐标和图像坐标的对应关系,再利用张正友标定法计算双摄像头的内部参数,通过精确的内外参数对双摄像头图像进行畸变校正,再利用校正后的图像进行立体校准,对齐双摄像头的成像平面,根据立体校准结果调整双摄像头的位置和姿态,获取准确的立体对应关系;

通过尺度不变特征变换,从双摄像头捕获的左视图中提取特征点和右视图中提取特征点,保证与左视图中的特征点在类型和提取标准上的一致性,再获取左右视图的内外参数,包括摄像头的焦距、光心、畸变系数及两个摄像头间的相对位置和姿态,根据半全局匹配算法找出左右图像间对应的特征点,利用图像的整体信息进行匹配,并计算出左右图像对应特征点间的视差,视差的大小直接关联到物体与摄像头之间的距离,视差越大则表明物体距离摄像头越近,通过构建视差图,记录场景中各个像素点的视差值;

所述视差是左右图像对应点的水平偏移量,反映物体相对于摄像头的深度信息,视差计算公式如下所示:

, 其中 和 分别是左右

图像中对应特征点的水平坐标;

通过双摄像头的几何排布及视差计算公式,使用线性方法将视差值转换为物体到摄像头的物理深度值,通过获取摄像机的内参和外参信息,计算出一个比例因子L,具体公式表示为 ,通过计算的比例因子,将视差值d转换为物理深度值Z的具体公式:,其中,Z 表示物体到相机的真实深度值,即物理深度,f为相机的焦距,T 为摄像机间的基线距离,d 为视差值,通过将视差值转换为物理深度值进而生成深度图,深度图显示图像场景中每一点的物理距离,再对深度图进行校正和优化处理,去除噪声和误差,提高深度图的精度和可靠性,使其能更真实地反映物理世界的三维结构;

采用高斯滤波算法对初始深度图进行平滑处理,通过高斯函数的权重分布来减少图像噪声和细节,对平滑后深度图进行边缘保持增强,利用边缘检测算法识别物体边界,再通过膨胀和腐蚀操作填补深度图中的空缺区域,利用连通区域分析,对填充后的深度图进行区域划分,识别并标记各个独立的物体,再根据水下成像模型,计算光线在水中的折射和散射参数,为深度图的校正准备物理数值,通过折射和散射参数对深度图的每个像素进行误差校正,利用光线传播模型修正由于水下环境影响造成的深度偏差;

利用张正友标定法获取摄像头的内外参数,再根据摄像头的位置信息,计算每个像素点对应的世界坐标系中的空间位置,利用已校正的深度图和内外参数计算,生成初始的三维点云数据,采用空间滤波技术对初始点云数据进行降噪处理,再通过泊松重建算法对降噪后的点云数据进行表面重建,得到连续的三维模型,根据重建后的三维模型,提取物体的边界和特征点,针对提取的特征点,执行空间几何分析,确定物体在三维空间中的具体坐标;

在三维模型中提取的物体边界和特征点用于目标检测和分析,再与联合概率数据关联算法提取场景中的初始目标信息进行结合;根据目标的运动模型预测下一时刻的目标状态,再收集多帧图像数据,对每一帧的目标进行检测,提取包括边框、颜色直方图和特征点的目标特征;计算检测到的目标特征与预测目标状态之间的关联度,侧重于特征相似性和空间邻近性的匹配;通过最大化关联度,确定目标在连续帧中的匹配关系;若目标在某些帧中丢失,利用预测的轨迹信息和以往的观测数据进行数据关联,以补充中断的跟踪;对每个目标的运动轨迹进行平滑处理,过滤噪声和误差,优化目标的运动轨迹表达;分析所有目标的运动模式,识别异常运动或特殊事件, 根据目标的运动轨迹和行为特征,判断场景中的动态目标移动状态,形成全面的目标运动分析报告;

所述一种基于计算机视觉的水下结构测距系统的实现方法,包括:

S1、通过双摄像头结合计算机视觉技术捕捉水下图像,初步获得水下环境的原始视觉信息,采用图像预处理技术对捕获到的原始图像进行降噪和增强,获取质量更高的图像数据;

S2、根据张正友标定法双摄像头获取摄像头的内外参数,通过标定得到的内外参数用于校正图像畸变和同步摄像头,确立两个摄像头的图像的立体对应关系,为深度估计提供精准的几何信息;

S3、根据摄像头的内外参数,通过尺度不变特征变换从双摄像头捕获的左右视图中提取特征点,并通过立体视觉匹配算法,找到左右图像间的对应特征点,计算视差并得到视差图,再根据双摄像头的几何排布和视差计算公式,将视差图转换为深度图,将提取的视差信息转为物理距离度量;

S4、在获得初步的深度图后,执行深度图的后处理操作,对深度图进行滤波,以及使用形态学运算进行孔洞填充,再获取经过滤波和填充后的深度图,并利用水下成像模型校正深度误差;

S5、通过深度图校正,利用已校正的深度图和标定得到的内外参数,结合摄像头的位置信息,进行三维空间点云重建,同时生成物体在三维空间中的坐标,根据三维点云数据,采用三维重建算法得到高精度的三维点云模型;

S6、再利用多目标跟踪算法,分析和判断场景中的动态目标,通过多帧数据的关联和分析,得出目标的移动状态和轨迹。