1.基于动态颜色阈值与激光深度协同的目标定位方法,其特征在于,包括:S1、通过双目相机采集检测环境的左右视图,以左右视图中符合设定阈值颜色且符合设定面积、长宽比阈值的物体为目标,利用HSV颜色空间对目标进行颜色特征提取,利用面积/长宽比过滤分析提取目标边界框,计算双目相机下像素坐标系的目标的中心坐标;
S2、根据相机内参矩阵得到目标的深度,若深度异常,则进行阈值重校准,若深度正常,则采用矩阵变换,将像素坐标系下目标的中心坐标转换为相机坐标,将该相机坐标转换为极坐标,将该极坐标作为目标的粗定位结果;
S3、订阅激光雷达数据,将激光雷达数据与左右视图进行时间配准,根据目标的粗定位结果提取激光数组中的目标距离信息,使用异常评估因子进行空间一致性校验,若不存在匹配点云,则进行阈值重校准,若存在匹配点云,则计算激光校准后的目标位置;
S4、利用双模态置信驱动对卡尔曼滤波增益进行优化,根据优化后的卡尔曼滤波增益动态更新目标坐标估计值,完成目标定位。
2.根据权利要求1所述的基于动态颜色阈值与激光深度协同的目标定位方法,其特征在于,步骤S1中,计算像素坐标系下目标的中心坐标包括以下内容:S101、利用ROS获取双目相机采集的检测环境的左右视图,使用cv_bridge将该视图转换为OpenCV的BGR图像,将BGR图像转换为HSV颜色空间,利用色相、饱和度、明度三通道分离目标的颜色特征,通过ROS参数服务器动态加载设定的红、蓝、绿、棕、白的阈值范围,生成对应的二值掩膜,完成颜色特征的提取;
S102、利用先腐蚀后膨胀的开运算方式消除二值掩膜的孤立噪声点,再将该掩膜叠加后进行膨胀操作,得到融合后的掩膜;
S103、使用findContours检测融合后掩膜的轮廓,保留最外层轮廓,遍历最外层轮廓,利用双重过滤机制剔除小于面积阈值且不在长宽比阈值范围内的轮廓,得到目标边界框;
S104、采用优先级从高到低的红、蓝、绿、棕、白的优先级策略对目标边界框的重叠颜色区域进行分类,得到对应色块颜色,计算双目相机下目标的中心点像素坐标,具体公式为:left_xzhong=(left_self.x+left_self.x+left_self.w)/2;
left_yzhong=(left_self.y+left_self.y‑left_self.h)/2;
right_xzhong=(right_self.x+right_self.x+right_self.w)/2;
right_yzhong=(right_self.y+right_self.y‑right_self.h)/2;
其中,left_xzhong、left_yzhong分别表示左相机下目标中心像素的横、纵坐标;
right_xzhong、right_yzhong分别表示右相机下目标中心像素的横、纵坐标;left_self.x、left_self.y分别表示左相机目标边界框左上角顶点的横、纵坐标,left_self.w、left_self.h分别表示左相机目标边界框的宽度、高度,right_self.x、right_self.y分别表示右相机目标边界框左上角顶点的横、纵坐标,right_self.w、right_self.h分别表示右相机目标边界框的宽度、高度。
3.根据权利要求1所述的基于动态颜色阈值与激光深度协同的目标定位方法,其特征在于,步骤S2中,得到目标的粗定位结果包括以下内容:S201、根据左右视图的目标中心水平差异,结合基线距离,得到目标的深度Z,具体公式为:;
其中,b表示两个相机光心的距离,f表示相机焦距,XL表示目标在左相机上的像素坐标,XR表示目标在右相机上的像素坐标;
若Z不在0.5m 20m之间,则表明深度异常,进行阈值重校准;若Z在0.5m 20m之间,则表~ ~明深度正常;
S202、当深度正常时,利用相似三角形等比例放大原理,将双目相机下目标的中心点坐标从像素坐标系转换到相机坐标系,得到目标的初步坐标,具体公式为:;
其中,表示双目相机下目标像素横坐标的均值, ,left_xzhong、right_xzhong分别表示左、右相机下目标中心像素的横坐标;表示双目相机下目标像素纵坐标的均值, ,left_yzhong、right_yzhong分别表示左、右相机下目标中心像素的纵坐标;XC表示相机坐标系下目标横坐标;YC表示相机坐标系下目标纵坐标;
ZC表示相机与目标所在平面的垂直距离,ZC=Z;fx、fy均表示相机焦距;
S203、将目标的初步坐标转换成极坐标,得到目标粗定位结果,具体公式为:A=atan(XC/Z);
S=Z/cos(A);
其中,A表示目标相对于激光雷达正前方向的第一水平偏转角;S表示目标与激光雷达之间的水平距离。
4.根据权利要求1所述的基于动态颜色阈值与激光深度协同的目标定位方法,其特征在于,步骤S3中,得到激光校准后的目标位置包括以下内容:S301、对激光雷达数据中的点云数据进行线性插值,得到新的点云数据,具体公式为:;
其中,Pvirtual表示新的点云数据;P0表示上一帧的点云数据;P1表示当前帧的点云数据;
tm表示插入新时刻, ,t0表示上一帧时刻,t1表示当前帧时刻;
将新的点云数据和对应的ROS时间戳存放在scan数组中,并将该ROS时间戳与目标粗定位结果对应的时间戳进行比较,选择与目标粗定位结果时间最近的点云数据,完成时间配准;
S302、根据目标相对于激光雷达正前方向的第一水平偏转角,计算对应的激光雷达扫描索引,具体公式为:;
其中,A表示目标相对于激光雷达正前方向的第一水平偏转角;zhong表示与A相匹配的激光雷达数据索引值; 表示角度增量, ,length表示存储新的点云数据的数组长度;
S303、根据激光雷达扫描索引计算目标相对于激光雷达的极坐标,具体公式为:;
;
;
其中,number表示激光雷达目标索引值,median表示取中位数函数,S表示目标与激光雷达之间的水平距离,error表示根据经验设定的S的测量误差范围,N表示时间配准后的激光雷达索引数组,i表示激光距离在S‑error与S+error范围内对应的激光索引,M表示时间配准后的激光雷达距离数组,B表示目标相对于激光雷达正前方向的第二水平偏转角,distance表示激光雷达距离数组中的目标距离信息;
若distance与S的差值在1m以内,则距离正常,表明存在匹配点云;反之,则记录异常次数,并对异常情况进行进一步的判定,具体公式为:;
其中, 表示异常评估因子,Q表示至少连续两次出现距离异常的次数,k表示扫描总次数;
若 大于经验阈值 ,说明不存在与目标边界框相匹配的点云,证实出现异常情况,并进行阈值重校准;若 不大于经验阈值 ,说明存在与目标边界框相匹配的点云;
S304、当存在匹配点云时,将步骤S303得到的极坐标转化为直角坐标,得到相机坐标系下激光点云目标定位坐标,具体公式为:x1=distance*cos(B);
y1=distance*sin(B);
其中,x1表示相机坐标系下激光点云目标定位横坐标,y1表示相机坐标系下激光点云目标定位纵坐标,cos表示余弦函数,sin表示正弦函数;
S305、将相机坐标系下激光点云目标定位坐标转换为全局坐标系下激光点云目标定位坐标,得到激光校准后的目标位置,具体公式为:;
其中,X、Y表示全局坐标系下目标横、纵坐标;Z表示目标的深度;R表示旋转矩阵,, 、、分别表示机器人的偏航角、俯仰角、横滚角。
5.根据权利要求1所述的基于动态颜色阈值与激光深度协同的目标定位方法,其特征在于,步骤S4中,完成目标定位包括以下内容:S401、利用权重分配机制对卡尔曼增益实现动态计算,利用双模态置信驱动辅助计算卡尔曼增益,计算公式为:;
K_x=Kadaptive*Eesti_x/(Emea_x+Eesti_x);
K_y=Kadaptive*Eesti_y/(Emea_y+Eesti_y);
其中,Kadaptive表示卡尔曼增益修正系数,Ccolor表示双目视觉颜色置信度,Claster表示激光校验置信度, 表示视觉‑激光定位差值衰减系数, 表示双目视觉定位和激光定位的欧式距离差值,K_x表示目标横坐标的卡尔曼增益,K_y表示目标纵坐标的卡尔曼增益,Eesti_x表示目标横坐标的估计误差,Eesti_y表示目标纵坐标的估计误差,Emea_x表示目标横坐标的测量误差,Emea_y表示目标纵坐标的测量误差, 表示模态主导因子;
S402、根据卡尔曼增益,通过迭代的方式不断加权平均融合预测值与测量值,得到滤波后的最优估计值,即为目标坐标估计值,具体公式如下:;
;
其中, 表示第 次迭代后的最优目标横坐标估计, 表示第 次迭代后的最优目标横坐标估计值, 表示第 次迭代后的最优目标纵坐标估计, 表示第 次迭代后的最优目标横坐标估计值,X、Y表示全局坐标系下目标横、纵坐标;
S403、动态更新估计误差,公式如下:
Eesti_xg=(1.0‑K_x)*Eesti_x;
Eesti_yg=(1.0‑K_y)*Eesti_y;
其中,Eesti_xg表示更新后的目标横坐标的估计误差,Eesti_yg表示更新后的目标纵坐标的估计误差;
S404、基于更新的估计误差,重复步骤S401‑S403,完成迭代实现动态优化。
6.根据权利要求2所述的基于动态颜色阈值与激光深度协同的目标定位方法,其特征在于,阈值重校准包括以下内容:将BGR图像转换为HSV颜色空间,提取明度通道,具体公式为:;
;
;
其中, 表示预测的明度变化量, 表示V通道所有像素的算术平均值,、均表示调节参数, 表示明度梯度绝对值, 表示明度阈值的下降值, 表示局部对比度, 表示明度阈值的增加值, 表示视图最亮的5%区域明度均值;
将 和 分别线性映射成0‑255范围的 和 , 表示像素明度阈值减小量, 表示像素明度阈值增加量;
计算明度通道所有像素的算术平均值,并将结果归一化至0‑2范围,得到全局亮度;当全局亮度低于0.7时,将像素明度阈值减小 ;当全局亮度高于1.3时,将像素明度阈值增加 。
7.应用于权利要求1所述的基于动态颜色阈值与激光深度协同的目标定位方法的系统,其特征在于,包括:目标的中心点像素坐标获取模块,用于通过双目相机采集检测环境的左右视图,以左右视图中符合设定阈值颜色且符合设定面积、长宽比阈值的物体为目标,利用HSV颜色空间对目标进行颜色特征提取,利用面积/长宽比过滤分析提取目标边界框,计算双目相机下像素坐标系的目标的中心坐标;
目标的粗定位结果获取模块,用于根据相机内参矩阵得到目标的深度,若深度异常,则进行阈值重校准,若深度正常,则采用矩阵变换,将像素坐标系下目标的中心坐标转换为相机坐标,对该相机坐标变换为极坐标,将该极坐标作为目标的粗定位结果;
激光校准后的目标位置获取模块,用于订阅激光雷达数据,将激光雷达数据与左右视图进行时间配准,根据目标的粗定位结果提取激光数组中的目标距离信息,使用异常评估因子进行空间一致性校验,若不存在匹配点云,则进行阈值重校准,若存在匹配点云,则计算激光校准后的目标位置;
目标定位模块,用于利用双模态置信驱动对卡尔曼滤波增益进行优化,根据优化后的卡尔曼滤波增益动态更新目标坐标估计值,完成目标定位。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述基于动态颜色阈值与激光深度协同的目标定位方法的步骤。
9.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至6中任一项所述的基于动态颜色阈值与激光深度协同的目标定位方法。