1.复杂背景下动态视觉伺服目标的快速选取追踪方法,应用于动态视觉伺服系统,包括主端和从端,主端操控从端进行目标追踪,其特征在于,包括如下步骤:实时获取主端的位姿,向从端发送跟随指令,使得从端跟随主端动作保持位姿一致;
对主端的交互工具进行检测和映射,映射至从端机器人采集的画面坐标系中;
以交互工具的移动速度动态调整采样时间间隔,对从端机器人采集的图像进行采样;
针对采样的图像,以交互工具坐标为中心由小到大的逐级向外扩大地进行持续截图,得到多尺度区域图像,进行图层纹理分析和相似度匹配,得到最终的选取目标的匹配结果集合;
针对选取目标的匹配结果集合进行目标追踪;
针对获取的采样图像以交互工具坐标为中心,由小到大的逐级向外扩大地进行持续截图,选取多个尺度的区域,形成一个待选定区域图层集合 ,待选定区域图层集合 的构建方法,具体如下:设定选择区域的形状为矩形,并确定矩形的长宽比例 ;
设定向外拓展截图的矩形区域个数 ,计算矩形区域的边长增量;
以交互工具坐标为中心,确定向外按照长宽比例 逐级扩大的矩形,其中每一个矩形区域的尺寸相差 ,直至到画面边界;
针对上述由小到大的矩形分别进行截图,共形成 个图层,个图层共同构成待选定区域图层集合 ;
基于图层纹理分析选定目标,包括如下步骤:
按照图像面积从小到大的顺序遍历待选定区域图层集合 ,选择当前目标分析图层;
利用灰度共生矩阵算法对当前目标分析图层进行纹理特征分析,将目标物体和画面背景的分离;
利用当前目标分析图层画面中目标与背景所占面积比例,计算目标包裹率;
判断目标包裹率是否大于设定的阈值,若满足条件,则认为目标分离成功,结束纹理分析,将纹理分析得到的选定图层 加入目标初步选取集合 ;否则,继续下一图层的纹理分析;若连续多次未能完成目标分离,且次数超过纹理分析跳帧参数,则结束纹理分析过程;
采用相似度匹配方法进行匹配得到最终选取目标,包括如下步骤:将基于纹理分析得到的选定图层 加入目标初步选取集合 ;
对目标初步选取集合 中的图,两两进行相似度匹配,分别计算得到相似度;
如果相似度小于相似度匹配阈值 的数目小于相似度分析跳帧参数 ,提取目标初步选取集合 中相似度大于阈值 的图层组成集合 ,作为最终的选取目标的匹配结果集合 。
2.如权利要求1所述的复杂背景下动态视觉伺服目标的快速选取追踪方法,其特征在于:交互工具为手指,对主端的交互工具进行检测和映射,包括如下步骤:利用主端的可穿戴设备的前置摄像头单元识别手指,确定手指在前置摄像头单元的画面一中的坐标 ;
获取安装在从端机器人末端的图像采集单元捕获的图像二;
将画面一中的坐标 以等比例方式映射到图像二的画面中,得到手部食指的坐标 。
3.如权利要求1所述的复杂背景下动态视觉伺服目标的快速选取追踪方法,其特征在于:以交互工具的移动速度动态调整采样时间间隔,包括如下步骤:计算前后时刻交互工具在从端机器人上传的显示画面中的位置变化量 ;
根据位置变化量 以及前一采样时间间隔 ,计算交互工具在画面中运动的平均速度 ;
根据交互工具的平均速度计算降帧参数 ;
根据降帧参数 和设定的系统标准帧数,计算当前采样时间间隔 。
4.如权利要求1所述的复杂背景下动态视觉伺服目标的快速选取追踪方法,其特征在于:相似度分析跳帧参数 ,计算公式如下:
其中, 表示 的设定最大值,纹理分析跳帧参数 的范围为 ; 表示画面中手指平均移动速度 的最大值,的范围为 ; 为正值常数。
5.如权利要求1所述的复杂背景下动态视觉伺服目标的快速选取追踪方法,其特征在于,针对选取目标的匹配结果集合进行目标追踪,包括如下步骤:针对选取目标的匹配结果集合中的图层进行特征提取,得到深度特征作为目标特征库;
获取从端机器人上传的每一帧实时画面,进行特征提取,计算提取的特征与目标特征库中的特征的相似度,对相似度高于设定阈值的目标进行定位追踪。
6.复杂背景下动态视觉伺服目标的快速选取追踪系统,其特征在于:包括通信连接的主端与从端机器人;
所述主端包括主端微型处理器,所述主端微型处理器被配置为执行权利要求1‑5任一项所述的复杂背景下动态视觉伺服目标的快速选取追踪方法的步骤。
7.如权利要求6所述的复杂背景下动态视觉伺服目标的快速选取追踪系统,其特征在于:所述主端还包括无线通信单元、图像显示单元、图像处理单元、前置摄像头单元以及惯性测量单元;所述主端微型处理器分别与图像处理单元,图像显示单元、无线通信单元、前置摄像头单元以及惯性测量单元连接;
从端机器人包括图像采集单元、机器人运动控制单元与从端无线通信单元,所述机器人运动控制单元分别与图像采集单元、从端无线通信单元连接;
图像采集单元用于采集机器人周围环境信息,机器人运动控制单元用于控制机器人运动。