利索能及
我要发布
收藏
专利号: 2020116117913
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于虚拟现实的机器人视觉定位仿真方法,其特征在于,包括虚拟场景生成模块由虚拟现实软件仿真生成,根据真实的机器人和生产场景,对应生成1:1比例的虚拟机器人和虚拟场景,布局虚拟场景中相机、标定板和标志物的位置和类型,并通过连接云数据库获得对应的真实机器人的运动位姿,同时驱动虚拟场景中的机器人运动,所述方法包括如下步骤:S1、通过半物理仿真装置上的操作按钮,启动系统并选择要实验的机器人类型和实验场景,虚拟场景生成模块加载相应的虚拟机器人、虚拟相机和虚拟实验场景;

S2、进行半物理仿真装置的相机标定,包括以下操作步骤:

将虚拟场景中的虚拟标定板移动到标定实验场景中,虚拟相机对齐虚拟标定板,并启动虚拟相机开始采集图像;

启动投影仪,在投影仪产生投影图像后,使用梯形校正功能使投影接收板上产生方正的梯形投影图像;

测量得到的投影图像宽高分别为W0和H0,当真实相机采集图像的宽度为w时,设置图像的高度为h=λ*H0,其中λ=w/W0为变换后的比例关系;

通过试验台上的相机调节架调节真实相机的角度和焦距,使相机采集的视野与投影到投影接收板的梯形图像对齐,然后固定好相机与投影仪,使之不再移动;

启动相机标定程序,控制虚拟标定板在虚拟场景中通过x、y、z方向位移与顺时针旋转、逆时针旋转的方法分别到达20个预设的标定位置;

在到达每个位置时,真实相机采集图像,然后将采集得到的图片传输到处理器,通过视觉定位模块的相机标定算法,根据图像信息和已知的标志物信息计算得到相机的内参和畸变系数;

具体包括以下子步骤:

S21、虚拟相机的相机坐标系到虚拟相机的图像坐标系转换:

设o‑xyz为虚拟场景中虚拟相机的相机坐标系,o′‑uv是虚拟相机的图像坐标系,则虚拟场景下相机坐标系中的点P0(X,Y,Z)与虚拟相机的图像坐标系的图像点P(u,v)之间的关系为:其中fx,fy,cx,cy为虚拟场景中虚拟相机的内参;

S22、虚拟相机的图像坐标系到投影幕布上图像坐标系的转换:

经过投影仪梯形校正后,虚拟相机图像坐标系的图像点P(u,v)到投影幕布上的图像坐标系的对应点P′(x,y)之间的关系为:其中λ为投影仪投影比例,a为投影仪的横向缩放比例,b为纵向缩放比例;

S23、投影幕布上的投影图像坐标系到真实相机图像坐标系的转换:

调整真实相机视野的长宽比例,使相机视野对齐投影幕布上的投影图像,此时真实相机采集到图像P”(u′,v′)与投影幕布上的图像坐标系的对应点P′(x,y)关系为:其中 为真实相机采集图像相对投影图像的比例因子;

S24、真实相机的图像坐标系到虚拟相机的相机坐标系的转换:

由于真实相机采集的图像点P”(u′,v′)与虚拟相机采集的图像P(u,v)的关系为:

则真实相机采集到图像点坐标为P”(u′,v′)与虚拟场景中虚拟相机的相机坐标系对应点P0(X,Y,Z)的关系为:令 得:

表达式中的fax,fby,cax,cby即为要获得的内参,同理获得畸变参数(k1,k2,k3,p1,p2);

S3、通过仿真装置上的触摸屏,连接云数据库,通过选择数据库中机器人的真实运动数据控制虚拟场景中的虚拟机器人运动,然后根据需要调节相机、视觉定位标志位置,并模拟机器人视觉定位场景;

S4、相机采集投影图像,视觉定位模块通过图像处理与视觉定位计算获得视觉定位所需的相机位姿;

S5、将计算得到的视觉定位所需的相机位姿的结果与记录的虚拟相机位姿进行比较得到测量误差,验证定位方法的精确度并分析误差来源;直接完成虚拟相机、投影仪、真实相机的联合参数标定过程。

2.一种根据权利要求1所述的基于虚拟现实的机器人视觉定位仿真方法的视觉定位仿真装置,其特征在于,所述视觉定位仿真装置按照基于虚拟现实的机器人视觉定位仿真实验方法进行定位实验,所述视觉定位仿真装置包括虚拟场景生成模块、图像生成模块、视觉定位模块、处理器、实验台和云数据库;所述虚拟场景生成模块由虚拟现实软件仿真生成,根据真实的机器人和生产场景,对应生成1:1比例的虚拟机器人和虚拟场景,布局虚拟场景中相机、标定板和标志物的位置和类型,并通过连接云数据库获得对应的真实机器人的运动位姿,同时驱动虚拟场景中的机器人运动;所述图像生成模块利用实验台上的投影仪将虚拟场景生成模块中虚拟相机采集的图像投影到投影接收设备,由所述实验台上的相机采集投影接收模块上的图像,并传送至处理器中的所述视觉定位模块进行处理;所述视觉定位模块集成于处理器中,包括虚实相机对齐、相机标定和定位计算三个部分,所述虚实相机对齐用于调整相机与投影图像的对应关系,所述相机标定用于计算对齐后的相机参数,定位计算部分通过相机采集的图像完成视觉定位;所述处理器用于嵌入所述虚拟场景生成模块、图像生成模块和视觉定位模块,并安装在所述实验台上;所述实验台集成处理器、相机、投影仪、操作面板、调节支架和投影接收板,所述相机、投影仪通过所述调节支架固定在所述投影接收板的上方,所述投影接收板固定在仿真装置的上方,所述操作面板嵌入启动按钮和触摸屏,用于控制处理器启动、相机启动、投影仪启动和虚拟机器人运动,所述操作面板上的按钮和触摸屏通过网络和虚拟机器人通讯,进而实现虚拟机器人的前进、后退、关节运动各种操作和控制。

3.根据权利要求2所述的视觉定位仿真装置,其特征在于,所述图像生成模块包括所述相机、投影仪和调节支架,所述投影仪通过所述调节支架固定在所述投影接收板的上方,所述投影接收板固定在仿真装置的上方,所述调节支架包括万向轮、横连接臂、纵连接臂、横连接杆、纵连接杆、直角固定板和底座,所述万向轮连接横纵两个连接杆,通过固定螺母将其固定在调节支架的所述直角固定板上,横纵连接杆均能伸缩,所述底座通过所述横连接臂与纵连接臂连接到所述直角固定板上,并固定于所述投影接收板上方,通过调节万向轮方向并伸缩两个连接杆使相机在不同的距离和方向采集图像。

4.根据权利要求3所述的视觉定位仿真装置,其特征在于,所述虚拟场景生成模块中的所有虚拟场景均由处理器搭载三维虚拟现实仿真软件生成,根据实际的机器人作业数据模拟各类视觉定位实验场景,对应生成1:1比例的虚拟机器人、虚拟相机、虚拟场景、虚拟场景中的标定板和标志物,并通过连接云数据库获得对应的真实机器人的运动位姿,同时驱动虚拟场景中的机器人运动;生成的内容包括五个部分:第一个部分为虚拟机器人,虚拟机器人的机械手及身体指定部分搭载相机完成视觉各类不同的视觉任务,具体的视觉任务能预先指定;第二个部分是虚拟相机,虚拟相机的位置、视角和焦距均能设定,根据任务的不同,相机被指定安置于机器人的机械臂、头部、身体任意部位或虚拟场景中的工作台上;第三个部分是虚拟场景,根据虚拟机器人的不同,虚拟场景由用户根据实际作业环境选择,包括自动化产线,室内机器人导航或室外机器人巡航;第四个部分是虚拟场景中的标定板,标定板用于实现相机的内参标定和虚实相机对齐,包括圆点标定板和棋盘格标定板;第五个部分是虚拟场景中用于机器人视觉定位的各种标志物,标志物的形状和图案由用户设计加载,其位置能根据需要指定。

5.根据权利要求3所述的视觉定位仿真装置,其特征在于,所述视觉定位模块包括虚实相机对齐、标定模块和定位模块,虚实相机对齐用于调整相机与投影图像的对应关系,相机标定集成多种相机标定算法,利用标定板信息计算相机参数,定位计算部分集成多种视觉定位方法,通过相机采集的图像完成视觉定位。