利索能及
我要发布
收藏
专利号: 2019110636143
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于3D视觉的药盒姿态估计方法,其特征在于,所述方法包括以下步骤:

1)图像采集和图片归一化,制作PASCAL VOC数据集;

2)制作求取单应矩阵所用的模版;

3)模型训练;

YOLOv3网络采用误差平均作为loss函数,loss函数如下:式中,1MaxIOU<Thresh表示预测边框中与真实对象边框IOU最大的那个,1t<128000表示前

128000次迭代计入误差, 表示该边框负责预测一个真实对象,λ是不同类型误差的调节系数;

在avg低于0.01之后,avg为平均loss,停止模型训练,输出训练好的权重文件,完成YOLOv3卷积神经网络的模型训练;

4)目标定位

通过加载YOLOv3训练好的权重文件进行目标定位,获取bounding box位置信息;

bounding box预测公式如下:

其中,bx,by,bw,bh是预测边框的中心和宽高,Pr(object)*IOU(b,object)是预测边框的置信度,即对预测参数to进行σ变换后作为置信度的值,pw,ph是先验框的宽和高,tx,ty,tw,th是要学习的参数,分别用于预测边框的中心和宽高;

5)通过目标框定位坐标依次分割药盒;

6)通过步骤2)的模板,通过特征匹配求取单应矩阵;

7)姿态计算

由相机中心透视模型得像素坐标系到相机坐标系的转换关系如下:其中(u,v)为像素坐标,u0、v0为图像坐标系原点的像素坐标,fx、fy为相机内参,ZC是通过RGB‑D相机获取的坐标深度,设像素坐标系中通过单应矩阵获取的四个角点顺序为p1、p2、p3、p4,YOLOv3目标定位框中点坐标与药盒平面中点重合,记为p0,则pi=(ui,vi)i=0,1,2,

3,4代入式(3)得pi点在相机坐标系下的坐标记为设向量 平面法向量记为

对获取的平面法向量构造C=An+η,用最小二乘法优化获取最优平面法向量n移至p1点,根据药盒边固有的垂直关系,则向量 向量 法向量n构成物体坐标系,记为坐标系{A},则坐标系{A}相对于相机坐标系{C}的描述为:则药盒坐标系相对于相机坐标系的描述为: