1.一种基于3D视觉的药盒姿态估计方法,其特征在于,所述方法包括以下步骤:
1)图像采集和图片归一化,制作PASCAL VOC数据集;
2)制作求取单应矩阵所用的模版;
3)模型训练;
YOLOv3网络采用误差平均作为loss函数,loss函数如下:式中,1MaxIOU<Thresh表示预测边框中与真实对象边框IOU最大的那个,1t<128000表示前
128000次迭代计入误差, 表示该边框负责预测一个真实对象,λ是不同类型误差的调节系数;
在avg低于0.01之后,avg为平均loss,停止模型训练,输出训练好的权重文件,完成YOLOv3卷积神经网络的模型训练;
4)目标定位
通过加载YOLOv3训练好的权重文件进行目标定位,获取bounding box位置信息;
bounding box预测公式如下:
其中,bx,by,bw,bh是预测边框的中心和宽高,Pr(object)*IOU(b,object)是预测边框的置信度,即对预测参数to进行σ变换后作为置信度的值,pw,ph是先验框的宽和高,tx,ty,tw,th是要学习的参数,分别用于预测边框的中心和宽高;
5)通过目标框定位坐标依次分割药盒;
6)通过步骤2)的模板,通过特征匹配求取单应矩阵;
7)姿态计算
由相机中心透视模型得像素坐标系到相机坐标系的转换关系如下:其中(u,v)为像素坐标,u0、v0为图像坐标系原点的像素坐标,fx、fy为相机内参,ZC是通过RGB‑D相机获取的坐标深度,设像素坐标系中通过单应矩阵获取的四个角点顺序为p1、p2、p3、p4,YOLOv3目标定位框中点坐标与药盒平面中点重合,记为p0,则pi=(ui,vi)i=0,1,2,
3,4代入式(3)得pi点在相机坐标系下的坐标记为设向量 平面法向量记为
则
对获取的平面法向量构造C=An+η,用最小二乘法优化获取最优平面法向量n移至p1点,根据药盒边固有的垂直关系,则向量 向量 法向量n构成物体坐标系,记为坐标系{A},则坐标系{A}相对于相机坐标系{C}的描述为:则药盒坐标系相对于相机坐标系的描述为: