利索能及
我要发布
收藏
专利号: 2018101927588
申请人: 天津工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维涂胶检测方法,其特征在于将线结构光与多任务级联卷积神经网络相结合,该方法包括:第一步骤,系统标定,图像采集;

第二步骤,关键点和胶区的粗略定位;

第三步骤,关键点纠正;

第四步骤,关键点迭代优化;

第五步骤,三维恢复;

第六步骤,计算涂胶的宽度和高度。

2.如权利要求1所述的一种三维涂胶检测方法,所述第二步骤进一步包括:利用三层级联卷积神经网络对结构光光带中的胶体区域,以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位,其中该三层卷积神经网络分别为P-net,R-net,O-net。

3.如权利要求1所述的一种三维涂胶检测方法,所述第三步骤进一步包括:关键点纠正,纠正关键点的粗定位坐标,假设纠正后的关键点坐标是K(x,y),建立多目标优化模型的目标函数;

公式 Dk-l、 中, 表示点K(x,y)与本图中粗定位关键点之间的距离;计算出另一图像中对应的粗定位关键点的极线,Dk-l表示点K(x,y)与此极线之间的距离;

表示点K(x,y)与本图中以粗定位关键点为中心的3×Hl像素块内的灰度质心的距离;

建立多目标优化的目标函数用来最小化 Dk-l和 因此,我们通过公式计算最大最小化模型下的最优结果,从而求出纠正的关键点坐标K(x,y),其中Iwidth和IHeight分别为图像的宽度和高度。

4.如权利要求1所述的一种三维涂胶检测方法,所述第四步骤进一步包括:关键点迭代优化,保存本图像通过关键点纠正求得的纠正坐标,用于计算另一幅图像中的Dk-l,从而使另一幅图像中的关键点的纠正坐标精度更高,在左右图像中反复如此迭代,计算关键点的纠正的坐标,当其中一幅图中关键点的纠正坐标与其另一图像中的关键点的纠正坐标距离小于系统重投影误差时停止迭代;用此方法能够得到精确地关键点坐标。

5.如权利要求1所述的一种三维涂胶检测方法,所述第五步骤进一步包括:三维恢复,空间任意点P在两个摄像机C1与C2上的图像点P1与P2已经从两个图像中分别检测出来;即已知P1与P2为空间同一点P的对应点;摄像机C1与C2的投影矩阵分别为M1与M2,于是有: 其中,(u1,v1,1)与(u2,v2,1)分别为P1与P2点在各自图像中的图像齐次坐标;(X,Y,Z,1)为P点在世界坐标系下的齐次坐标; 为mk的第i行第j列元素;上述两式消去Zc1与Zc2得到关于X,Y,Z的四个线性方程:由于空间点P是O1P1与O2P2的交点,它必然同时满足上述方程组,因此可求出P点的坐标(X,Y,Z);因为已经假设P1与P2点是空间同一点P的对应点,因此直线O1P1与O2P2一定相交,可以用最小二乘法求出P的三维点坐标(X,Y,Z),即五个关键点的三维坐标。

6.如权利要求1所述的一种三维涂胶检测方法,所述第六步骤进一步包括:计算涂胶的宽度和高度;运用A,B,C,D,E点分别代表涂胶的顶点,左端点,右端点,左下端点和右下端点。Mbd和Mce分别表示B,D连线的中点和C,E连线的中点;A点与由D点连接到E点的线之间的距离是胶水的高度。Mbd点与Mce点之间的距离是胶水的宽度。